Develop with pleasure!

福岡でCloudとかBlockchainとか。

Bitcoin Core v31.0で導入されたtxospenderindex

先日リリースされたBitcoin Core v31.0では↓

https://bitcoincore.org/ja/releases/31.0/

クラスターmempoolの導入(mempool 内のトランザクションセットをクラスター単位で管理する設計への変更で、RBF の検証ロジックも刷新)や、プライベートブロードキャスト機能、asmapデータの埋め込み、1P1Cパッケージリレーにおいて親のゼロ手数料を非TRUCトランザクションにも拡張、CPFP Carveoutルールの撤廃など、さまざまな新機能が追加されている。詳細は↑のリリースノート参照。

そしてUTXOがどのトランザクションで使用されたかを追跡するために使える新しいインデックスtxospenderindexが導入された。

Bitcoin Coreで作成されるインデックス

Bitcoin Coreではこれまで以下の3つのインデックスの作成をサポートしていた。

  • txindex:ブロックチェーン全体の各トランザクションについてtxid→ブロックファイル内の位置の対応を保持するインデックス。getrawtransaction RPCでtxidをキーに対象トランザクションを取得できるようになる。
  • blockfilterindex:各ブロックのコンパクトブロックフィルター、フィルターハッシュ、フィルターヘッダのインデックス。BIP157/158ベースのコンパクトブロックフィルターを軽量クライアント向けに提供できるようになる。
  • coinstatsindex:UTXOセット全体に対する統計情報を各ブロック毎に保持するインデックス。供給量の推移や未使用コイン追跡、UTXO スナップショットの検証に使える。また任意の高さを指定したgettxoutsetinfo RPCで高速に答えられる(このインデックスが無い状態でgettxoutsetinfoを実行すると毎回UTXOセットを全走査するのでかなり時間がかかる)。

txospenderindex

上記に加えて今回新しく追加されたインデックスがtxospenderindex。これは各TXOについて、それを使用したトランザクションの位置を記録するインデックス。このインデックスがあればgettxspendingprevoutで使用したトランザクションを高速に検索することができる。ライトニングネットワークや類似プロトコル (Statechains、Ark、DLC、vault 系など) は「相手が古い/望ましくない状態でチャネルを閉じてきていないか」を監視する必要があり、そういったプロトコルにとって、このインデックスは有用。

新しく追加されたtxospenderindexを有効にするには、bitcoin.confに以下を設定する。

txospenderindex=1

すると、<datadir>/indexes/txospenderindex/ 以下にインデックスファイルが作られる(LevelDB)

データ構造

txospenderindexは、他のインデックスと異なり、LevelDBのキーのみを使っていて、値はすべて空文字列になっている*1。キーは以下の3つのデータを連結したもの。

  • プレフィックスs
  • TXOのOutPointをノードのSipHashの鍵*2でSipHashした8 byteの値。
  • TXOを使用したトランザクションのディスク上の位置。これは以下の3つのフィールドがVarInt形式で格納されている。
    • nFile:ブロックファイル(blkNNNNN.dat)のNの値。
    • nPos:ファイル内でブロックが始まるバイト位置
    • nTxOffset:ブロックヘッダ (80B) 末尾から該当 tx までのバイト距離

どうしてこういう構成になっているかというと、まずTXOの識別子は本来36 byteのOutPointなんだけど、これをキーにするとインデックスのデータ量がかなり大きくなるため、そのデータサイズを抑えるためにSipHashで8 byteにしている。ただそのままこれをキーにすると当然衝突の可能性があるため、本来値として格納されるそのTXOを使用したTxの位置をキーに含めることでキーの一意性を確保している。

gettxspendingprevoutが実行された場合は、以下の処理が実行される。

  1. まず mempool を検索し、見つからなかったOutPointについては、
  2. 引数で与えられたOutPointのSipHash値を計算し、
  3. それをプレフィックスとしてLevelDBをシークし(LevelDBはキー順にソートして格納するためイテレーターを使った範囲スキャンができる)、
  4. 3でシークした範囲についてキーからトランザクションの位置を取得し、
  5. その位置のトランザクションインプットで該当するOutPointが使用されているかをチェックする。
  6. 該当するトランザクションが見つかったらトランザクションとそのトランザクションが格納されているブロックのハッシュを返す。
gettxspendingprevout RPC

gettxspendingprevout RPC自体は、実はv24.0で導入されたRPCで、これまで走査対象がmempool内のトランザクションに制限されていた。つまりTXOを使用するトランザクションがmempool内になく既に承認されていた場合は値を返せなかった。それがv31.0でtxospenderindexインデックスを追加することで、承認済みのトランザクションも対象することができるようになった。以前と同じようにmempool内のトランザクションに制限したい場合は、mempool_onlyオプションをつけてRPCを呼び出せばいい。

以下のようにチェックしたいOutPointの情報を渡すことで実行できる。

$ bitcoin-cli gettxspendingprevout "[{\"txid\":\"171059d7d5ff0e113a743b3129e37e08b884ea59179eef4e5bef6ee3a0a59f40\", \"vout\":0}]"
[
  {
    "txid": "171059d7d5ff0e113a743b3129e37e08b884ea59179eef4e5bef6ee3a0a59f40",
    "vout": 0,
    "spendingtxid": "0e785c1dd8a03a4f76f8eeac7a27b2fef7a4106be0b9a89b844a8d4436badecd",
    "blockhash": "00000000000000000b7f6e859cbd68dbc8b309018b0ced9b56b37ac75110f998"
  }
]

また、31.0ではreturn_spending_txオプションも追加され、これを指定するとTXOを使用するトランザクションの完全なHexデータも提供される。

$ bitcoin-cli gettxspendingprevout "[{\"txid\":\"171059d7d5ff0e113a743b3129e37e08b884ea59179eef4e5bef6ee3a0a59f40\", \"vout\":0}]" "{\"return_spending_tx\":true}"
[
  {
    "txid": "171059d7d5ff0e113a743b3129e37e08b884ea59179eef4e5bef6ee3a0a59f40",
    "vout": 0,
    "spendingtxid": "0e785c1dd8a03a4f76f8eeac7a27b2fef7a4106be0b9a89b844a8d4436badecd",
    "blockhash": "00000000000000000b7f6e859cbd68dbc8b309018b0ced9b56b37ac75110f998",
    "spendingtx": "0100000001409fa5a0e36eef5b4eef9e1759ea84b8087ee329313b743a110effd5d7591017000000008b483045022100a949b21d73fea0724a478747007784ecff97d48be59a169ba507dd8c7cd6ee4502202433285f348e7669ce8861a8a66926ebbed7ae0c9fa7f458a0d4190f04b5935701410474aabe4808c221cff0d0a19a95395f6b96a25c47e8ad6659df128adb28617a17f0ae4edfe5e9130a583d3f819c5d770faa101836a4ea6f12a0c700606bb08932ffffffff0210270000000000001976a9142077c66b2876e812ca6d20ec584010aad7b3e8c488acc066aa15000000001976a91427eecc9d530d1ee0512b0e6eeae81518d1020e7488ac00000000"
  }
]

データ容量

なお、ブロック946826時点で、各インデックスのデータサイズは以下のとおり。

インデックス 容量
txindex 65GB
blockfilter 12GB
coinstatsindex 219MB
txospenderindex 87GB

txospenderindex は他のインデックスと比較してもサイズが大きい。これはインプット毎にエントリが生成されるという仕様上、値を空にするコンパクト設計でもこの規模になる。OutPointをそのままキーにしていれば 200 GB を超えていただろう。

注意点

  • プルーニングモードと併用はできない。
  • インデックスの生成にかなり時間がかかる(SSDでも1〜数日)
  • 後から有効化すると再走査が必要になるので新規ノードであればIBDと並行するのが望ましい。

*1:例外としてSipHashの鍵(siphash_key)と同期状態(DB_BEST_BLOCK)のレコードのみは値を持つ

*2:初回に生成され、インデックスのLevelDB内にキー:siphash_keyの値として永続化される。reindexすると再生成される

⚡ Zap me!

Lightning QR

Lightning Address

techmedia_think@walletofsatoshi.com