データを照会したり、レポートを見たりしていて、「このデータを信じていいのだろうか？このデータはどこから来たのだろう？さて、あなたが尋ねているのは、データの系譜である。.
Merriam-Webster辞書では、血統を「共通の祖先からの血筋」と定義しており、この用語は家系図を追跡する祖先学で最もよく使われる。. データの系譜 は同じコンセプトをあなたのデータに適用する。.
データの系譜の包括的なログは、データの起源からそのライフサイクルを追跡し、時間の経過とともにどこに移動したかを追跡する。このログには、データの移動や変換を行ったプロセスの詳細だけでなく、途中で発生した変換や変更も含まれる。.
データがどこにあったのか、データに何が起こったのか、つまりデータの系譜を知らなければ、アナリティクス、機械学習、レポーティング、あるいは実際にデータを使用するあらゆるビジネス活動において、データが信頼に足るものであると確信できるでしょうか。
テレビで「アンティーク・ロードショー」という番組を見たことがあるだろうか。この番組では、人々が自分の私物をプロのアンティーク・ディーラーに持ち込んで、検査と評価を受ける。.
参加者たちは、自分の品物が長い間失われていた、非常に価値のある宝物であることを知ることを望んでいる。そうであることもあれば、そうでないこともある。.
アンティーク・ディーラーはいつも、品物を調べるだけでなく、持ち主と話すことに多くの時間を費やす。“この品物をどこで手に入れましたか？”“この品物の歴史について教えてください ”など、品物の出所について質問するのだ。”
今、彼らの目の前に品物があるのに、彼らはこんな質問をする。なぜですか？
品物の出所に関する詳細、言うなればその系譜は、その品物の真贋や性質に関する知識を与えてくれる。ディーラーはまた、アイテムの出所を知る手がかりとなるマークや日付がないかを注意深く調べます。.
時には、その品物に関する追加情報を提供する手紙やその他の書類が付いていることもある。このような場合、その品物がいつどこで購入されたのか、誰が購入したのか、誰が所有していたのかなど、その品物の系譜に関する詳細が追加されるため、アンティーク・ディーラーは通常、その品物についてより興奮することになる。.
貴重な骨董品と同じように、貴重なデータの系譜を追跡・管理し、その真正性と利用方法を知ることは重要である。つまり、アンティーク・ロードショーの例で言えば、評価対象は “データ ”である。”
古物商の質問に対する答え、品物のマーク、追加の手紙や書類などは メタデータ その系譜を説明するものである。メタデータが発見され、評価されて初めて、アイテムや我々のデータに価値を割り当てることができる。.
データ・リネージはデータが存在する間のデータの動きを示す。外部ソースからデータを取得した場合は、そのソースがデータ・リネージの詳細を提供しない限り、そのソースが起源となる。.
そして、データに関する情報を、組織全体を移動しながら取り込むプロセスを構築しなければならない。自動化されたキャプチャがベストだが、手動で詳細を記録することは、何もしないよりはましである。ETL、トランザクション、分析、その他使用しているあらゆるタイプのシステムで、データがいつ移動したか、またはいつ利用可能になったかを把握したい。.
どのようなデータについても、データ・リネージの取得を進める前に、必要なリネージの粒度を理解する必要があります。多くの種類のデータでは、データのライフサイクルのハイレベルな詳細のみを取得する粗い粒度のリネージで十分な場合があります。.
しかし、データの種類によっては、例えば個人を特定できる情報（PII）のような高度に規制されたデータでは、データへの各変更、誰がいつ変更したか、そしておそらくデータのビフォア・アフター・イメージまで含めた、きめ細かなデータ・リネージが必要になる場合がある。.
このような要件があると、議論はデータの系統から データアクセス監査.
一般的に データモデリングツール またはメタデータリポジトリを使用して、データの系統を追跡します。データ・リネージの詳細がツールセットで利用できるようになれば、データがどこから来たのか、データ・モデルからシステムを経由する経路を示す図を作成することができ、それによってデータとそれが組織でどのように利用できるかをよりよく知ることができる。.
データモデリングでよく使われる製品のひとつに、IDERAの ER/Studio データアーキテクト, これは、データモデリングプロフェッショナルがデータモデルとデータベースに関する情報を文書化し、理解し、公開するための使いやすいビジュアルインターフェースを提供します。.
Using ER/Studio you can document data lineage showing the provenance of the data and its movement from point to point, and any intermediate steps in between.
ER/Studio Data Architectでデータ系統をキャプチャして文書化するには、いくつかの方法があります。たとえば、ETL ツールから外部メタデータをインポートして、データの動きをキャプチャできます。図 1 は、MSIS、MicroStrategy など、キャプチャできるさまざまなリソースを示しています。.
図1.ETLからデータ・リネージをキャプチャする。.
そして、ETLフローをキャプチャした結果は、データの移動と変換を示すデータ系統図となる。例えば、図2は組織内の為替レートデータの動きを示しています。.
図2.データ系統図の例。.
また、図3に示すように、データモデル内のデータの系統を追跡し、データのソース頻度、最終更新日、データの移動に適用されるルールに関する情報を記録することもできる。.
図3.データ系統の詳細。.
ER/Studio Data Architectには、データリネージを追跡する多くの強力な機能があります。.
では、重要なビジネスデータの系譜をご存知だろうか？それはどこから来たのか？最後に変更されたのはいつですか？どのようなプロセスで変更されたのか？
これらはデータの質と有用性を左右する重要な質問である。これらの質問に答えられなければ、そのデータを本当に信頼できるのだろうか？
