データメッシュとは?~DMBOK翻訳者が語る~

なぜデータメッシュが注目され始めているのか?
昨今、多くの企業がデータ利活用のためにデータ統合基盤構築に取り組まれています。データ利活用がしやすいように、データ統合基盤でマスタやトランザクションデータを標準化して蓄積し、いつでも欲しい時に提供できるようにしておくことがセオリーです。
しかし、扱うデータが多くなるにつれ、データ統合基盤の運用保守チームに集中的な負荷がかかり、残念ながら、それらが利活用推進のボトルネックにもなっています。
そこで、ビジネスドメイン毎(営業・マーケティング・財務などの業務領域)に分散してデータを管理しておくことで、データ提供時のボトルネックが解消され、データ利活用が推進されるのではないか、と考える企業もでてきました。
こうした分散管理アーキテクチャの考え方のひとつが「データメッシュ」です。
データメッシュとは何か?
データメッシュの提唱者であるZhamak Dehghani氏(https://twitter.com/zhamakd)は、データメッシュを以下の4つの原則で説明しています。(※)
①ドメイン別オーナーシップ(Domain ownership)
基盤に集中していたデータの所有権と責任を、ビジネスドメインに分散させます。
この責任には、他のドメインと自分のデータを共有するときに、データだけではなくドメイン固有の業務知識も伝え、相手がデータを理解し使いやすくなるようにする必要があります。自分のドメイン内だけで使いやすいようにデータを管理すればいい、ということではありません。
②製品としてデータを扱う(Data as a product)
「データを理解しやすく・使いやすくする」とは、データやそのメタデータを利用者向けに改良し、簡単に発見してアクセスできるものにする、ということです。そうした活動は一過性のものではなく、利用者のニーズに応え続けるために継続して実施されなければなりません。
これは食料品や家電メーカーが顧客のために自社製品をより良く改善する活動と似ています。そのためデータメッシュでは、他のドメイン向けのデータの改善活動を「製品としてデータを扱う」(Data as a product)と言います。
③セルフサービス型データプラットフォーム(Self-serve Data Platform)
ドメインに責任を分散した後も、ドメイン内で特定のメンバにデータ管理の負荷が集中しては意味がありません。
データの作成・維持・共有に、ドメイン内のできるだけ多くのメンバが自律的に参画できる仕組みを用意します。
たとえば、高度なデータ管理の知識やスキルが無い人でも直感的に使える、必要最低限の項目で作られ分かりやすい画面のデータカタログを提供します。こうした、データ専任職でなくてもドメイン内のデータ管理に貢献できる機能を提供することで、素早く効率的なデータマネジメントを実現させます。
④連邦型のガバナンスと自動化による支援(Federated Computational Governance)
複数ドメインで重複したデータが製品として提供されることがあります。またセキュリティやプライバシー保護等のデータマネジメントが、ドメインごとにバラバラに実施されては、コンプライアンス上のリスクにつながります。
そのため、ドメイン横断で遵守すべき共通のガイドラインを中央で策定し、各ドメインが責任をもってガバナンスしていく必要があります。(連邦型ガバナンス)
また、各ドメインがガイドラインの遵守を監視、評価するために、自動化を中心とした支援ツールを積極的に採用します。
データメッシュのメリットを享受するためには
データ利活用を加速させるために、「データメッシュ」の考え方を部分的に取り入れる事例が増えてきているようです。そうした事例では、マスタやコード統合、データ標準化を行うための基盤を構築せずに、ビジネスドメインから直接データを取得しています。
しかし、そうした事例で④のガバナンスまで踏み込んで考えられているものは少ないのではないでしょうか?
各ビジネスドメインが利用者の要求に応じることは、その分ドメインに負荷が掛かることを示しています。
もし、求められるままにデータを提供していては、結果的に似て非なるインタフェースデータが増えてしまい、管理が繁雑になるばかりか、要求にも素早く応じられずボトルネックになります。
それらを解消するためには、各ドメインではどのようにデータを保持しておくと良いのか(あらゆる要求に応じられるように標準化しておくなど)、メタデータ・データ品質・データセキュリティはどう管理されるべきかなどのガイドラインも定めて、遵守していくようにガバナンスするべきです。
本来の「データメッシュ」のメリットを享受するためには、こうしたデータガバナンスこそが重要なのではないでしょうか。
※参考文献:
” Data Mesh” . Dehghani, Zhamak. 2022. Data Mesh. O’Reilly Media
https://www.oreilly.com/library/view/data-mesh/9781492092384/