# データレイクとは

業務データ、ログ、画像、文書など形式の異なるデータを、元の形式を含めて一括で保管し、分析や機械学習に利用する基盤です。出どころと管理者を記録せずに蓄積すると、必要なデータを検索できず、利用の可否も決定できない置き場になりやすくなります。

## データレイクとは

データレイクは業務システムの記録、操作ログ、画像、PDFの文書、センサーの値など形式の異なるデータを、加工前の元の形式を含めて1か所に集約する[データの保管基盤](https://aws.amazon.com/jp/what-is/data-lake/)です。
集約したデータは分析や機械学習の材料として利用します。
構成の一例としてクラウドのストレージにシステム別、日付別のフォルダを用意し、各システムが出力したファイルを定期的に追加していく形があります。
分析や機械学習の用途が後から確定した場合も、加工前の元データにまで遡及して利用できます。

保存の時点では分析用の項目や、各項目が数値、日付、文字のどれにあたるかといったデータの種類をすべては統一せず、[読み出しの際に解釈・加工する](https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/scenarios/data-lake)ため、保存は容易ですが、そのままでは集計表になりません。
比較対象のデータウェアハウスは主に表の形に整理したデータの高速な集計に適合した分析基盤で、分析用に整形した表での集計が利用の中心です。
データレイクは元の形式のまま保管し、用途に応じて加工する点が異なります。
データウェアハウスが品目別に棚を指定した倉庫だとすれば、データレイクは荷物を箱のまま受け入れる保管庫に近いです。
箱に中身と送り主を記入しておかなければ、後から必要な荷物を特定できません。

![データレイクは元の形式のまま保管して読み出しの時点で用途別に加工し、従来型の代表的なデータウェアハウスは分析用の表に整形してから保管して集計に利用することを示す図](https://media.marketing.kdotdev-tunnel.org/glossary-data-lake-764ed2f032abd33d9215247ddd5b655b163a7cfaca14c791e26491db0208627d.png)

## 用途が未定のデータも保存できる

従来のデータウェアハウスは保存前に項目を定義した表形式のデータを処理する仕組みです。
画像や文書のように表形式で表現できないデータの管理には不向きでした。
元のデータを別に保存していなければ、元システムの保存期間が経過した時点で削除され、後から新規の分析を計画しても、過去の期間を遡及して集計できない場合がありました。

データレイクはどの分析に利用するか未定のデータも安価なストレージにそのまま保管し、用途が確定した時点で取得する手段です。
分析の切り口が[事前に分からない状況で有用](https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/scenarios/data-lake)と位置づけられています。

![元システムでは保存期間を経過すると削除されるデータも、データレイクに保存しておけば、用途が後から確定した時点で過去に遡及して利用できることを示す図](https://media.marketing.kdotdev-tunnel.org/glossary-data-lake-95e279f4bbe0d0fff09c6d234ccf617ccdb716f0fdc8dddfdca14f1f2ae617cc.png)

## 効果

- 元システムで削除される操作ログや履歴を、低い保管費用で長期間保管できる
- 表、ログ、画像、文書を、形式ごとに別の保管先を用意せず1か所に集約できる
- 機械学習やAIのモデルの[学習](https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/scenarios/data-lake)に、加工前のデータを利用できる
- 新規の分析の切り口が確定した時点で、過去の期間を遡及して再集計できる

## コストとリスク

- 中身の説明、出どころ、更新日を記録する仕組みがないと、データを検索できず信頼もできない[データスワンプ](https://aws.amazon.com/jp/what-is/data-lake/)になる
- ストレージの料金は安価でも、[データの読み出し量、処理時間、要求の回数、転送量に応じて費用が増加する](https://aws.amazon.com/s3/pricing/)
- 個人情報や機密文書を含むデータを保管する場合は、参照できる人の管理と監査のほか、保存期限、削除、生成AIへの利用可否を複製先も含めて決定する必要がある
- データウェアハウスにも複製して集計する構成では、二系統の管理による遅延と不整合の[リスク](https://www.cidrdb.org/cidr2021/papers/cidr2021_paper17.pdf)が生じる
- 取り込みの監視、フォルダ構成と保持期間の管理、利用部門からの問合せ対応に、運用担当が継続して必要になる
- 業務部門が利用するにはデータの整理や分析ツールの設定を別に用意する必要がある

![データレイクの費用は安価な保管の料金に、読み出し量・処理時間・要求の回数・転送量に応じて課金される利用料と運用の人件費を合計したものであることを示す図](https://media.marketing.kdotdev-tunnel.org/glossary-data-lake-e5daed21166f61966f5867b128d3d15276bf59966f8413f554a489ef0e9cbd3a.png)

## データレイクを構築するかの判断

### とりあえず全データを蓄積しておけば後で利用できるか

管理の情報を付与せずに蓄積したデータは、必要なものの検索も、利用の可否の決定も困難になります。
誰が何のために格納したかが不明なデータは、利用前の確認と整理に多大な工数が必要です。
保管時にはデータごとに出どころ、更新の頻度、担当者、保持期間の4点を記録します。
4点が不足しているデータは、責任者を指定して補完するか、利用目的と法令上の保存義務を確認したうえで保管の要否を決定します。

4点は検索と担当者への確認の手掛かりです。
利用の可否は参照の権限や利用目的も確認して決定します。

![出どころ・更新の頻度・担当者・保持期間の4点をデータごとに記録しておけば、後から検索でき、担当者に確認できることを示す図](https://media.marketing.kdotdev-tunnel.org/glossary-data-lake-ba4c913a7744e0a7f1fe7524e2998e74d087e8b3a400c8b5f74e46af9230b2bf.png)

### データウェアハウスとどちらが必要か

売上や在庫の集計表を部門で共有することが目的なら、データウェアハウスが先です。
受注や会計などの表形式のデータが中心なら、データウェアハウス単独で開始できることが多いです。
次のいずれかに該当する場合は、データレイクも比較の対象にします。

- 操作ログ、画像、音声、文書など表形式でないデータを分析や生成AIに利用する
- 元システムの保存期間が短く、削除される前に履歴を保存する必要がある
- データサイエンティストなど、加工前のデータを直接扱う利用者が社内にいる
- 長期に保管するデータが多く、保管と処理の費用を見積もるとデータウェアハウスへの格納より安価になる

![データレイクも比較の対象にする4つの条件と、どれにも該当しなければデータウェアハウスから開始することを示す図。条件は表以外のデータの分析利用、元システムで削除される前の履歴の保存、加工前のデータを処理する利用者の存在、データレイクのほうが保管と処理の費用が安価な場合](https://media.marketing.kdotdev-tunnel.org/glossary-data-lake-05b25ef5046f7388afe0a8d1ad5717d7ff2ce79aaaade3525898b6fa84ee815d.png)

データウェアハウスとデータレイクを両方保有する構成では、二系統の管理が生じます。
これを避ける構成としてデータレイク上にデータウェアハウスと同等の表の管理機能を実装し、データウェアハウスと同様の集計を可能にする[データレイクハウス](https://www.cidrdb.org/cidr2021/papers/cidr2021_paper17.pdf)が提唱されています。
既存のデータウェアハウスを維持したまま、データレイクハウスを[併用する構成](https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/scenarios/data-lake)もあります。
集計表の共有と機械学習で同じデータを利用するなど、構成を統合する利点が顕著な場合に検討します。

### 利用されていないデータレイクを再建するには

全体の整理から開始せず、現在利用されている、または利用したい用途を1つに限定し、その用途に必要なデータだけを管理対象にします。
管理対象のデータには出どころと担当者を記録し、利用できる状態を確認してから次の用途へ拡大します。
どの用途にも紐づかないデータは、法令上の保存義務を確認したうえで保持期間を決定し、低価格の保管階層へ移行するか削除します。

![用途を1つ決定して必要なデータに限定し、出どころと担当者を記録したうえで、利用できれば次の用途へ拡大し、利用できなければ不足を補完して再確認する手順を示す図](https://media.marketing.kdotdev-tunnel.org/glossary-data-lake-a93d75f3f07ce60dc5fd428db3c3f1dbfb0f6f642f89b5f88856009e25a306d1.png)

低価格の保管階層は[取り出しに時間を要する、取り出しの料金や最低保管期間がある](https://aws.amazon.com/s3/pricing/)、といった制約を確認してから利用します。

保管しているだけで費用が増加するうえ、個人情報を含む場合は漏えい時の本人への影響も考慮する必要があります。
影響は含まれる情報の種類や件数などに基づいて評価します。

## よくある誤解

### ストレージが安価なので費用はほとんどかからない

保管の料金は安価ですが、データの格納、加工、読み出しの処理にかかる利用料と、運用担当の人件費が別に発生します。
保管の料金だけでなく、処理の量と運用の体制を含めて年間の費用を見積もります。

### データレイクハウスの登場でデータレイクは旧式になった

データレイクハウスはデータレイクの保管場所にデータウェアハウスの管理機能を追加した構成です。データレイクの代替ではありません。
元のデータを安価に保管するデータレイクの役割を基盤として維持し、その上に分析用のデータを表として管理する機能を追加します。
クラウド事業者の製品の例では、Microsoftの分析サービスであるMicrosoft Fabricが[利用環境ごとに1つのデータレイクであるOneLake](https://learn.microsoft.com/ja-jp/fabric/onelake/onelake-overview)を自動で用意します。
データウェアハウスやレイクハウスのデータもOneLakeに格納する設計です。
データレイクハウスでは元のデータを[データレイクの安価な保管場所に保管したまま](https://www.cidrdb.org/cidr2021/papers/cidr2021_paper17.pdf)、その上で表の管理機能を利用できます。

![データレイクの保管場所を基盤として、表として管理する機能を追加した構成がデータレイクハウスであることを示す図](https://media.marketing.kdotdev-tunnel.org/glossary-data-lake-2b03a1a57c2630b3738c25c9ec30281d425cf68c2e663accc3f108c5f3714613.png)