本文へスキップ

事例

広告クリエイティブ予測 AI の MLOps 基盤

広告クリエイティブの良し悪しを予測する AI を、自社プロダクトとして提供する企業との取り組みです。同社には推論の精度を評価する基盤がなく、改善が手探りで進み、現在のモデルが十分な水準に達しているかを把握しにくい状態でした。開発支援会社の KDOT は、機械学習のモデルを学習からリリースまで継続的に改善する基盤(MLOps 基盤)を設計し、同社のエンジニアがそれを自ら実装しました。導入後、同社は実験の計画からデプロイまでを効率よく進められるようになり、新たなモデルの出来を見極めたうえで改善を自分たちの手で継続しています。

サービス
データ基盤構築 / 技術顧問(技術企業向け)
技術領域
機械学習・AI / サーバー開発 / クラウド基盤 / 運用自動化・監視
使用技術
MLflow / Python / Terraform / Datadog

01

モデル精度の品質管理体制がなく改善は手探りだった

同社の AI は、広告運用の担当者やデザイナーがクリエイティブを見直すときに利用するプロダクトです。研究部門が過去の配信実績で学習と評価を重ね、プロダクト企画部門と合意したうえで本番環境へ反映していました。しかし、その過程でモデル精度に関する品質管理体制が整っていませんでした。

研究者は学習のたびに評価指標を算出していましたが、git にはコードの変更しか残らず、学習ごとの条件や結果は残りません。そのため条件と結果を別の手段で記録する必要があり、新たなモデルが前より優れているかを比較するたびに多大な手間がかかっていました。モデルのバージョンも管理されておらず、稼働中のモデルがどれで、どの学習から生まれたのかが曖昧でした。何をリリースするかも、研究部門と企画部門が明確な基準がないまま決定していました。求める水準の精度に達しているかを判定できず、改善の効率も向上しませんでした。

02

モデル精度の品質管理体制が欠けている箇所を特定する

KDOT はまず、部門の間で誰が誰に何を引き渡しているかを、要求の検証から本番前の確認までの流れ図に整理し、モデル精度に関する品質管理体制が欠けている箇所を特定しました。

方針は、一般的なベストプラクティスを適用するのではなく、同社の部門構成と連携の実態に合わせると決定しました。たとえば研究部門の研究履歴は専門性が高く、全量を共有しても企画部門の判断には活用しにくいものでした。そこで、プロダクトに関係し、企画部門の運用に必要な内容だけをタグで抽出して共有する方式を選択しました。

03

学習からリリースまで精度を評価する MLOps 基盤

中核は、実験管理、モデルのバージョン管理、受け入れ条件によるリリース判断の 3 つです。実験管理とバージョン管理には、機械学習データから規則性を学習させ、需要予測や異常検知、分類などをさせる技術です。予測用のモデルを構築するのは、集計やルールによる予測からの改善分の価値が、データの整備と運用中の監視・再学習にかかる費用を上回るときです。向けのツールである MLflow を採用しました。新たなモデルを学習すると、条件、評価値、使用したコードのバージョンが実験ごとに記録されます。研究者は評価値を前のバージョンと比較し、精度が向上したかを確認します。過去の実験の条件と結果を一覧できるので、次に試す条件も決定しやすくなります。前のバージョンより精度が向上したモデルは、バージョン番号を付けて登録します。本番に反映する前に、研究の履歴からタグで抽出した要点と受け入れ条件を、企画部門と研究部門が確認して合意します。合意したものは、その番号を指定するだけで本番環境へデプロイできます。学習からリリースまでの各段階に、確認の関門を設けた設計です。

04

同社のエンジニアの手で組み上げた基盤が社内に残る

実装は同社のエンジニアが自ら担い、KDOT はコードレビューや定例の打ち合わせで、設計の意図どおりに仕上がるよう支援しました。そのため MLOps 基盤は、同社のエンジニアが自分たちで改修できる形で社内に残りました。完成後、同社は研究部門向けに紹介の場を設け、そこから日々の研究で活用され始めました。

05

精度を評価しながら実験からデプロイまでを効率よく進められるようになった

導入後、研究者は日々の実験を実験管理に記録し、前のバージョンと評価値を比較して精度の向上を確認するようになりました。過去の実験を踏まえて次に試す条件を決定できるので、実験の計画にかかる手間も減少しました。デプロイは登録したバージョンを指定して実行するため迅速に完了し、稼働中のモデルからその元になった実験まで追跡できます。研究部門と企画部門は、研究履歴の要点と受け入れ条件に照らして、リリース対象を決定するようになりました。同社は、精度を見極めながらモデルを改善する取り組みを、自分たちの手で継続できるようになりました。

この事例に関わるサービス

この事例の技術に関する記事

ほかの事例

  • データ基盤構築 / 技術顧問(技術企業向け)

    事例:効果検証の分析処理基盤

    効果検証を提供する分析会社との取り組みです。同社は分析者の人数に比例してしか売上と利益を伸ばせない事業の形を、効果検証をプロダクトとして提供することで変革しようとしていました。手法とモデルは同社のまま、社内では開発できなかった、データと機械学習の重い推定を製品として動かす仕組みの開発を、開発支援会社の KDOT に任せました。推定を案件ごとの手作業ではなくシステムで実行できるようになったことで、同社は人数に比例しない形で売上と利益を伸ばすことを目指せるようになりました。

  • データ分析支援 / データ基盤構築

    事例:現場が使うデータ分析の環境

    不動産・宿泊領域の新規事業会社との取り組みです。同社では Web の計測データや公開データ、日々の業務で発生するデータを蓄積していましたが、それぞれが分散しており、改善策や同社の顧客への提案を検討する材料にできませんでした。開発支援会社の KDOT は、Web 計測、広告、検索のデータを分析用の基盤へ集約し、サイトを横断する指標の計算規則を統一しました。さらに対話型 AI(人工知能)の Claude から Metabase のデータを照会できるようにしました。現場担当者は、事業全体から地域や物件、Web 上の行動へ確認範囲を絞り込み、自分の問いに即して比較条件を変更しながら、次の施策や同社の顧客への提案を検討できるようになりました。

  • データ基盤構築 / プロダクト / Web システム開発

    事例:価格設定モデルのデプロイ基盤

    広告枠の価格設定モデルを開発する分析会社との取り組みです。分析会社はこのモデルを、アドネットワークを運営する配信事業者に提供しています。配信事業者は、自社の環境で自社のデータと統合して分析し、新たなモデルを自ら検証できるようにしたいと考えていました。それにはモデルを配信事業者のシステム上で稼働させる基盤が必要でしたが、分析会社はそれを社内で開発できませんでした。KDOT は分析会社側のチームに参画し、この基盤をチームで設計・構築しました。分析会社はモデルを分析結果として納品するだけでなく、稼働させる基盤まで含めて納品できました。同時に、社外からの要望に応じてモデルを相手の環境へデプロイできる基盤を自社の資産にできました。分析会社はこの基盤を継続的に提供するサービスも配信事業者に提案しています。

お問い合わせ・ご相談

システム開発、データ活用、プロダクトづくりのことならお気軽にご相談ください。要件が固まる前の整理や、お見積もりだけのご依頼も承ります。

相談する