ディープフェイクとは

ディープフェイクとは

ディープフェイクは、生成AIで実在する人物の顔、声、話し方を合成し、その人物が実際にはしていない発言や行動を本人によるものとして作成した偽の音声、画像、動画です。

たとえば、自社の経理担当者がオンライン会議に参加すると、画面には取引先の役員と称する人物だけが表示され、普段と同じ声と話し方で送金を指示されます。指示の内容を確認しただけでは、相手が偽物だと判別できません。

悪用の目的は実在の人物を偽装して送金や情報の提供を指示する詐欺と、評判や世論の操作です。合成の技術は映像制作や声の復元のような正当な用途にも利用されますが、組織の被害の原因になるのは本人の同意のない偽装です。

ディープフェイクは生成AIの用途の1つです。実在しない人物の画像や文章だけの偽情報は、本人の顔と声を偽装する要素がないため、ディープフェイクとは区別します。役員や取引先を詐称して送金を指示する手口自体は、メールを利用した詐欺と同じで、偽装の手段がメールの文面から声と映像に変化しています。

偽装が成立する条件

生成に必要な手間と費用が軽減されたことで、短い音声のサンプルから声を複製し、写真から顔を合成できるようになりました。英国の建設コンサルティング会社Arupの香港法人では2024年、偽のオンライン会議に参加した従業員が、役員と称する参加者の指示どおりに約2億香港ドルを送金しました。当時の為替レートで約2,500万ドルです。

偽装が成立しやすい状況には、次の4つの条件があります。

• 従業員が指示する相手の顔と声を熟知している。役員、取引先の担当者、採用の候補者など、映像と音声だけで本人と判断される関係がある
• 指示の内容が普段の業務と矛盾しない。送金、口座の変更、契約の承認、人事の指示は、本人からの依頼として違和感なく処理される
• 緊急だと説明されると通常と異なる点を考慮せずに処理する。新規の送金先、普段より多額の決済、勤務時間外の連絡がこれに該当する
• 会議への参加や顔の表示を、本人確認の完了と解釈する

4つの条件が同時に成立すると偽装は成功しやすくなりますが、一部の条件だけでも偽装は成立します。短い音声のサンプルからも声を複製できるため、音声だけの電話による手口も対象に含めます。多額の送金を映像と音声の指示だけで実行できる手続きが存在すると、1回の偽の会議で被害が発生します。

偽情報としての影響

総務省の令和6年版情報通信白書は、情報操作の例として、生成AIで作成した岸田総理大臣の偽動画がSNSで拡散した事例と、能登半島地震の際に東日本大震災の津波映像を含む投稿が拡散した事例を紹介しています。

組織にとっては自社の役員や製品が偽の動画に登場する事態が問題になります。取引先からの信用、株価、採用の応募に影響し、広報の対応の負担も増大します。偽の動画が公開されてから対応方針を決定すると、訂正の範囲と窓口を事後に検討することになります。偽の動画の公開に備えて、訂正の窓口と訂正を決裁する担当者を事前に指名しておきます。

検知の限界

国立情報学研究所は2021年9月に、AIで生成したフェイク顔映像を判定するプログラムの開発を発表しました。事業者へのライセンス提供を前提としたもので、誰でも入手できる検知ツールではありません。

一方で、インターネット上で流通する偽物に対しては、検知の精度が研究段階の評価と比較して低下するという評価があります。顔を交換する加工サービスで作成された偽物に対しては、検知の手法の精度がランダムな推測に近い水準まで低下しました。作成者が公開の前に画像を高精細化する処理を追加すると、検知はさらに困難になります。これらは実環境の偽物を収集した査読前の1件の評価による結果です。検知の精度は偽物の作成方法と後処理に依存するため、検知を前提とする対策は作成方法が変化するたびに更新が必要です。

AIの提供者が生成物であることを示す表示を付与する取り組みもあります。EUのAI法は合成した音声、画像、動画、文章を出力するAIの提供者に対し、出力がAIによる生成物であることを機械が判読できる形式で表示するよう規定しています。同法はディープフェイクを公開する事業者にも、人工的に生成または操作されたものであることの明示を求めており、この規定は2026年8月2日から適用されます。

義務の対象は、EU域内にAIシステムを提供する事業者と、EU域内でAIシステムを業務に利用する事業者のほか、AIの出力がEU域内で利用される場合のEU域外の提供者と利用者です。日本の事業者でも、生成した動画や音声がEU域内で利用されれば対象になります。

表示にはファイルに付与する来歴情報と、データ自体に組み込む電子透かしがあります。来歴情報は再圧縮で消失しやすく、電子透かしは加工に一定の耐性があるものの、切り抜きや再生成で検出が困難になります。どちらもすべての偽物に付与されているわけではなく、偽物でないことの証明にはなりません。表示は映像や音声を受信した組織がその有無を確認できる仕組みがあって初めて機能します。

手続きで防止する

偽物の識別を技術だけに依存せず、偽の指示が手続きを通過しない仕組みにします。

• 送金と口座の変更は映像や音声の指示だけで実行しない。登録済みの連絡先へ架電し、依頼の内容を確認する
• 役員や取引先の担当者と称する人物からの依頼は、原則として金額と無関係に別の手段で確認する。新規の送金先は既存の担当者が所定の手続きで登録する
• 会議への参加や顔の表示を、本人確認の代わりにしない。本人確認は登録済みの連絡先で実施する
• 緊急を理由に手続きを省略する場合の承認者を決定しておく。省略の判断を現場に一任すると、偽の指示がそのまま通過する
• 経理と営業の担当者を対象に、偽の音声や動画で依頼する模擬訓練を年1回実施し、結果を記録する

最初は対象を送金と口座の変更に限定し、登録済みの連絡先への架電を必須にします。訓練と検知ツールの検討はこの2つの手続きが定着してから開始し、検知ツールは確認の補助として利用し、手続きの代わりにはしません。

確認の手段を追加すると決裁までの時間は延長されます。すべての依頼に同じ水準の確認を求めず、資金の移動と顧客情報や認証情報の外部提供をほかの依頼と区分して確認するほうが、運用を継続できます。

対応を区分する基準

どの業務にどの程度の確認を求めるかは、偽の指示が通過したときの損失の重大性で決定します。

業務	偽の指示で発生すること	確認の方法
送金、口座の変更	資金の流出。回収は困難	原則として金額と無関係に、登録済みの連絡先への架電で確認する。新規の送金先は所定の手続きで登録する
契約、発注	意図しない契約の締結、支払い義務の発生	映像と音声の指示だけで締結しない。書面と担当者による確認を必須とする
人事、採用	応募者や社員の偽装	本人確認書類で確認し、対面またはそれに相当する方法を併用する
広報、SNS	風評、株価、信用への影響	公式アカウントの権限の付与範囲を限定し、偽情報の監視と訂正の方針を決定しておく
従業員個人への連絡	情報の詐取、端末への侵入	社外からの依頼は窓口へ集約し、個人が単独で応答しない

確認の対象は多額の取引に限定されません。従業員個人への連絡は被害が軽微と認識されがちですが、詐取された認証情報はその後の不正な操作に利用されます。

費用とリスク

確認の手段を追加すると運用の負担が増大します。架電による確認は1件あたり数分の作業で、月間の送金依頼が100件なら、1件5分の架電で月8時間になります。工数を確保できない場合の例外として、金額のしきい値を設定し、しきい値以上の依頼に架電の対象を限定します。しきい値未満の依頼は架電による確認なしに処理されるため、新規の送金先と口座の変更はしきい値と無関係に架電の対象とします。本人確認サービスを導入する場合も、誤判定を人が確認する工程は引き続き必要です。

検知ツールは偽物の作成方法の変化に追随する継続的な更新を前提としています。導入した時点の精度を理由に、確認の手続きを省略しないほうが安全です。

被害が発生した場合は送金した金額のほか、回収の交渉、監査対応、取引先への説明、広報のそれぞれに費用が発生します。サイバー保険で補償の対象になる場合もありますが、補償の範囲は契約ごとに異なるため、加入の前に確認します。

よくある誤解

検知ツールを導入すれば偽物は識別できる

検知ツールを導入しても、実際に流通する偽物では、検知の精度が研究段階の評価値より低下することがあります。検知の結果は受信した映像や音声を不審と判断する材料にはなりますが、偽物でないことの証明にはなりません。資金の移動を含む依頼は検知の結果と無関係に別の手段で確認します。

顔認証を導入していれば偽装は防止できる

登録した本人の顔と比較する顔認証では、映像が本人を撮影した本物か、合成された偽物かを判定できません。オンラインの本人確認サービスには、画面上の人物がその場に実在するかを判定するライブ検知の機能を搭載したものもあります。ただし、カメラを経由せずに偽の映像を入力する攻撃は、その対策を搭載していないライブ検知では検出できないことがあります。認証を通過したことを理由に、その後の送金の依頼まで本人からのものと判断すれば、偽の指示が通過します。

標的になるのは大企業だけ

被害額は大企業ほど拡大しやすいものの、標的は大企業に限定されません。偽の指示が通過するかは、組織の規模より手続きの厳格さに左右されやすい傾向があります。経営者が直接指示することの多い少人数の組織では、経営者と称する音声や動画による指示もそのまま通過することがあります。