エージェンティックワークフローとは｜ビジネスサイドのための IT 用語集

 エージェンティックワークフローとはエージェンティックワークフローは、業務の流れの中にLLM（Large Language Model）が判断や文章の生成を担当する工程を組み込み、手順の一部をLLMに決定させる自動化の形態です。

多くの構成では全体の流れを人が設計し、どの工程でLLMに何を判断させ、どの工程を従来の処理や人が担当するかを事前に決定します。

目的は、RPAやワークフローシステムのように手順と分岐を固定した自動化では停止していた例外の案件を、流れを停止させずに処理することです。

LLMは担当の工程で入力を解釈して区分を判定し、必要な情報をツールで取得し、自身の出力を点検して修正します。
たとえば請求書の処理では、受信、文字の認識、金額の照会、会計システムへの登録の順序を固定し、端数の処理で許容する範囲内の差のように規則で判定できる不一致は従来の処理で自動的に登録します。

LLMが担当するのは、規則では判定できない不一致の理由を推定する工程です。

LLMは取引先との過去のメールや契約の記録を検索し、値引き、分割の納品、単価の改定のどれに該当する可能性が高いかを推定し、参照した記録を添付して該当する担当者に回付します。

登録と支払いは従来の処理と人の承認で実行します。

時刻表と停留所を固定した路線バスの運行で、道路の状況に応じた迂回だけを運転士に判断させる形に近いです。
この語の範囲は統一されていません。

Andrew Ngは、LLMが下書き、点検、修正を反復して作業する流れをagent workflowと呼び、点検と改善、ツールの使用、計画、複数のエージェントの協調を設計の型としています。計画や複数のエージェントの協調も含むため、この用法の範囲は広範です。

Anthropicは、LLMとツールを事前に定義した流れで連携させるものをワークフロー、LLMが手順とツールの使い方を自ら決定するものをエージェントと区別し、両者の総称をエージェント型のシステムとしています。

この記事では、流れを人が固定し、一部の工程の判断をLLMに担当させる構成を指します。

この語が登場したときはどの工程でLLMが何を判断するかを確認します。
 手順を固定した自動化で処理できなかった例外人が定義した手順と分岐で処理するRPA（Robotic Process Automation）やワークフローシステムでは、定義した条件に該当する処理は高速で結果も一定です。

一方で、書式の異なる書類、自由記述の問合せ、条件の組み合わせが想定外の案件は、定義した分岐に該当せず停止するか、人に回付されます。

例外に対応するために分岐を追加し続けると、規則が複雑化し、改修のたびに既存の分岐との矛盾を確認する手間が増加します。
LLMを工程に組み込むと、書式の異なる書類の読み取りや自由記述の分類のように規則で記述しにくい判断を、流れを停止させずに処理できる案件が増加することがあります。

LLMに1回で回答させるより、下書き、点検、修正を反復させるほうが成績が向上する例もあります。

Andrew Ngのチームが複数の研究の結果を集約した2024年3月の記事では、プログラムを作成する課題集のHumanEvalでのGPT-3.5の正答率は、1回の回答では48.1%、反復して作業する流れでは最大95.1%でした。
 RPA・ワークフロー・AIエージェントとの違い違いは、全体の流れを誰が決定し、例外をどこで処理するかです。
Gartnerは、RPAやチャットボットなどの既存の製品を、実質的なエージェントの機能なしにエージェントとして販売する事例が多いと指摘し、実質を伴う提供者は数千社のうち約130社と推定しています。

製品の名称ではなく、どの工程でLLMが何を判断し、その結果が後の処理をどう変化させるかで区別します。
 エージェンティックワークフローの効果とコスト・リスク 効果例外の削減。書式の違いや自由記述のような、規則で記述しにくい入力を流れの中で処理できる
規則の簡素化。分岐を追加し続ける代わりに、判断の基準をLLMへの指示に記述して対応できる
予測のしやすさ。全体の流れは固定するため、AIエージェントに一任するより処理の手順と費用を見積もりやすい
 コストとリスク判断のばらつき。同じ入力でもLLMの判断が毎回同じになるとは限らない。後の処理が判断の結果を前提にする工程では、出力の形式をスキーマで固定し、値を従来の処理で検証する
費用の変動。従量課金の契約では、LLMの工程の費用は入出力の量と反復の回数に応じて変動する。点検と修正を反復させる工程では、反復の回数に上限を設ける
評価の手間。LLMの工程の正確さを過去の案件で測定し、モデルや指示を変更するたびに再測定する
モデルの更新と提供の終了。モデルの更新や提供の終了で判断の傾向が変化するため、同じ案件で再評価してから移行する
データの送信先。LLMの提供者のサービスで処理する構成では、請求書や取引先とのメールのような業務の文書も提供者に送信されるため、学習への利用と保管の条件を契約で確認する
判断の記録。経理のように監査の対象になる業務では、LLMの判断の結果と参照した記録を案件ごとに保存する
プロンプトインジェクション。社外から受信した文書を解釈する工程では、文中の命令文でLLMの判断が変更されるおそれがある。その判断だけで社外への送信や支払いを実行させない
 業務の自動化にどの形態を採用するかまず手順と規則を固定した自動化で処理できるかを確認し、処理できる工程はRPAやワークフローのままにします。

規則で記述しにくい判断が一部の工程にあり、全体の流れは固定できる業務では、その工程にだけLLMを組み込みます。

全体の流れ自体が案件ごとに異なり、事前に定義できない業務だけをAIエージェントに委任します。

GartnerのアナリストのAnushree Vermaは、判断が必要な場面にはAIエージェントを、定型の流れには従来の自動化を、単純な検索にはAIによる支援を使用するところから開始するよう述べています。
次の条件をすべて満たす工程にだけ、LLMを組み込みます。
LLMの判断に誤りがあっても、後の工程か人の確認で検出できる
判断の結果を、区分や金額のように後の処理で検証できる形式で出力させられる
判断の誤りの影響を取り消しできる範囲に限定できる。取り消しが困難な操作の直前には人の承認を設ける
月間の件数、1件あたりの処理時間の削減量、人件費の積が、LLMの利用料と評価・保守の人件費を上回る
規則で処理できない例外が毎月数件しかない業務では、処理時間の削減で節約できる人件費が少なく、評価と保守の費用を上回りにくいため、人が処理するほうが安価なことが多くなります。

目安として、例外が毎月数十件から数百件発生し、1件あたりの人の処理時間が数分以上で、評価に使用する過去の案件を数十件から100件程度用意できる業務では、効果が費用を上回りやすくなります。
 LLMの工程を評価して運用を拡大する手順合格の基準を決定する。現在の担当者の誤りの割合と、誤りが後の工程で発生させる手戻りから、許容できる誤りの上限を決定する
過去の案件を目安として数十件から100件程度用意し、LLMの工程の判断と正解を比較して正答率を記録する。誤答の案件の種類ごとに指示を修正する
運用の開始後は、LLMの判断をすべて人が確認する
一定期間の正答率が基準に到達したら、人の確認を抜き取りに変更する。支払いや社外への送信に影響する判断は人の確認を維持する
モデルや指示を変更したら、同じ過去の案件で再評価してから適用する
 よくある誤解 エージェンティックワークフローを導入すればRPAは不要になる規則どおりに実行すればよい工程は、RPAやワークフローのほうが結果が一定で費用も安価です。

LLMは規則で記述しにくい判断の工程に限定して組み込み、それ以外の工程は従来の自動化のまま維持するほうが運用しやすくなります。
 エージェンティックワークフローはAIが業務を自律的に処理する仕組みであるこの記事が対象とする構成では、全体の流れと各工程の担当は人が設計し、LLMが判断するのは組み込んだ工程の範囲だけです。

同じ語で自律的なエージェントを指す製品もあるため、どの工程で何を判断し、誤りを誰が検出するかを確認します。