AIエージェント環境
AIエージェント環境とは、エージェントが作業するシステムを本番に近い形で再現したものです。マスキング済みまたは合成のデータと必要な業務コンテキストを備え、毎回同じ状態から実行できます。お客様のSAP、CRM、文書、メッセージをもとに構築するため、本番システムに触れる前にエージェントをテスト、トレーニング、比較できます。
AIチーム・プラットフォームチーム、エージェント開発者、SIer、AIラボ向け。
基盤は、企業のAIエージェントのためのセーフステートレイヤー(英語) →提供状況
なぜ環境か
評価ツールでわかるのは、エージェントの回答が正しそうかどうかです。環境があれば、その行動が正しいかどうかまで確かめられます。エージェントには実際の業務コンテキスト、あらかじめわかっている正しい結果、毎回同じ開始状態が与えられます。
トレースと最終状態を読み取り、実行ごとに採点します。エージェントは正しい行動を取ったか?
できること
最初のプロトタイプから以降のすべてのリリースまで、同じ環境がエージェントに寄り添います。
本番に近いシナリオでエージェントを検証し、新しいバージョンを本番に上げる前に同じテスト一式を再実行します。
採点付きタスクを備えたリセット可能な環境で、強化学習、ファインチューニング、モデル比較を行えます。
エージェントやLLMが目にする文書、プロンプト、トレースを、最初のプロトタイプからマスキング・合成します。
Test Data Agent一般提供中
テストに必要なレコードとシステム状態を判断し、参照整合性と業務ルールを保ったまま、本番を反映したデータを生成・マスキング・サブセット化します。
比較
多くのチームは最初の3つのいずれかから始めます。どれも課題の一部しか解決できません。環境は、そのすべてを解決するために設計されています。
| アプローチ | 実際の業務コンテキスト | システム間の整合性 | 毎回同じ開始状態 | 実在の個人情報を含まない | 正解がわかっている | CI/CDで実行可能 |
|---|---|---|---|---|---|---|
| 本番のコピー | ○ | ○ | △ | × | × | × |
| 手作業で作るテストデータ | × | △ | ○ | ○ | ○ | ○ |
| LLMが書いたテストデータ | △ | × | △ | ○ | × | △ |
| AIエージェント環境 | ○ | ○ | ○ | ○ | ○ | ○ |
評価フレームワークはデータを提供しないため、表には含めていません。評価フレームワークは、上記のいずれを土台にしても、その上で実行を採点します。
導入実績
エージェント環境には、お客様が現在テストデータに使っているのと同じマスキング・サブセット化・データ生成エンジンを使用しています。
用語集
よくある質問
エージェントが作業するシステムを本番に近い形で再現したものです。マスキング済みまたは合成のレコード、その周辺の業務コンテキスト、それらを参照する文書やメッセージを含み、リセットポイントによって毎回同じ状態から実行を開始できます。
本番に近い環境、正解がわかっているシナリオ一式、実行ごとのリセットを用意します。シナリオを実行して結果を評価ツールで採点し、敵対的なケースを加えたうえで、リリースのたびに同じテスト一式を再実行します。
コピーを使うと、実在の個人情報がプロンプト、トレース、ログに入り込みます。また、全体のコピーを実行ごとにリセットするのは時間もコストもかかるため、同じ状態から実行を始められることはほとんどありません。
Test Data AgentとTDM for SAPは一般提供中です。APIでリセットできるエージェント用のマスキング済みSAPテストシステムと、文書の48時間検証も現在ご利用いただけます。メール、チャット、PDFはエンジニア主導で提供します。SAP強化学習(RL)環境はアーリーアクセス中です。
評価フレームワークは、エージェントのパフォーマンスを測定します。環境は、エージェントが動く場所そのもの、つまりデータ、システム状態、シナリオです。すでにお使いの評価ツールと併用できます。
まずSAPです。特に財務会計、購買、サプライチェーンに強みがあります。プラットフォームとしては、Salesforce、Oracle、Workday、Microsoft D365、ServiceNow、主要なデータベースにも対応しています。同じレコードと整合するメール、チャット、PDFは、現在エンジニア主導で提供しています。
ありません。オンプレミス、プライベートクラウド、ハイブリッドのいずれでも稼働し、お客様の既存のID管理、ネットワーク、セキュリティ、ガバナンスの管理策のもとで動作します。
はい。データの供給はREST APIやCI/CDパイプラインから実行できるため、リリースのたびに同じシナリオ一式を再実行できます。詳しくはエージェントの回帰テスト(英語)をご覧ください。
次のステップ
お客様が選んだ業務プロセスの環境を1つ構築し、そこでエージェントを実行して、2回の実行の間のリセットをお見せします。
SAP、S/4HANA、Joule、および本ページに記載のその他のSAP製品・サービス名とそれぞれのロゴは、ドイツおよびその他の国におけるSAP SE(またはSAPグループ会社)の商標または登録商標です。その他の名称は、それぞれの所有者の商標である場合があります。