テスト・評価・デプロイ・セキュリティ

公開前の確認は 2 段階です。**デバッガー（Debug）**でノードごとの入出力を確かめ、**評価セット（Evaluation）**で質問と期待する回答を使って正確さ・速さ・トークンを数値で確かめます
ワークフローは公開（Publish）して初めて利用者・トリガー・外部アプリから使えます。トリガーも公開後に有効になります
利用者への届け方には、エージェント一覧（Agent Explorer）、Redwood ページのガイド付きジャーニー（Guided Journeys）、VB Studio／スマート・アクション、トリガー（Webhook・Email・Schedule・Signals）、外部アプリからの /invokeAsync があります
運用中は Monitoring and Evaluation タブでエラー率・P50／P99 レイテンシ・トークン・AI Units を監視します。数値はスケジュール済プロセス Aggregate AI Agent Usage and Metrics の集計後に表示されます
環境間の移行はエクスポート／インポートで行い、移行先でもう一度公開します。ドキュメント・ツールの文書、Email ツール、外部 REST の認証は移行先で設定し直します

全体像

設計 → 作成（Draft）→ デバッグ（Debug・Run Profiles）→ 評価（Evaluation Sets）→ 公開（Publish）
  → 届ける（Agent Explorer／Guided Journeys／トリガー／外部アクセス）→ 監視（Monitoring・Value）
  → 移行（Export／Import → 移行先で公開）→ 改善（評価の再実行と比較）

テストは「1 回動いたら終わり」ではありません。プロンプト・モデル・文書を変えるたびに、同じ評価セットを流して前回と比べます。

テスト（デバッグ）

デバッガーでワークフローを確かめる

Workflows タブでワークフローを選び、Edit を選択します
ツールバーの Debug を選ぶと、会話ペインに Ask Oracle が表示されます
テストしたい経路を通る現実的な質問を入力して実行します。キャンバス上で実行経路が強調表示されます
ノードを選ぶと Node Details ペインが開きます。Results タブで Duration・Output・Input・Variables・Context・Token metrics を、Configuration タブでプロンプトやパラメータの対応付けを確認します

機能（英語 UI 名）	使いどころ
Run Profiles	保存したテスト入力を再実行する（回帰テスト）
Breakpoints／Step through／Resume	特定のノードの手前で止める、1 ノードずつ進める、再開する
Rerun From Node	選んだノードから下流だけを再実行する
Pin output／Edit output	安定した出力を固定する、出力を書き換えて下流の動きを試す
Override node configuration	プロンプトや設定を一時的に変えて効果を試す

最終回答がおかしいときは、最後のプロンプトをいきなり直さず、ノードを後ろからたどってどこで誤りが入ったかを探します。実行プロファイルは「添付ファイル付きの規程質問」のように業務シナリオ名で保存し、分岐ごと・意図ごと・正常系と異常系・既知の不具合・境界ケース（値の欠落、不正な値、検索結果 0 件）を用意します。

Playground（スーパーバイザー・エージェントと LLM ノード）

スーパーバイザー・エージェントは編集画面の Edit in Playground で、本番に影響を与えずにプロンプトとモデルの設定を試せます。Save and Test で実行し、Run History で過去の実行を比較（Compare）したり、良かった設定を適用（Apply）したりできます。テスト後に公開すると反映されます。

公開前のチェックリスト

公式ドキュメントは、デバッグ後に公開する前の確認項目として次のような点を挙げています。

主な実行プロファイルをすべて実行し、Switch のすべての分岐を通した
ブレークポイント、固定（Pin）した出力、一時的なモック出力を外し、設定の一時変更を確定または破棄した
LLM ノードの出力が期待した形式になっている。データ・関数・ツールのノードに正しい入力が渡っている
RAG とツールのノードが関連する入力を受け取り、役に立つ結果を返している
最終回答が正確で読みやすく、依頼内容に合っている。エラー時と結果 0 件のときも確認した

評価（Evaluation）

評価セットは、テスト用の質問、期待する回答、測る指標をまとめたものです。エージェントごとに作り、1 つのエージェントに複数の評価セットを持てます。

Monitoring and Evaluation タブを開き、Manage Evaluations で Add を選ぶ
名前、コード、説明を入力し、評価するエージェントチーム（ワークフロー）を選ぶ
実行モードを選ぶ。Sequential（前の質問の文脈に依存する場合）か Random
RAG の指標も測る場合は Enable document tool evaluation を有効にする
Questions サブタブで質問と期待する回答を 1 件ずつ追加するか、CSV（1 列目＝質問、2 列目＝期待する回答）をアップロードする
Metrics サブタブで指標ごとに合否のしきい値を設定する（例：正確さが 0.7 未満なら不合格）
Initiate Evaluation Run で、評価するエージェントのバージョンを選んで実行する
View Run Results で、Response performance（期待する回答と実際の回答、Trace）と Correctness（LLM による採点とフィードバック。人の採点も記録できる）を確認する

指標	意味	使える場面
Error Rate／Error Count／Session Count	エラーで終わったセッションの割合、エラー数、セッション数	監視・評価
P50／P99 Latency	利用者の 50%／99% が待つ最大時間（ミリ秒）	監視・評価
Total Tokens／AI Units	使ったトークン数と、それに式を適用した AI サービスの単位	監視・評価
Median Correctness	参照回答と比べた正確さ（0〜1）の中央値	評価のみ
Groundedness／Answer Relevance／Context Relevance	根拠への忠実さ、質問への的確さ、検索結果の適切さ	評価のみ（RAG）

2 つの実行を選んで Compare すると、Summary と、質問ごとの Details（回答・レイテンシ・トークン・トレース）で差を確認できます。評価セットには、根拠に基づく正しい期待回答、範囲外や答えられない質問（「分からない」と答えるべきもの）、あいまいな質問、複数の質問を含む入力、複数ターンの会話、すべての分岐を通るシナリオを入れます。

公開とデプロイ

公開とチャットの設定

Publish したワークフローだけが使われます。利用者には、実行用のロールに加えて、ワークフローの Security タブでのロール追加が必要です
ウェルカム・メッセージと最初に提示する質問は Settings > Questions で設定します。Chat Experience では利用者の言語での回答やファイルのアップロードを有効にできます
チャットの「Ask Oracle」という名前や背景のデザインは変更できません（公式 FAQ）

利用者への届け方

公式ブログ（AI Agent Studio のデプロイ方法）では、次の 5 つが紹介されています。

方法	向いている用途	画面の文脈	設定
Agent Explorer	利用者が一覧から選んで会話する	使わない	不要
Guided Journeys	Redwood ページの手順の中でエージェントを使う	一部使う	2 段階
VB Studio／Smart Actions	特定モジュールの画面に深く組み込む	使う	開発者が設定
トリガー	利用者の操作なしにバックグラウンドで実行	—	AI Agent Studio
外部アクセス	外部アプリからエージェントを呼ぶ	—	OCI IAM のトークン

ガイド付きジャーニー（Guided Journeys）で届ける場合は、①ジャーニーを作ってタスクの種類を Agent にし、②そのジャーニーを Redwood ページのページ・レベルまたはセクション・レベルに紐付けます。事前構築のエージェントでも独自のエージェントでも使えます。26B からは、ジャーニーのタスクの完了時や保存時にワークフローを実行させることもできます。事前にアクセス権とプロファイル・オプションの要件を確認します。

トリガーは、ワークフローの Settings > Triggers タブで設定し、公開後に有効になります。

トリガー	動き	注意点
Webhook	HTTP でデータを受け取ってワークフローを起動する	—
Email	監視しているメール・アカウントに届いたメールで起動する	1 ワークフローにつき受信アカウントは 1 つ。他のワークフローと共有できない
Schedule	Interval（一定間隔）または Recurrence（日次・週次などの暦）で起動する	`ORA_DR_FAI_BATCH_JOB_MANAGER_DUTY` が必要
Signals	Resources > Signals で定義したシグナル（イベントの契約）の発行で起動する	再試行（Max attempts、Retry delay、Backoff policy）を設定する

メールとスケジュールの起動状況は、Monitoring and Evaluation タブの Activities サブタブ（Inbound Emails、Schedules）で確認します。

外部アクセスでは、外部アプリが Fusion Applications の IAM（OCI IAM）で OAuth 2.0 のアクセストークンを取得し、/invokeAsync を呼びます。応答で返る Job ID を使って進捗と結果を取得します。呼び出せるかどうかは、ワークフローの Security タブのロールで決まります。このほか、Connectors タブで作る Microsoft Teams・Slack との連携、異なる基盤のエージェント同士をつなぐ Agent2Agent（A2A）プロトコルも用意されています。

環境間の移行（テスト環境 → 本番環境）

対象	移行元でのエクスポート	移行先での作業
ワークフロー	Workflows タブ > Export（ZIP）	Workflows タブ > Import → Publish
エージェント型アプリ	Applications タブ > Export（JSON）	Applications タブ > Import → Publish
スーパーバイザー・エージェント	Marketplace タブ > Supervisor Agent > Export（JSON）	Import → Publish

インポート後、ツールの種類に応じて次の作業をします。ドキュメント・ツールは文書をアップロードし直して再公開、Email ツールは再設定、外部 REST ツールは認証設定のやり直しです。インポートした人がそのワークフローの製品ファミリーの権限を持っていないと、移行先で表示されません。26D では、Git のブランチとマージ・リクエスト、パイプラインを使った CI/CD の進め方も公式ドキュメントに追加されました。

監視（Monitoring）

「ナビゲータ > ツール > AI Agent Studio」で Monitoring and Evaluation タブを開き、Monitoring サブタブを選びます
期間を指定して、すべてのエージェントの実行の集計値を確認します
エージェントを選ぶとセッション（会話）の一覧が表示されます。Turns（往復の回数）、完了状況（成功／エラー）、使用トークン数を確認できます
セッションを選ぶとトレースが開き、手順ごとの時系列、呼ばれたツール、所要時間、指標を確認できます

下書き（Draft）のエージェントの実行も監視の対象です
Value サブタブでは、ワークフローごとに設定した「1 回あたりの削減時間・削減コスト」の見積もりから、効果（削減時間・削減コストの合計）を確認できます
26D では、AI Units の予算を設定し、上限に近づいたときの警告や、予算を使い切ったときに新しい実行を止める自動停止（auto-stop）を設定できる機能が追加されました

セキュリティとガバナンス

公式ブログは、ネットワークの入口、ロールによるアクセス制御、実行時の ID、オブジェクト単位のデータ統制、人の承認、監視を重ねる多層の制御として説明しています。すべて Fusion Applications のセキュリティ境界の中で動きます。

人の承認（Human in the loop）：ツールの Require Human Approval で、実行前に人の確認を挟めます。ワークフローでは Human Approval ノードを使い、Approvals タブで承認プロセス（通知チャネル、承認に渡す項目、承認レベルと承認者、条件）を作って公開し、ノードの Channel に Approval Process を指定します。承認の結果が届くまでワークフローは一時停止します
ログとトレース：実行はトレースされ、指標として残ります。トレースや評価結果には業務データが含まれるため、見られる人を絞ります。監視レコードを見るには権限グループ read:Generative AI Workflow Execution が必要です
エラー処理：ワークフローの Error Handling で恒久的なエラーの通知先メールを設定し、ノードごとにエラー・ハンドラのノードを指定します
アクセスの取り消し：AI Agent Studio を使わせたくない利用者からは、セキュリティ・コンソールで関連するカスタム・ロールを外します
独自 LLM（Bring Your Own LLM）：Credentials タブの LLM サブタブで追加できます。外部プロバイダの認証情報、費用、モデルのライフサイクルの管理は利用企業の責任です

コード例

出張の宿泊費の上限はいくらですか？,国内出張の宿泊費は1泊12000円が上限です（第8条）。
経費精算の期限はいつですか？,経費が発生した月の翌月10日までに申請します（第12条）。
給与の振込日を教えてください,この窓口では経費精算規程についてのみ回答しています。給与は人事部へお問い合わせください。

件名：[要対応] {{$context.$workflow.$name}} でエラーが発生しました
本文：
  トレース ID：{{$context.$workflow.$traceId}}
  エラー・コード：{{$context.$nodes.searchPolicy.$error.$code}}
  詳細：{{$context.$nodes.searchPolicy.$error.$info}}

# 1. Fusion Applications の IAM で OAuth 2.0 のアクセストークンを取得する（例：2-legged OAuth）
TOKEN=$(curl -s -u "$CLIENT_ID:$CLIENT_SECRET" \
  -d "grant_type=client_credentials&scope=$SCOPE" \
  "https://<identity-domain>/oauth2/v1/token" | jq -r .access_token)

# 2. /invokeAsync を呼ぶと Job ID が返る
curl -s -X POST "https://<your-pod>.fa.<region>.oraclecloud.com/<invokeAsync のパス>" \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d @request.json

# 3. Job ID で進捗と応答を取得する（実務では間隔を空けてポーリングし、タイムアウトを決めておく）

落とし穴とベストプラクティス

監視タブに数値が出ない：Aggregate AI Agent Usage and Metrics を実行していません。毎日などで定期実行します
トリガーが動かない：ワークフローを公開していない、スケジュール用の職務ロールがない、メール・アカウントを他のワークフローと共有しようとしている、のいずれかを疑います
移行先で回答の根拠が見つからない：ドキュメント・ツールの文書を移行先で再アップロード・再公開していません
デバッグ用の設定を残したまま公開する：固定した出力や一時的な設定変更が残ると、本当の問題が隠れます。外してから全体を再実行します
評価セットに正常系しか入れない：範囲外の質問や答えられない質問に「分からない」と答えられるかも確認します

プロンプトやモデルを変えたら、同じ評価セットを再実行し、前回の実行と Compare します
更新系のツールは Require Human Approval か Human Approval ノードで、確定前に人が確認する設計にします
本番環境では、作る人と使う人のロールを分け、トレースを見られる人を絞ります

試験対策ポイント

対応する試験：AI Agent Studio 模擬テストの「エージェントのテスト・評価・最適化」「ガイド付きジャーニーによるエージェントの構成とデプロイ」
デバッガーの機能（Run Profiles、Breakpoints、Rerun From Node、Pin output、Override）と、公開前のチェックリストを押さえます
評価セットの作り方（Sequential／Random、CSV、しきい値、バージョンの選択）と、評価だけで使える指標（Median Correctness、Groundedness など）を区別します
届け方の違い（Agent Explorer、Guided Journeys、VB Studio、トリガー、/invokeAsync）と、公開しないと使えないことを覚えます
移行のファイル形式（ワークフローは ZIP、アプリとスーパーバイザーは JSON）と、移行後の作業（文書の再公開、Email・外部 REST の再設定）がよく問われます