自己改善型回答ボットを構築する

自己改善型回答ボットの構築方法を学びましょう。質問を入力すると、役立つ回答が出力されます。回答が得られなかった場合でも、それらすべてがシステムが次に何を学習すべきかの手がかりになります。

ガイド
Self-improving Answer Bot | Hero image

誰かがSlackで質問をします。あなたはその答えがどこかにあることを知っています。会議のメモや古いWikiかもしれず、最悪の場合、誰かの頭の中かもしれません。

やがて誰かが答えを見つけて共有し、みんなは仕事を進められます。その場はそれでよくても、答えはスレッドに埋もれたままで、知識として蓄積されません。そして翌週、また同じ質問が持ち上がります。

このガイドでは、その悪循環を自己改善型回答ボットに変える方法をご紹介します。質問を入力すると、役立つ回答が出力されます。回答が得られなかった場合でも、それらすべてがシステムが次に何を学習すべきかの手がかりになります。

2つのパートに分けて構築します。

  • (パート1)Q&Aエージェント — Notionのガイド付きセットアップを使用して、Q&Aエージェントを作成します。準備ができたら、バックグラウンドで作成されたQ&Aログ、学習ログ、プレイブックを確認します。

  • (パート2)自己改善型エージェント — このガイドに沿って、Q&Aログと信頼できるソースを確認するエージェントを作成します。エージェントは必要な更新案を作成し、人が承認したものだけを適用します。

最終的に、チームが質問するたびに、次の回答がより良いものになっていきます。

構築にかかる時間:前提条件を確認できている場合は約90分。テストやトラブルシューティングがある場合はさらに時間がかかります。

読了時間:約45分。

Q&Aログ

Q&Aエージェント

自己改善型エージェント

新しい知識や不足している知識、提案された変更、更新ステータスを記録します。

信頼できるソースに加えられた変更へのリンク。

信頼できるソースを使用して、Slackで質問に回答します。

新しい情報、不足している情報、または矛盾する情報をQ&Aログに記録します。

Q&Aログのエントリに基づいて、信頼できるソースに対する的を絞った更新を提案します。

人間のレビューを経て承認された変更を適用します。

チームが何度も答えている質問から始めましょう。Slackやさまざまなツールを探し回ったり、毎回同じエキスパートにメンションしたりするような質問です。この繰り返しをなくしましょう。

一般的な例をいくつかご紹介します。

IT

#it-help, #access-requests

質問例

  • VPNに接続するには?

  • 画面録画用として承認されているソフトウェアは?

  • 新しいノートパソコンの設定方法は?

信頼できるソース

  • セットアップガイド

  • トラブルシューティングのページ

  • サポート対象ソフトウェアに関するポリシー

  • 既知の問題

プロダクト

#product-questions, #roadmap-help

質問例

  • 最新リリースの変更点は?

  • この機能についての決定内容は?

  • この機能はエンタープライズの顧客が利用できる?

信頼できるソース

  • PRDや意思決定ログ

  • プロジェクトデータベース

  • ミーティングのメモ

  • 課題管理ツール

人々

#people-help, #new-hire-questions

質問例

  • 福利厚生に申し込むには?

  • 育児休暇に関するポリシーの内容は?

  • 新入社員向けチェックリストはどこにある?

信頼できるソース

  • 従業員ハンドブック

  • 福利厚生・オフィスガイド

  • オンボーディング関連資料

  • 承認済みのよくあるご質問(FAQ)

営業とイネーブルメント

#sales-questions, #sales-enablement

質問例

  • 見込み顧客からデータレジデンシーについて質問された場合の承認済みの回答は?

  • 競合製品に対して、自社製品をどのように位置づければよい?

  • 医療業界の見込み客には、どの顧客事例を共有すればいい?

信頼できるソース

  • 承認済みのメッセージ

  • 営業用プレイブック

  • 競合対策資料

  • 顧客事例

作業を始める前に、少し準備をしましょう。カスタムエージェントが有効になっていること、Slackが連携されていること、そしてシステム全体を構築およびテストするための適切な権限があることを確認してください。

カスタムエージェントの作成が有効になっている

  • ワークスペースオーナーが、設定 → Notion AI → エージェントで作成を有効にしていること。

  • この構築に必要なクレジットポイント数は固定されていません。クレジットポイント数は、ソースの読み取り、アクション、モデルの選択、実行頻度によって異なります。広範にトリガーやスケジュールを有効にする前に、インサイトで実際のテスト実行時の消費数を確認してください。

Slackが連携されている

  • Slack管理者がSlackとNotionを連携させていること。

  • Slack Enterprise Gridの場合、カスタムエージェントによるメッセージの閲覧と投稿がメッセージの読み取りと投稿に設定されていること。

  • 連携に使用するSlackアカウントのメールアドレスが、Notionアカウントのメールアドレスと一致していること。一致していない場合、エラーが表示されないままトリガーが失敗する可能性があります。

適切な権限があることを確認する

  • すべての信頼できるソースを編集および共有できること。

  • Q&Aエージェントが、信頼できるすべてのソースを読み取りおよび閲覧できること。

  • 自己改善型エージェントが、信頼できるソースを編集できること。

Slackに質問が投稿されると、Q&Aエージェントがチームの信頼するソースを検索して、回答を会話に返します。これにより、さまざまなツールで回答を探し回る必要がなくなります。

Notionのガイド付きセットアップにより、エージェントの初期構築から稼働開始までサポートします。

使い方は以下のとおりです。

  • サイドバーでエージェントを開き、+ 新規エージェントをクリックします。

  • 自己改善型回答ボットを選択して、ガイド付きセットアップを開始します。

まずは、エージェントが何に回答すべきか、どこで回答を探すべきかを選択します。

1.1 エージェントが回答する質問を選択する

  • プロダクト、IT、営業、人事、またはオフィスなどの一般的なユースケースから選択します。

  • それ以外のユースケースを想定している場合は、カスタムを選択して、自身で定義することもできます。

1.1 エージェントが回答する質問を選択する
1.2 エージェントが質問に回答する場所を選択する

1.2 エージェントが質問に回答する場所を選択する

  • 既存のSlackチャンネルを選択するか、ガイド付きセットアップから直接新しいチャンネルを作成します。

1.3 信頼できるナレッジソースを接続する

  • デフォルトでは、エージェントは公開されているNotionページとSlackチャンネルにアクセスできます。

  • エージェントがアクセスできるソースを確認し、チームが信頼しているソースだけに絞ってください。

1.3 信頼できるナレッジソースを接続する

準備ができたら、エージェントを作成をクリックします。あとの設定はNotionにお任せください。

ガイド付きセットアップが完了すると、エージェントの設定ページが開きます。テストする前に設定を確認し、必要に応じて調整しましょう。

2.1 Q&Aログデータベースを確認する

Q&Aログは、質問、回答、未解決のリクエストの履歴を記録するデータベースです。エージェントの動作状況を確認できます。

ベストプラクティス:

  • このデータベースには、リクエストのステータス、質問の種類、リクエストしたユーザー、関連するSlackスレッドなどのプロパティがあります。チームでほかに記録したい項目があれば、必要に応じてプロパティを調整してください。

  • 質問の種類を使用して繰り返し発生するリクエストを特定し、ステータスを使用して対応が必要な質問を把握しましょう。

2.1 Q&Aログデータベースを確認する

2.2 学習ログデータベースを確認する

学習ログは、エージェントと共有した新しい知識や、覚えておくべき情報を保存するデータベースです。各エントリには、ソース、適用範囲、信頼度などが記録されます。

ベストプラクティス:

  • ログは最初は空の状態です。チームが尋ねそうな質問をいくつか入力して、エージェントをテストしてみましょう。

  • 新しいエントリを確認し、情報が信頼できるソースから得られたもので、適切な状況に適用されることを確認してください。

  • 古い情報を修正したり、エージェントが今後参照すべきでない情報を削除したりします。古くなった情報が残らないようにしましょう。

2.3 プレイブックを微調整する

プレイブックは、エージェントが質問に回答するためのレシピのようなものです。これは、エージェントが回答を見つける方法や、いつ助けを求めるべきかをガイドするNotionページです。

ベストプラクティス:

  • どのソースを最初に確認すべきか、エージェントに指示してください。例えば、Slackのやり取りを調べる前に、社内のナレッジベースを検索するように指示できます。

  • エージェントがしてはいけないことと、推測で回答せずに人にエスカレーションすべきタイミングを明確にしておきます。

  • 回答の方法と、誰かが回答を訂正したときの対応についてエージェントに指示してください。

2.3 プレイブックを微調整する

Q&Aログ、学習ログ、プレイブックは直接編集できます。エージェントに更新を依頼することも可能です。

では、テストしてみましょう。ガイド付きセットアップでは、まずエージェントに質問に答えるための情報が十分あるかを確認します。足りない情報があれば、ナレッジをさらに共有したり、ソースを追加したりできます。

3.1 実際の質問でエージェントをテストする

提案された質問から選ぶか、自分で作成してください。チームが普段尋ねるような質問から始め、次に情報が不足していたり矛盾していたりする可能性のある、少し難しい質問をいくつか試してみてください。

回答を確認するときは、エージェントについて次のことをチェックしてください。

  • 質問および関連するスレッドのコンテキストを使用したか。

  • ソースに基づいた回答を見つけたか。

  • 回答は簡潔にまとめられているか。

  • 根拠となるソースへのリンクがあるか。

  • 記録すべきことがある場合にのみ、ログレコードを作成したか。

3.2 Slackでエージェントを試し、Q&Aログを確認する

回答に満足したら、問題ありません - Slackで試す準備ができましたを選択してください。

選択したSlackのチャンネルでいくつか質問し、Q&Aログが各結果を正しく記録しているか確認してください。

  • 根拠のある回答は、質問、回答、およびソースとなったSlackスレッドとともに、回答ビューに表示されます。

  • 情報が不足している場合は、正直に「わかりません」と回答し、リクエストビューに記録が作成され、回答欄は空のままになります。

  • 情報が矛盾している場合は、推測で回答せずに、そのことを示して、未解決の質問がリクエストビューに記録されます。

  • 修正によって、エージェントが根拠のない情報を繰り返し使用するのを防ぎ、フォローアップ用のレコードがリクエストビューに作成されます。

3.3 よくある問題のトラブルシューティング

最初から完璧に機能しないとしても、問題ありません。期待どおりの結果が得られない場合は、次の点を確認してください。

  • 回答に関する問題

    • 信頼できるソースに回答の根拠となる情報がないにもかかわらず、エージェントが回答を提供しました。

    • 設定済みの信頼できるソースに回答があるのに、エージェントは回答が見つからないと答えました。

    • 回答が長すぎるか、根拠となるソースへのリンクが含まれていませんでした。

  • Q&Aログに関する問題

    • 関連する質問に対してQ&Aログレコードが作成されませんでした。

    • 根拠のある回答が回答ビューに表示されませんでした。

    • 根拠のない回答、不完全な回答、または矛盾する回答がリクエストビューに表示されませんでした。

    • レコードの質問、回答、またはソースのSlackスレッドが不正確であるか、欠落していました。

    • ダイレクトチャットのテストで、エージェントは提供されていないSlackスレッドやソース、他の根拠を作り上げてしまいました。

何が問題だったのかをエージェントに伝え、必要な調整を行うよう依頼してください。その後、同じ質問をもう一度試して、修正が反映されたかを確認してください。

Q&Aエージェントをチームで使用する準備ができました。公開前にいくつかの最終調整を行うことで、導入をよりスムーズに進めることができます。

  • エージェントを公開し、適切なSlackのチャンネルで応答していることを確認します。

  • Q&Aエージェントを、管理や未解決の質問への対応を手伝ってくれる他のエージェント管理者と共有します。

  • 不正確な回答にフラグを立てる方法やフィードバックを共有する方法をチームに周知します。

  • Q&Aログを定期的に確認して、繰り返し発生する質問や改善する方法を特定します。

これでQ&Aシステムが完成しました。

Q&AエージェントはSlackで質問に回答し、使用したソースを示すとともに、すべての回答と未解決のリクエストをQ&Aログに記録します。このログによって、チームは、どのような質問が寄せられているのか、また、既存のナレッジで何が不足しているのかを明確に把握することができます。

製品内のガイド付きセットアップからこのガイドにアクセスした場合、パート1の基本設定はすでに完了しています。以下の手順に進み、自己改善型エージェントを追加してください。

パート1は目の前の質問への対応を支援するものです。パート2では、答えられなかった質問を改善につなげます。

Q&Aログには、システムがどこで行き詰まっているかが正確に示されます。自己改善エージェントはそれらの未解決の質問を検出し、根拠を収集し、最小限の有効な修正案を作成します。どの情報を信頼できる知識として使用するかを最終的に判断するのは人間です。

それでは、ループの後半部分を構築しましょう。

パート1で必要だったのは、質問、回答、ソースのSlackの各スレッドだけでした。自己改善エージェントを設定する前に、このプロンプトをNotionエージェントに貼り付けて、Q&Aログデータベースに次のプロパティを追加してください。

プロンプトUpdate the Q&A Log database schema with the following: Update type (Select) — New article or Update existing article. Proposed destination (URL) — The existing article to update, or the proposed location for a new article. Reviewer (Person) — The person accountable for reviewing the draft. Status (Status) — Needs agent review, Needs human review, Approved, Published, Archived. Applied at (Date) — When the approved update was applied. Organize Status into these groups: - To-do: Needs agent review - In progress: Needs human review, Approved - Complete: Published, Archived

提案そのものはプロパティではなく、Q&Aログのページ本文に記載します。次の構成を使ってください。

プロンプト## Proposed knowledge update [Draft the proposed new article or focused update here.] ## Supporting evidence - [Source and relevant evidence]

レビュー担当者はドラフトを直接編集するか、ページにコメントを記入します。ドラフトが適用可能な状態になったら、ステータスを「承認済み」に変更します。

1. スターターエージェントを作成する

知識のギャップを埋め、信頼できる知識に変えましょう。まずはドラフトのエージェントを作成し、どこを確認し、何を変更し、どのように承認を求めるかを指示します。

サイドバーで「エージェント」を開いて「+」をクリックし、このプロンプトを貼り付けます。

プロンプトCreate a draft Custom Agent named “Self-Improving Agent” with no active triggers. The Self-Improving Agent reviews unresolved Requests in a Q&A Log, which will be connected later. It prepares focused, evidence-backed new articles or updates in each Request page body for human review. It proposes one Update type, one Proposed destination, and one Reviewer. It never edits a trusted source before a person approves the draft. After approval, it applies only the approved change and records that the update was completed. Match the destination’s existing style and structure. Keep proposed and applied changes concise and limited to what the evidence supports. Consolidate only clear duplicate Requests while preserving unique evidence.

または、こちらのリンクをクリックすることもできます。保存してから、次のステップに進んでください。

2. セットアップを完了する

2.1 Notionトリガーを追加する

「トリガー」で、以下に示す3つのNotionトリガーを設定する:

  1. データベースへのページ追加:Q&Aログにページが追加されたときに実行する。自己改善型エージェントは、回答に値が入力されていれば停止し、回答が空欄の場合はその項目を確認する。

  2. データベースのプロパティ更新:ステータスが「エージェントによる確認が必要」に変更されたときに実行する。エージェントが編集後のドラフトとページのコメントを再度読み、同じ提案を修正できるようにする。

  3. データベースのプロパティ更新:ステータスが「承認済み」に変更されたときに実行する。エージェントが承認済みのドラフトを適用できるようにする。

Set up two triggers, "Page added to database," and, "Property updated in database," then click save.
未定

2.2 Q&Aログと信頼できるソースを追加する

Q&Aログを「編集権限」のアクセスで追加する。

「ツールとアクセス」で、Q&Aエージェントに追加したものと同じ信頼できるソースを追加する。

  • 「編集権限」のアクセスでNotionページを追加する。

  • 「読み取りと書き込み」のアクセス接続を追加する。

2.3 ジョブと指示を更新する

信頼できるソース、Q&Aログ、Notionトリガーを追加したので、自己改善エージェントの指示を更新できます。

提案された変更をレビューする担当者を指定してください。自己改善エージェントがその担当者にリアルタイムで通知します。

Update the j

以下のプレースホルダーを実際のNotionの@メンションに置き換えてから、このプロンプトを自己改善エージェントの設定ページからNotionエージェントに貼り付けてください。

プロンプトYou are the Self-Improving Agent. You review unresolved Requests in the configured Q&A Log, prepare evidence-backed improvements to trusted sources, and apply only changes a person approves. Default reviewer: [REPLACE WITH THE HUMAN REVIEWER’S ACTUAL NOTION @MENTION] When a page is added to the Q&A Log or Status changes to Needs agent review: 1. Read Question, Answer, Source Slack thread, the current page body, page comments, and Reviewer. 2. If Answer is not empty, this is a completed Answer. Do not prepare a knowledge update and stop. 3. Review related Q&A Log records, the Slack thread when available, and the relevant trusted sources. 4. If the Request duplicates something already addressed, preserve any unique evidence in the more complete record, set the duplicate’s Status to Archived, and stop. 5. Otherwise, prepare the smallest change supported by the evidence. Write or revise the draft under “Proposed knowledge update” in the page body. List the evidence used under “Supporting evidence.” 6. Set Update type to New article or Update existing article. Set Proposed destination to the single existing article or proposed wiki location that should receive the approved change. 7. Keep the existing Reviewer. If Reviewer is empty, set it to the default reviewer. 8. Set Status to Needs human review, then leave a comment mentioning the Reviewer. Ask them to edit the draft directly or leave comments, then set Status to Approved when it is ready. If they want the Agent to revise it, ask them to set Status to Needs agent review. 9. Stop without editing a trusted source. When Status changes to Approved: 1. Confirm that the page body contains a draft and supporting evidence, and that Update type and Proposed destination are present. 2. Apply only the approved page-body draft to Proposed destination, following Update type and matching the destination’s existing style and structure. 3. Record the current date in Applied at and set Status to Published. 4. If anything required is missing, do not edit a trusted source. Leave a comment mentioning the Reviewer and state what is needed. Keep proposed and applied changes clear, concise, and limited to what the evidence supports.

オプション:レビュー担当者への通知をまとめたい場合は、「毎日」または「毎週」を選び、プレースホルダーを更新してから、自己改善エージェントの設定ページからこのプロンプトをNotionエージェントに貼り付けてください。

プロンプトUpdate this Self-Improving Agent to group reviewer notifications [DAILY OR WEEKLY] instead of sending them immediately. Remove the instruction to comment when each entry moves to Needs human review. Keep setting Reviewer and Status = Needs human review. Add a recurring trigger for the selected cadence. For each scheduled run, group all Needs human review entries by Reviewer. For each reviewer, leave one comment on their oldest pending entry that mentions them and links to every draft awaiting review. Reviewers should edit the page-body draft directly or leave comments. They set Status to Approved when the draft is ready, or Needs agent review when they want another Agent revision. Do not send both immediate and grouped notifications. Do not change any other instructions or triggers.

2.4 保存することを忘れない

右上にある青い「保存」ボタンをクリックする。

Click the save button in the upper right hand corner.

3. 自己改善エージェントをテストする

自己改善エージェントはQ&Aログ内のリクエストを通じて機能するため、そこでテストを行います。

3.1 セットアップが完了していることを確認する

自己改善エージェントには、Q&Aログと信頼できるNotionソースに対する編集権限があります。

接続された信頼できるソースには、「読み取りと書き込み」アクセス権があります。

以下の3つのNotionトリガーすべてがQ&Aログを対象としており、正しいイベントを使用していて、オフのままであることを確認してください。

  • ページが追加されたとき。

  • ステータスがエージェントによる確認が必要に変更されたとき。

  • ステータスが承認済みに変更されたとき。

デフォルトのレビュー担当者には、実在するユーザーのNotionでの@メンションが設定されています。

指示には、自己改善エージェントが次のことを行う方法が記載されています。

  • 根拠となる証拠を添えて、ページ本文で提案を作成または修正する。

  • 更新タイプと提案先を設定する。

  • レビュー担当者を割り当てるか既存の担当者をそのままにし、レビューが必要なときにその担当者をメンションする。

  • 同じ下書きを修正する前に、その下書きへの直接の編集内容とコメントを確認する。

  • 独自の証拠を失うことなく、明らかな重複を統合する。

  • 信頼できるソースを変更する前に、担当者の承認を待つ。

  • 承認されたドラフトのみを適用し、適用日時を記録して、ステータスを公開済みに設定する。

3.2 実際の項目でテストする

Notionエージェントでテストを設定します。自己改善エージェントの設定ページから、以下のプロンプトをNotionエージェントに貼り付けます。

プロンプトPrepare this Self-Improving Agent for testing. 1. Create a temporary Notion page named “Self-Improving Agent test source.” Add a short, clearly labeled piece of sample knowledge that is safe to change. 2. Add that page to this Self-Improving Agent in Tools & Access with Can edit access. 3. Review the Self-Improving Agent’s current job, instructions, Q&A Log, trusted sources, and Notion triggers. 4. Create a concise four-step test plan using the temporary source page. Include one test for each path: - Proposal - Reviewer feedback - Duplicate - Approved change For each test, use the exact Q&A Log property names and Status values in this setup. Return: [TEST] [TRIGGER TO TURN ON] [EXACT WIKI DATABASE ACTION] [EXPECTED RESULT] Use clearly labeled test records. Keep the temporary source unchanged until the Approved change test. Do not run the tests, enable triggers, create Q&A Log records, change the Self-Improving Agent’s instructions, or edit any existing trusted source. After creating and connecting the temporary source page, return only the four test steps.

Notionエージェントの処理が終わったら、「保存」をクリックします。テストするトリガーだけをオンにし、次のプログラムをテストする前にオフにしてください。

次の点を確認します。

  • 提案:自己改善エージェントはページ本文に的を絞った下書きとその根拠を書き、更新タイプと提案先を設定します。レビュー担当者を割り当てるか既存の担当者をそのままにし、ステータスを人による確認が必要に設定して、レビュー担当者をメンションします。信頼できるソースは変更しません。

  • レビュー担当者による編集またはコメント:ページ本文の下書きを編集するかコメントを書き込み、ステータスをエージェントのレビューが必要に設定します。エージェントが同じ下書きを修正し、ステータスを人によるレビューが必要に戻して、レビュー担当者を再度メンションすることを確認してください。信頼できるソースは変更しません。

  • 重複:エージェントは固有の証拠を保持し、明確な重複のみをアーカイブします。

  • 承認された変更:エージェントは更新タイプと提案先に従って一時的なソースだけを変更し、適用日時を記録して、ステータスを公開済みに設定します。

3.3 よくある問題のトラブルシューティング

何か予想外のことが起きるかもしれませんが、大丈夫です。それがテストの目的です。

実際に発生した失敗だけをチェックしてください。

  • トリガーの失敗

    • レコードを追加しても、自己改善エージェントが開始されなかった。

    • ステータスをエージェントのレビューが必要に変更しても、修正が始まらなかった。

    • ステータスを承認済みに変更しても、変更が適用されなかった。

  • 提案や確認の不具合

    • 提案にソースによる裏付けがない、範囲が広すぎる、または根拠、適用先、レビュアーのいずれかが設定されていない。

    • 自己改善型エージェントが承認前にソースを変更している。

    • レビュー担当者にメンションされていない。

    • レビュー担当者ーがフィードバックしたにもかかわらず、修正後の提案が更新されていない。

  • 重複および承認済み変更の不具合

    • 明らかな重複項目がアーカイブされていないか、独自の根拠が失われている。

    • 内容が単に重複している、または矛盾があるレコードが、誤ってアーカイブされている。

    • 承認済みの変更によって、無関係なコンテンツが変更された。

    • 完了したレコードに、適用日時 またはステータス = 公開済みが記録されていない。

確認した不具合項目を以下のNotionエージェント用プロンプトに貼り付けます。次に、自己改善エージェントの設定ページから、新しいNotionエージェントのチャットを開き、そのプロンプトを貼り付けます。

プロンプトFix this Self-Improving Agent based on these failures: [PASTE THE CHECKED FAILURES] Review the Self-Improving Agent’s current job, instructions, Q&A Log, trusted sources and access, and Notion triggers. Diagnose trigger and access problems separately from instruction problems, then make the smallest necessary fix. Change the instructions only when the failure is instructional. Reinforce these requirements only where the failures show they are needed: - Use only the Q&A Log record, its page body and comments, the Slack thread when available, and trusted sources. - Prepare the smallest supported proposal in the page body and include supporting evidence. - Set one Update type and one Proposed destination. - Never edit a trusted source before human approval. - Mention the Reviewer when human review is required. - Revise the same page-body draft after reviewer edits or comments. - Archive only clear duplicates after preserving unique evidence. - Apply only an approved draft to the named destination. - Record Applied at and set Status to Published after write-back. If a trigger or access setting must be fixed manually, tell me exactly what to change. Do not enable triggers, edit test records, modify trusted sources, change the Q&A Log schema, change the default reviewer, or change unrelated instructions. Return only the failures to retest and any settings I must fix manually.

変更を保存し、新しいテストレコードを使って、失敗したプログラムだけを再実行します。

4. 自己改善エージェントを公開する

これで準備が整いました。エージェントはリクエストをドラフトにまとめ、担当者による承認を待ってから、承認された内容だけを適用します。

自己改善エージェントを公開しましょう。3つのNotionトリガーをすべてオンにして、「保存」をクリックします。

オプション:自己改善型エージェントのメンテナンスを支援する他のエージェント管理者と、このエージェントを共有します。

ナレッジのオーナーに自己改善型エージェントを紹介します。信頼できるソースの責任者に、ドラフト、コメント、承認の仕組みを知らせます。このメッセージの下書きを使って始められます。

プロンプトMeet @[AGENT NAME], our new Self-Improving Agent for [WIKI AREA]. It reviews Requests in [Q&A LOG], drafts focused updates in each Request page, and tags the proposed reviewer when a draft is ready. Edit the draft directly or leave comments. If you want the Agent to revise it, set Status to Needs agent review. When the draft is ready to apply, set Status to Approved. After approval, the Agent will update only the proposed destination, record Applied at, and set Status to Published.

全体を連携させる

ここではじめて、各要素が連携し、1つのシステムとして機能し始めます。質問は回答になったり、リクエストとして記録されたり、確認済みのドラフトになったり、より質の高いソース資料につながったりします。その過程で、情報がツール間で失われることもありません。Q&Aログによって、各段階での引き継ぎが可視化され、何を信頼できるナレッジとするかは、引き続き人が判断します。

1. システム全体の運用を開始する

Q&AエージェントのSlackトリガーをオンにする。

以下に示す自己改善型エージェントの3つのトリガーをすべてオンにする:

  • ページがQ&Aログに追加されたとき。

  • ステータスがエージェントによる確認が必要に変更されたとき。

  • ステータスが承認済みに変更されたとき。

両方のエージェントを保存します。

両方のエージェントが同じQ&Aログを使用しており、レビュー担当者が自分に割り当てられたすべてのレコードを開けることを確認します。

2. Q&Aログの提案を確認する

レコードが人による確認が必要になると、自己改善型エージェントは割り当てられたレビュー担当者にメンションします。

レビュー担当者は以下を確認してください。

  • 質問と回答:文脈を把握するために確認する。

  • ソースとなるSlackのスレッドと裏付けとなるソース:根拠を確認する。

  • 変更案:具体的な変更内容を確認する。

  • 更新するソース:指定された適用先を確認する。

その後、以下のいずれかを選択します。

  • 提案を承認する:根拠、表現、適用先に問題がなければ、ステータス = 承認済みに設定する。

    すると、自己改善型エージェントが変更を適用し、適用日時を記録し、ステータス = 公開済みに設定する。

  • 変更を依頼する:レビュー担当者からのフィードバックに具体的な指示を追加し、ステータス = エージェントによる確認が必要に設定する。エージェントが提案を修正し、レコードを人による確認が必要に変更します。

レビュー担当者はステータス = 公開済みに設定しないでください。このステータスは、承認された変更が実際に適用されたことを示します。

3. 実行が失敗した場合

  • 失敗した実行を開き、想定されていたSlackメッセージまたはデータベースのステータスがその実行をトリガーしたことを確認する。

  • 指示を変更する前に、信頼できるソース、Q&Aログ、Slack、および宛先へのアクセス権を確認してください。

  • Q&Aログのレコードに、必要な根拠、レビュー担当者、ステータス、更新するソースが含まれていることを確認する。

  • 問題を1つずつ修正して、失敗したケースを再実行する。

4. メンテナンスと最適化

  • ワークフローをスムーズに進める:Q&Aログでエージェントによる確認が必要、人による確認が必要、または承認済みの状態で止まっている記録を確認する。すべての提案にレビュー担当者が割り当てられ、承認済みの記録がすべて公開済みになっていることを確認する。

  • 実行の品質を改善する:失敗した実行、処理が遅い実行、不要な実行を確認する。指示を書き直す前に、トリガーの対象範囲、アクセス権限、またはソースの品質に問題があれば修正する。

  • クレジットポイントの使用量を管理する:インサイトを定期的に確認する。成果が改善しないまま使用量が増えている場合は、トリガーの頻度や参照するソースの範囲、モデルのコスト、または不要なアクションを減らす。

  • 信頼性を維持する:指示、ツール、権限、トリガー、またはソースを変更した場合は、関連するテストを再実行する。

  • 段階的に拡張する:ソース、Slackチャンネル、レビュー担当者グループ、またはユースケースを一度に1つずつ追加する。品質とコストが安定している場合にのみ、拡張を進める。

このガイドを共有する

フィードバックを送信

このコンテンツは役に立ちましたか?


テンプレートを使ってみる

テンプレートギャラリーで10,000件以上のテンプレートをご覧ください


何か他にご質問はありますか?