자기 개선형 답변 봇 만들기

자기 개선형 답변 봇을 만드는 방법을 알아보세요. 질문하면 유용한 답변을 제공하고, 답변이 부족했던 사례를 모두 파악해 시스템 개선에 활용합니다.

가이드
Self-improving Answer Bot | Hero image

Slack에서 업무 관련 질문을 주고받다 보면, 답이 어딘가에 있다는 건 알지만 정확히 어디에 있는지 찾기 어려울 때가 있습니다. 회의록에 있을 수도 있고, 위키에 있지만 내용이 오래전에 작성된 것이라 지금도 유효한지 알기 어려울 수도 있습니다. 최악의 경우, 누군가의 머릿속에만 있을지도 모르죠.

결국 누군가 답을 찾아 공유하고, 모두가 다시 하던 일로 돌아갑니다. 당장은 해결된 것 같아도 답은 대화 스레드에만 남고 지식으로 정리되지 않습니다. 그러다 다음 주가 되면 같은 질문이 다시 나오기 마련입니다.

이 가이드에서는 이런 악순환을 끊어 줄 자기 개선형 답변 봇을 만드는 방법을 알아봅니다. 이 봇은 질문에 유용한 답변을 제공할 뿐 아니라, 답변이 부족했던 사례를 파악해 시스템 개선에도 활용합니다.

두 단계로 나누어 진행합니다.

  • (파트 1) Q&A 에이전트 — Notion의 안내에 따라 Q&A 에이전트를 만드세요. 에이전트가 준비되면 그 과정에서 생성된 Q&A Log, Learning Log, Playbook을 확인할 수 있습니다.

  • (파트 2) 자기 개선형 에이전트 — 이 가이드의 단계별 안내에 따라 Q&A Log와 신뢰할 수 있는 출처를 검토하는 에이전트를 만드세요. 에이전트는 개선 내용을 담은 수정 초안을 작성하고, 담당자의 승인을 받은 경우에만 실제로 반영합니다.

이렇게 구축한 시스템은 팀원들이 질문할 때마다 지식을 보완해, 다음 질문에 더 나은 답변을 제공합니다.

구축 소요 시간: 선행 조건 확인을 마친 경우 약 90분이 소요됩니다. 테스트와 문제 해결에 걸리는 시간까지 고려해 일정을 더 여유 있게 잡으세요.

읽는 시간: 약 45분

Q&A Log

Q&A 에이전트

자기 개선형 에이전트

새로운 정보나 누락된 정보, 변경 제안, 업데이트 상태를 기록합니다.

신뢰할 수 있는 출처의 변경 사항과 연결합니다.

신뢰할 수 있는 출처를 바탕으로 Slack에서 질문에 답변합니다.

새로운 정보, 누락된 정보, 서로 상충하는 정보를 Q&A Log에 기록합니다.

Q&A Log 항목을 바탕으로 신뢰할 수 있는 출처에 대한 구체적인 수정안을 제안합니다.

사람이 직접 검토하고 승인한 변경 사항만 적용합니다.

먼저 반복해서 답해야 하는 번거로운 질문부터 떠올려 보세요. 답을 찾느라 Slack 대화와 여러 도구를 뒤져야 하거나, 매번 같은 전문가를 태그해 도움을 요청해야 하는 경우가 대표적입니다. 바로 이런 반복의 고리를 끊는 것이 목표입니다.

일반적인 예시를 몇 가지 살펴보겠습니다.

IT팀

#it-지원, #액세스-요청

예시 질문

  • VPN에 어떻게 연결하나요?

  • 어떤 화면 녹화 소프트웨어가 승인되어 있나요?

  • 새로 받은 노트북은 어떻게 설정하나요?

신뢰할 수 있는 출처

  • 설정 가이드

  • 문제 해결 페이지

  • 지원 소프트웨어 정책

  • 알려진 문제

프로덕트팀

#프로덕트-질문, #로드맵-문의

예시 질문

  • 최신 릴리스에서는 어떤 내용이 변경되었나요?

  • 이 기능에 대해서 결정된 사항이 있나요?

  • 엔터프라이즈 고객도 이 기능을 사용할 수 있나요?

신뢰할 수 있는 출처

  • PRD 및 의사결정 기록

  • 프로젝트 데이터베이스

  • 회의록

  • 이슈 트래커

인사팀

#인사-도움말, #신입-질문

예시 질문

  • 복리후생 혜택은 어떻게 신청하나요?

  • 우리 회사 육아휴직 정책은 어떻게 되나요?

  • 신입사원 체크리스트는 어디에서 찾을 수 있나요?

신뢰할 수 있는 출처

  • 직원 안내서

  • 복리후생·사무실 이용 가이드

  • 온보딩 문서

  • 승인된 FAQ

영업팀과 영업 지원팀

#영업-질문, #영업-지원

예시 질문

  • 잠재 고객이 데이터 레지던시에 대해 물으면 어떤 승인된 답변을 사용해야 하나요?

  • 경쟁사와 비교해 우리 제품을 어떻게 포지셔닝해야 할까요?

  • 헬스케어 분야의 잠재 고객에게는 어떤 고객 사례를 공유해야 하나요?

신뢰할 수 있는 출처

  • 승인된 메시지

  • 세일즈 플레이북

  • 경쟁사 대응 자료

  • 고객 사례

요리를 본격적으로 시작하려면, 필요한 재료부터 챙겨야겠죠. 커스텀 에이전트 생성이 활성화되어 있고 Slack이 연결되어 있는지, 시스템 전체를 구축하고 테스트하는 데 필요한 권한이 있는지 확인하세요.

커스텀 에이전트 생성 기능 활성화

  • 워크스페이스 소유자가 설정 → Notion AI → 에이전트에서 생성 기능을 활성화해야 합니다.

  • 이 시스템을 구축하는 데 필요한 크레딧 수는 정해져 있지 않습니다. 크레딧 사용량은 출처 읽기, 작업 수행, 모델 선택, 실행 빈도에 따라 달라집니다. 트리거를 광범위하게 설정하거나 일정을 예약하기 전에 ‘인사이트’에서 실제 테스트 실행 시 크레딧 사용량을 측정하세요.

Slack 연결 확인

  • Slack 관리자를 통해 Slack과 Notion이 연결된 상태여야 합니다.

  • Slack Enterprise Grid를 사용하는 경우, ‘커스텀 에이전트가 읽기 허용 및 게시물을 올릴 수 있음’ 설정에서 메시지 읽기 허용 및 게시물 올리기를 선택해야 합니다.

  • 연결에 사용하는 Slack 계정과 Notion 계정의 이메일 주소가 같아야 합니다. 이메일 주소가 다르면 오류 없이 트리거가 실패할 수 있습니다.

필요한 권한 확인

  • 모든 신뢰할 수 있는 출처를 수정하고 공유할 수 있어야 합니다.

  • Q&A 에이전트는 모든 신뢰할 수 있는 출처를 읽고 볼 수 있어야 합니다.

  • 자기 개선형 에이전트는 신뢰할 수 있는 출처를 수정할 수 있어야 합니다.

Slack으로 질문이 들어오면 Q&A 에이전트가 여러 도구를 일일이 뒤져 답을 찾는 대신, 팀에서 신뢰하는 출처를 검색해 대화에 답변을 남깁니다.

Notion의 단계별 설정 안내에 따라 에이전트를 처음 구축하고 실행할 수 있습니다.

시작하려면 다음 단계를 따르세요.

  • 사이드바에서 에이전트를 선택한 다음 + 새 에이전트를 클릭합니다.

  • 단계별 설정을 시작하려면 자기 개선형 답변 봇을 선택합니다.

먼저 에이전트가 답변할 질문의 범위와 정보를 검색할 출처를 선택하세요.

1.1 에이전트가 답변할 질문 선택

  • 프로덕트, IT, 영업, 인사, 사무실 관련 요청 등 대표적인 사용 사례 중에서 선택하세요.

  • 다른 사용 사례가 필요하다면 Custom을 선택해 직접 설정하세요.

1.1 에이전트가 답변할 질문 선택
1.2 에이전트가 답변을 게시할 채널 선택

1.2 에이전트가 답변을 게시할 채널 선택

  • 기존 Slack 채널을 선택하거나 설정 가이드에서 바로 새 채널을 만드세요.

1.3 신뢰할 수 있는 지식 출처 연결

  • 기본적으로 에이전트는 공개된 Notion 페이지와 Slack 채널에 접근할 수 있습니다.

  • 에이전트가 접근할 수 있는 출처를 검토하고, 팀에서 신뢰하는 출처만 사용하도록 설정하세요.

1.3 신뢰할 수 있는 지식 출처 연결

필요한 준비를 마쳤다면 Create agent를 클릭하세요. 나머지는 Notion에서 알아서 처리합니다.

설정 가이드를 마치면 에이전트의 설정 페이지로 이동하세요. 테스트하기 전에 내부 설정을 살펴보고 몇 가지 항목을 조정하세요.

2.1 Q&A Log 데이터베이스 검토

Q&A Log는 질문과 답변, 해결되지 않은 요청의 기록을 보관하는 데이터베이스로, 에이전트가 얼마나 잘 작동하는지 추적하는 데 사용됩니다.

모범 사례

  • 데이터베이스는 요청 상태, question type, 요청자, related Slack thread 등의 속성이 기본으로 포함되어 있습니다. 우리 팀에서 추가로 추적해야 할 항목이 있는지 살펴보고 필요에 따라 속성을 조정하세요.

  • 질문 유형을 활용해 반복되는 요청을 파악하고, 상태를 확인해 추가로 살펴봐야 하는 질문을 찾으세요.

2.1 Q&A Log 데이터베이스 검토

2.2 학습 로그 데이터베이스 검토

학습 로그는 에이전트가 사용자와 공유한 새로운 지식과 메모리를 저장하는 데이터베이스입니다. 각 항목에는 출처, 적용 범위, 신뢰도 등의 세부 정보가 포함됩니다.

모범 사례

  • 처음에는 로그가 비어 있습니다. 팀원들이 물어볼 만한 질문을 몇 가지 입력해 에이전트를 테스트하세요.

  • 새로 추가된 항목을 검토해 정보의 출처가 신뢰할 만한지, 적절한 상황에 적용되는지 확인하세요.

  • 오래된 정보는 수정하고, 에이전트가 더 이상 참고해서는 안 되는 정보는 삭제하세요. 요리에 오래된 재료가 섞여 들어가면 곤란하니까요.

2.3 Playbook 세부 조정

Playbook은 에이전트가 질문에 답하는 방법을 담은 일종의 레시피입니다. 질문에 답할 때 어떤 출처를 참고하고 언제 도움을 요청해야 하는지 안내하는 Notion 페이지입니다.

모범 사례

  • 에이전트가 어떤 출처를 먼저 확인할지 지정하세요. 예를 들어 Slack 대화를 살펴보기 전에 사내 지식 베이스를 먼저 검색하도록 설정할 수 있습니다.

  • 에이전트가 절대로 해서는 안 되는 행동과 임의로 결정하지 말고 물어봐야 하는 상황을 명확히 알려주세요.

  • 에이전트가 어떤 방식으로 답변해야 하는지, 누군가 답변을 정정하면 어떻게 대응해야 하는지 구체적으로 알려주세요.

2.3 Playbook 세부 조정

Q&A Log와 Learning Log, Playbook의 내용은 직접 수정할 수도 있고, 에이전트에게 수정을 요청할 수도 있습니다.

이제 요리가 잘됐는지 맛볼 차례입니다. 설정 가이드에서는 먼저 에이전트가 질문에 답하는 데 필요한 정보가 충분한지 확인합니다. 부족한 정보가 있다면 지식을 더 공유하거나 추가 출처를 설정하세요.

3.1 에이전트에게 질문하며 테스트하기

제안된 질문 중 하나를 선택하거나 직접 작성하세요. 팀에서 평소 자주 나오는 질문으로 시작한 다음, 정보가 부족하거나 서로 상충할 수 있는 질문도 몇 가지 시도해 보세요.

답변을 검토하면서 다음 사항을 확인하세요.

  • 질문 내용과 관련 스레드의 맥락을 반영했는지

  • 출처로 뒷받침되는 답변을 제공했는지

  • 답변이 간결한지

  • 답변의 근거가 되는 출처 링크를 포함했는지

  • 기록할 만한 내용이 있을 때만 로그 기록을 생성했는지

3.2 Slack에서 에이전트를 테스트하고 Q&A Log 검토하기

답변이 만족스럽다면 Looks right - I'm ready to try it in Slack을 선택하세요.

지정한 Slack 채널에서 몇 가지 질문을 하고, 각 질문의 처리 결과가 Q&A Log에 올바르게 기록되는지 확인하세요.

  • 근거가 있는 답변: Answers 보기에 표시되며, 각 기록에는 Question, Answer, Source Slack thread가 포함되어야 합니다.

  • 정보 부족: 에이전트는 솔직하게 “모르겠습니다”라고 답해야 하며, 답변은 비워 둔 채 Requests 보기에 기록해야 합니다.

  • 정보 상충: 에이전트는 추측하지 말고 정보가 서로 상충한다는 점을 인정해야 합니다. 해결되지 않은 질문은 Requests 보기에 기록해야 합니다.

  • 답변 정정: 답변을 정정하면 에이전트가 근거 없는 정보를 반복하지 않아야 하며,후속 조치를 위한 Requests 기록을 생성해야 합니다.

3.3 자주 발생하는 문제 해결

아무리 완벽한 레시피라도 처음부터 늘 요리가 잘되는 건 아니니 너무 걱정하지 마세요. 예상대로 작동하지 않는 부분이 있다면 다음 사항을 확인하세요.

  • 답변 관련 문제

    • 신뢰할 수 있는 출처에서 답변의 근거를 찾을 수 없는데도 에이전트가 답변을 제공했습니다.

    • 신뢰할 수 있는 출처를 지정했고 그 안에 답이 있지만, 에이전트가 답을 찾지 못했다고 응답했습니다.

    • 답변이 지나치게 길거나 근거가 되는 출처 링크가 포함되지 않았습니다.

  • Q&A Log 관련 문제

    • 관련 질문에 대한 Q&A Log가 생성되지 않았습니다.

    • 근거가 있는 답변이 Answers 보기에 표시되지 않았습니다.

    • 근거가 없거나 불완전하거나 서로 상충하는 답변이 Requests 보기에 표시되지 않았습니다.

    • 기록의 Question, Answer, Source Slack thread 정보 중 부정확하거나 누락된 항목이 있습니다.

    • 에이전트와 직접 채팅하며 테스트할 때, 제공하지 않은 Slack 스레드나 출처 등의 근거를 지어냈습니다.

에이전트에게 무엇이 잘못되었는지 설명하고 필요한 부분을 수정하도록 요청하세요. 그런 다음 같은 질문을 다시 던져 수정 사항이 제대로 적용되었는지 확인하세요.

팀에 Q&A 에이전트를 소개할 차례입니다. 본격적으로 배포하기 전에 몇 가지 마무리 작업을 해두면 원활한 도입에 도움이 됩니다.

  • 에이전트를 게시하고 지정한 Slack 채널에서 제대로 응답하는지 확인하세요.

  • 에이전트 관리와 미해결 질문 처리를 도와줄 다른 에이전트 관리자들과 Q&A 에이전트를 공유하세요.

  • 팀원들에게 잘못된 답변을 신고하거나 피드백을 공유하는 방법을 안내하세요.

  • Q&A Log를 정기적으로 검토해 반복되는 질문과 개선할 부분을 파악하세요.

이제 Q&A 시스템이 완성되었습니다.

Q&A 에이전트는 Slack에서 질문에 답하고, 참고한 출처를 보여주며, 모든 답변과 미해결 요청을 Q&A Log에 기록합니다. 팀은 이 로그를 통해 사람들이 자주 묻는 내용과 지식 베이스에서 보완이 필요한 부분을 파악할 수 있습니다.

제품 내 설정 가이드를 통해 이 페이지를 방문하셨다면 파트 1의 기본 설정은 이미 완료된 상태입니다. 아래 내용을 따라 자기 개선형 답변 봇을 추가하세요.

파트 1이 당장의 질문을 해결한다면 파트 2는 답변하지 못한 질문 하나하나를 개선의 기회로 만듭니다.

Q&A Log는 시스템이 어디에서 막히는지 정확히 보여줍니다. 자기 개선형 에이전트는 이러한 미해결 문제를 찾아 근거를 수집하고, 필요한 부분을 최소한으로 수정하는 방안을 작성합니다. 다만 어떤 정보를 신뢰할 수 있는 지식으로 채택할지는 여전히 사람이 결정합니다.

이제 전체 개선 과정의 나머지 절반을 구성할 차례입니다.

파트 1에서는 Question, Answer, Source Slack thread 속성만 있으면 충분했습니다. 자기 개선형 에이전트를 설정하기 전에 아래 프롬프트를 Notion 에이전트에 붙여 넣어 Q&A Log 데이터베이스에 다음 속성을 추가하세요.

명령어Update the Q&A Log database schema with the following: Update type (Select) — New article or Update existing article. Proposed destination (URL) — The existing article to update, or the proposed location for a new article. Reviewer (Person) — The person accountable for reviewing the draft. Status (Status) — Needs agent review, Needs human review, Approved, Published, Archived. Applied at (Date) — When the approved update was applied. Organize Status into these groups: - To-do: Needs agent review - In progress: Needs human review, Approved - Complete: Published, Archived

제안 내용은 속성이 아닌 Q&A Log 페이지 본문에 작성됩니다. 다음 구조를 사용하세요.

명령어## Proposed knowledge update [Draft the proposed new article or focused update here.] ## Supporting evidence - [Source and relevant evidence]

검토자는 초안을 직접 수정하거나 페이지에 댓글을 남길 수 있습니다. 초안을 적용할 준비가 되면 ‘상태’를 ‘승인됨’으로 변경하세요.

1. 기본 에이전트 만들기

이제 개선 과정을 완성하고, 부족한 지식을 보완해 신뢰할 수 있는 지식으로 만들어 보세요. 먼저 에이전트를 초안 상태로 만든 다음, 정보를 어디에서 찾고 무엇을 수정하며 어떻게 승인을 요청해야 하는지 알려주세요.

사이드바에서 '에이전트'를 열고 +를 클릭한 다음 아래 프롬프트를 붙여 넣으세요.

명령어Create a draft Custom Agent named “Self-Improving Agent” with no active triggers. The Self-Improving Agent reviews unresolved Requests in a Q&A Log, which will be connected later. It prepares focused, evidence-backed new articles or updates in each Request page body for human review. It proposes one Update type, one Proposed destination, and one Reviewer. It never edits a trusted source before a person approves the draft. After approval, it applies only the approved change and records that the update was completed. Match the destination’s existing style and structure. Keep proposed and applied changes concise and limited to what the evidence supports. Consolidate only clear duplicate Requests while preserving unique evidence.

아니면 이 링크를 클릭해도 됩니다. 저장하고 다음 단계로 계속 진행하세요.

2. 설정 마무리

2.1 Notion 트리거 추가

'Triggers'에서 다음 세 가지 Notion 트리거를 설정하세요.

  1. Page added to database: Q&A 로그에 페이지가 추가될 때마다 실행됩니다. 자기 개선형 에이전트는 Answer에 값이 있으면 실행을 중단하고, 비어 있으면 해당 항목을 검토합니다.

  2. Property updated in database: '상태’가 Needs agent review로 변경되면 실행됩니다. 에이전트는 수정된 초안과 페이지 댓글을 다시 확인한 다음, 기존 제안을 수정합니다.

  3. Property updated in database: '상태'가 '승인됨'으로 변경되면 실행됩니다. 에이전트는 승인된 초안을 적용합니다.

Set up two triggers, "Page added to database," and, "Property updated in database," then click save.
TBD

2.2 Q&A 로그와 신뢰할 수 있는 출처 추가

Q&A 로그를 '편집 허용' 권한으로 추가하세요.

'도구 및 사용 권한'에서 Q&A 에이전트와 동일한 신뢰할 수 있는 출처를 추가하세요.

  • Notion 페이지는 '편집 허용' 권한으로 추가하세요.

  • 연결 항목은 '읽기 및 쓰기' 권한으로 추가하세요.

2.3 작업 및 에이전트 지침 업데이트

신뢰할 수 있는 출처, Q&A Log, Notion 트리거를 추가했다면 이제 자기 개선형 에이전트의 지침을 업데이트할 수 있습니다.

변경 제안을 검토할 담당자를 지정하세요. 자기 개선형 에이전트가 담당자에게 실시간으로 알림을 보냅니다.

Update the j

아래 프롬프트에서 검토자를 지정하는 부분을 실제 검토자의 Notion @멘션으로 바꾼 다음, 자기 개선형 에이전트 설정 페이지에서 Notion 에이전트에 이 프롬프트를 붙여 넣으세요.

명령어You are the Self-Improving Agent. You review unresolved Requests in the configured Q&A Log, prepare evidence-backed improvements to trusted sources, and apply only changes a person approves. Default reviewer: [REPLACE WITH THE HUMAN REVIEWER’S ACTUAL NOTION @MENTION] When a page is added to the Q&A Log or Status changes to Needs agent review: 1. Read Question, Answer, Source Slack thread, the current page body, page comments, and Reviewer. 2. If Answer is not empty, this is a completed Answer. Do not prepare a knowledge update and stop. 3. Review related Q&A Log records, the Slack thread when available, and the relevant trusted sources. 4. If the Request duplicates something already addressed, preserve any unique evidence in the more complete record, set the duplicate’s Status to Archived, and stop. 5. Otherwise, prepare the smallest change supported by the evidence. Write or revise the draft under “Proposed knowledge update” in the page body. List the evidence used under “Supporting evidence.” 6. Set Update type to New article or Update existing article. Set Proposed destination to the single existing article or proposed wiki location that should receive the approved change. 7. Keep the existing Reviewer. If Reviewer is empty, set it to the default reviewer. 8. Set Status to Needs human review, then leave a comment mentioning the Reviewer. Ask them to edit the draft directly or leave comments, then set Status to Approved when it is ready. If they want the Agent to revise it, ask them to set Status to Needs agent review. 9. Stop without editing a trusted source. When Status changes to Approved: 1. Confirm that the page body contains a draft and supporting evidence, and that Update type and Proposed destination are present. 2. Apply only the approved page-body draft to Proposed destination, following Update type and matching the destination’s existing style and structure. 3. Record the current date in Applied at and set Status to Published. 4. If anything required is missing, do not edit a trusted source. Leave a comment mentioning the Reviewer and state what is needed. Keep proposed and applied changes clear, concise, and limited to what the evidence supports.

선택 사항: 검토자 알림을 모아서 받으려면 Daily 또는 Weekly 중 하나를 선택하고 프롬프트의 관련 내용을 수정한 다음, 자기 개선형 에이전트 설정 페이지에서 Notion 에이전트에 이 프롬프트를 붙여 넣으세요.

명령어Update this Self-Improving Agent to group reviewer notifications [DAILY OR WEEKLY] instead of sending them immediately. Remove the instruction to comment when each entry moves to Needs human review. Keep setting Reviewer and Status = Needs human review. Add a recurring trigger for the selected cadence. For each scheduled run, group all Needs human review entries by Reviewer. For each reviewer, leave one comment on their oldest pending entry that mentions them and links to every draft awaiting review. Reviewers should edit the page-body draft directly or leave comments. They set Status to Approved when the draft is ready, or Needs agent review when they want another Agent revision. Do not send both immediate and grouped notifications. Do not change any other instructions or triggers.

2.4 저장하기

오른쪽 상단의 파란색 '저장' 버튼을 클릭하세요.

Click the save button in the upper right hand corner.

3. 자기 개선형 에이전트 테스트

자기 개선형 에이전트는 Q&A Log의 Requests를 처리합니다. 따라서 테스트도 Q&A Log에서 진행합니다.

3.1 설정 완료 여부 확인

자기 개선형 에이전트에는 Q&A Log와 신뢰할 수 있는 Notion 출처에 대한 ‘편집 허용’ 사용 권한이 부여되어 있어야 합니다.

연결된 출처를 읽고 수정할 수 있는 권한이 있어야 합니다.

Notion 트리거 3개는 모두 Q&A Log를 대상으로 올바른 이벤트가 설정되어 있으며, 꺼진 상태여야 합니다.

  • 페이지가 추가될 때

  • 상태가 Needs agent review로 변경될 때

  • 상태가 승인됨으로 변경될 때

기본 검토자는 실제 담당자의 Notion @멘션으로 지정되어 있어야 합니다.

지침에는 자기 개선형 에이전트가 다음 작업을 수행하는 방법이 명시되어 있어야 합니다.

  • 근거 자료와 함께 페이지 본문에 제안 초안을 작성하거나 기존 제안을 수정하기

  • Update type과 Proposed destination 설정하기

  • Reviewer를 지정하거나 기존 검토자를 유지하고, 검토가 필요할 때 해당 검토자 멘션하기

  • 동일한 초안을 수정하기 전에 직접 수정된 내용과 댓글 확인하기

  • 명백한 중복 항목을 통합하되, 고유한 근거 자료는 보존하기

  • 신뢰할 수 있는 출처를 변경하기 전에 담당자의 승인 기다리기

  • 승인된 초안만 적용하고, Applied at을 기록한 다음 상태를 Published로 설정하기

3.2 실제 항목으로 테스트하기

Notion 에이전트를 사용해 테스트를 준비하세요. 자기 개선형 에이전트 설정 페이지에서 아래 프롬프트를 Notion 에이전트에 붙여 넣으세요.

명령어Prepare this Self-Improving Agent for testing. 1. Create a temporary Notion page named “Self-Improving Agent test source.” Add a short, clearly labeled piece of sample knowledge that is safe to change. 2. Add that page to this Self-Improving Agent in Tools & Access with Can edit access. 3. Review the Self-Improving Agent’s current job, instructions, Q&A Log, trusted sources, and Notion triggers. 4. Create a concise four-step test plan using the temporary source page. Include one test for each path: - Proposal - Reviewer feedback - Duplicate - Approved change For each test, use the exact Q&A Log property names and Status values in this setup. Return: [TEST] [TRIGGER TO TURN ON] [EXACT WIKI DATABASE ACTION] [EXPECTED RESULT] Use clearly labeled test records. Keep the temporary source unchanged until the Approved change test. Do not run the tests, enable triggers, create Q&A Log records, change the Self-Improving Agent’s instructions, or edit any existing trusted source. After creating and connecting the temporary source page, return only the four test steps.

Notion 에이전트가 작업을 마치면 '저장'을 클릭하세요. 테스트할 트리거만 켜고, 다음 테스트 경로를 테스트하기 전에 해당 트리거를 다시 끄세요.

다음 사항을 확인하세요.

  • 제안: 자기 개선형 에이전트가 페이지 본문에 핵심을 담은 초안과 근거 자료를 작성하고, Update type과 Proposed destination을 설정합니다. Reviewer를 지정하거나 기존 검토자를 유지하고, 상태를 Needs human review로 설정한 뒤 검토자를 멘션합니다. 이 과정에서 신뢰할 수 있는 출처는 변경하지 않습니다.

  • 검토자의 수정 또는 댓글: 페이지 본문의 초안을 수정하거나 댓글을 남긴 다음, 상태를 Needs agent review로 설정하세요. 에이전트는 기존 초안을 수정하고, 상태를 다시 Needs human review로 설정한 뒤 검토자를 다시 멘션합니다. 이 과정에서도 신뢰할 수 있는 출처는 변경하지 않습니다.

  • 중복 항목: 에이전트는 고유한 근거 자료를 보존하고, 중복이 명백한 항목만 보관 처리합니다.

  • 승인된 변경: 에이전트는 Update type과 Proposed destination에 따라 임시 출처만 변경하고, Applied at을 기록한 뒤 상태를 Published로 설정합니다.

3.3 자주 발생하는 문제 해결

테스트 중 예상치 못한 문제가 발생할 수도 있지만, 걱정하지 마세요. 테스트는 바로 이런 문제를 찾아내기 위한 과정입니다.

실제로 발생한 문제만 체크하세요.

  • 트리거 실패

    • 기록이 추가되었지만 자기 개선형 에이전트가 실행되지 않았습니다.

    • 상태를 Needs agent review로 변경했지만 수정 작업이 시작되지 않았습니다.

    • 상태를 승인됨으로 변경했지만 변경 사항이 적용되지 않았습니다.

  • 제안 및 검토 실패

    • 제안에 근거가 부족하거나 범위가 지나치게 넓거나, 근거 자료, 반영 대상 또는 검토자 정보가 누락되었습니다.

    • 자기 개선형 에이전트가 승인 전에 출처를 변경했습니다.

    • 검토자가 멘션되지 않았습니다.

    • 검토자의 피드백에 따른 수정 제안이 나오지 않았습니다.

  • 중복 항목 처리 및 승인된 변경 적용 실패

    • 중복이 명백한 항목이 보관 처리되지 않았거나 고유한 근거 자료가 누락되었습니다.

    • 일부 내용만 겹치거나 서로 상충하는 기록이 잘못 보관 처리되었습니다.

    • 승인된 변경 사항을 적용하는 과정에서 관련 없는 내용까지 수정되었습니다.

    • 처리가 완료된 기록에 Applied at 또는 상태 = Published가 포함되지 않았습니다.

체크한 문제 항목을 아래 Notion 에이전트 프롬프트에 붙여 넣으세요. 그런 다음 자기 개선형 에이전트 설정 페이지에서 새 Notion 에이전트 채팅을 시작하고 해당 프롬프트를 붙여 넣으세요.

명령어Fix this Self-Improving Agent based on these failures: [PASTE THE CHECKED FAILURES] Review the Self-Improving Agent’s current job, instructions, Q&A Log, trusted sources and access, and Notion triggers. Diagnose trigger and access problems separately from instruction problems, then make the smallest necessary fix. Change the instructions only when the failure is instructional. Reinforce these requirements only where the failures show they are needed: - Use only the Q&A Log record, its page body and comments, the Slack thread when available, and trusted sources. - Prepare the smallest supported proposal in the page body and include supporting evidence. - Set one Update type and one Proposed destination. - Never edit a trusted source before human approval. - Mention the Reviewer when human review is required. - Revise the same page-body draft after reviewer edits or comments. - Archive only clear duplicates after preserving unique evidence. - Apply only an approved draft to the named destination. - Record Applied at and set Status to Published after write-back. If a trigger or access setting must be fixed manually, tell me exactly what to change. Do not enable triggers, edit test records, modify trusted sources, change the Q&A Log schema, change the default reviewer, or change unrelated instructions. Return only the failures to retest and any settings I must fix manually.

변경 사항을 저장하고, 새로운 테스트 기록을 사용해 실패한 경로만 다시 테스트하세요.

4. 자기 개선형 에이전트 게시

이제 전체 개선 과정이 실행될 준비를 마쳤습니다. 에이전트는 Requests를 바탕으로 초안을 작성하고 담당자의 검토를 기다린 다음, 승인된 내용만 적용합니다.

에이전트를 게시하세요. Notion 트리거 3개를 모두 켜고 ‘저장’을 클릭하세요.

선택 사항: 유지관리를 도와줄 다른 에이전트 관리자가 있다면 자기 개선형 에이전트를 공유하세요.

지식 담당자들에게 자기 개선형 에이전트를 소개하세요. 신뢰할 수 있는 출처를 관리하는 담당자들에게 초안 작성, 댓글, 승인 절차가 어떻게 진행되는지 안내하세요. 아래 메시지 초안을 시작점으로 활용해도 좋습니다.

명령어Meet @[AGENT NAME], our new Self-Improving Agent for [WIKI AREA]. It reviews Requests in [Q&A LOG], drafts focused updates in each Request page, and tags the proposed reviewer when a draft is ready. Edit the draft directly or leave comments. If you want the Agent to revise it, set Status to Needs agent review. When the draft is ready to apply, set Status to Approved. After approval, the Agent will update only the proposed destination, record Applied at, and set Status to Published.

전체 개선 과정을 실제로 활용하기

이제 각 요소가 하나의 시스템으로 작동하기 시작합니다. 하나의 질문이 도구 간 이동 과정에서 누락되지 않고 답변, 요청, 검토된 초안으로 이어져 더 나은 출처 자료를 만드는 데 활용됩니다. Q&A Log를 통해 각 단계에서 작업이 어떻게 이어지는지 확인할 수 있으며, 어떤 정보를 신뢰할 수 있는 지식으로 채택할지는 여전히 사람이 결정합니다.

1. 전체 시스템 켜기

Q&A 에이전트의 Slack 트리거를 켜세요.

자기 개선형 에이전트의 트리거 3개를 모두 켜세요.

  • Q&A Log에 페이지가 추가될 때

  • 상태가 Needs agent review로 변경될 때

  • 상태가 승인됨으로 변경될 때

두 에이전트를 모두 저장하세요.

두 에이전트가 동일한 Q&A Log를 사용하고, 검토자가 자신에게 배정된 모든 기록을 열 수 있는지 확인하세요.

2. Q&A Log에서 제안 검토하기

기록이 Needs human review 상태가 되면 자기 개선형 에이전트가 지정된 Reviewer를 멘션합니다.

검토자는 다음 항목을 확인합니다.

  • 맥락을 파악하기 위한 Question과 Answer

  • 근거를 확인하기 위한 Source Slack thread와 Supporting sources

  • 정확한 변경 내용을 확인하기 위한 Proposed change

  • 변경 사항의 반영 대상을 확인하기 위한 Source to update

확인한 후 다음 두 가지 중 하나를 선택하세요.

  • 제안 승인: 근거, 문구, 반영 대상이 정확하다면 상태 = 승인됨으로 설정하세요.

    자기 개선형 에이전트가 변경 사항을 적용하고 Applied at을 기록한 다음 상태 = Published로 설정합니다.

  • 변경 요청: Feedback from reviewer에 구체적인 지침을 추가한 다음 상태 = Needs agent review로 설정하세요. 에이전트가 제안을 수정한 뒤 기록의 상태를 Needs human review로 되돌립니다.

검토자는 직접 상태 = Published로 설정해서는 안 됩니다. 이 상태는 승인된 변경 사항이 실제로 적용되었음을 나타냅니다.

3. 실행 중 실패하는 경우

  • 실패한 실행 건을 열고, 예상한 Slack 메시지나 데이터베이스 상태가 실행을 트리거했는지 확인하세요.

  • 지침을 변경하기 전에 신뢰할 수 있는 출처, Q&A Log, Slack, 반영 대상에 접근할 권한이 있는지 확인하세요.

  • Q&A Log 기록에 필요한 근거 자료와 Reviewer, Status, Source to update가 모두 포함되어 있는지 확인하세요.

  • 한 번에 한 가지 문제만 수정한 다음, 실패한 사례를 다시 실행하세요.

4. 유지관리와 최적화

  • 워크플로 원활하게 유지하기: Q&A Log에서 Needs agent review, Needs human review, 승인됨 상태에서 처리가 멈춘 기록이 있는지 확인하세요. 모든 제안에 검토자가 지정되어 있어야 하며, 승인된 모든 기록은 Published 상태가 되어야 합니다.

  • 실행 품질 개선: 실패한 실행, 속도가 느린 실행, 불필요한 실행을 검토하세요. 지침을 다시 작성하기 전에 트리거 범위, 접근 권한, 출처 품질부터 점검해야 합니다.

  • 크레딧 사용량 관리: '인사이트'를 주기적으로 확인하세요. 결과는 개선되지 않는데 사용량만 늘어난다면 트리거 빈도, 출처 범위, 모델 사용 비용, 불필요한 작업을 줄여야 합니다.

  • 안정성 확보: 지침, 도구, 권한, 트리거, 출처를 변경한 뒤에는 관련 테스트를 다시 실행해 결과를 확인하세요.

  • 점진적 확장: 출처, Slack 채널, 검토자 그룹, 사용 사례를 한 번에 하나씩 추가하세요. 품질과 비용이 안정적인 경우에만 범위를 확대합니다.

이 가이드 공유하기

피드백 보내기

이 내용이 도움이 되었나요?


템플릿으로 시작하기

템플릿 갤러리에서 10,000개가 넘는 템플릿을 둘러보세요.


설명되지 않은 부분이 있나요?