Skip to content

fix(ai-analyzer): enforce tool-call vs text mode in agent system prompt - #86

Merged
developowl merged 1 commit into
mainfrom
fix/ai-analyzer-prompt-tool-vs-text
Jun 25, 2026
Merged

developowl merged 1 commit into
mainfrom
fix/ai-analyzer-prompt-tool-vs-text

Conversation

@developowl

Copy link
Copy Markdown
Collaborator

Summary

PR #84 검증에서 agent 가 도구를 호출하는 대신 도구 이름을 텍스트로 운영자 명령어처럼 박는 현상 발견. system prompt 를 "두 가지 모드" 구조로 재작성해 turn 단위로 tool call 또는 최종 답변 중 하나만 발행하도록 강제.

Why

PR #84 검증 결과 (3 케이스 모두):

agent iter=1 stop=end_turn
analysis: {..., "agent_iterations": 1,
 "summary": "...
  - 호스트의 syslog를 확인하여 문제의 원인을 찾습니다:
    ```bash
    query_logs(logql='{...}', lookback_minutes=15, limit=100)
    ```"
}

→ tool_use 가 아닌 end_turn 으로 즉시 종료, 본문에 query_logs(...) query_metrics(...) 같은 도구 이름을 텍스트로 박음. 의도된 동작 (tool call 발행) 이 아님.

원인: 기존 prompt 가 출력 형식 ("운영자가 실행할 명령어 bullet 2-4개") 을 강하게 박아두고, 도구 사용 지침이 그 아래 약하게 들어가 있어 모델이 도구를 호출하는 메커니즘 대신 그 형식에 맞춰 텍스트로 출력하는 경향.

What

system prompt 를 두 모드로 명확히 분리:

(A) Tool call 발행 — 가설 검증 필요할 때
    · query_metrics / query_logs / list_recent_alerts 중 하나 호출
    · 텍스트 응답 X (Bedrock 가 자동으로 다음 turn 에 결과 전달)
    · 금지: 도구 이름을 텍스트로 적는 것

(B) 최종 답변 작성 — 결론낼 정보 충분할 때
    · 도구 호출 X
    · 운영자가 직접 손으로 실행할 진짜 명령어만 (kubectl, 순수 LogQL/PromQL)
    · agent 도구 이름 텍스트에 등장 X
  • 모드 선택 기준 별도 섹션, 기존 안전망/형식 규칙은 모드별로 재배치.

Validation

머지 + 새 image 빌드 + ArgoCD sync 후, 같은 3 케이스 (simple/ambiguous/cascade) 로 재 검증:

  • simple → agent_iters=1, stopReason=end_turn, 본문에 도구 이름 텍스트 X
  • ambiguous → agent_iters≥2, 첫 iter stopReason=tool_use
  • cascade → 첫 iter 에서 list_recent_alerts 호출 기대

Notes

  • 코드 로직 변경 없음 — analyze_agentic() / TOOL_SCHEMAS / _dispatch_tool() 모두 그대로
  • prompt 한 변수만 수정 → revert risk 최소
  • AGENT_ENABLED=false 토글로 즉시 single-shot fallback 가능 (기존 안전망 유지)

🤖 Generated with Claude Code

PR #84 검증에서 세 케이스 모두 agent_iters=1 로 끝났는데, 본문에
`query_metrics(promql=...)`, `query_logs(logql=...)` 같이 도구 이름을
텍스트로 박아 운영자 명령어처럼 제시함. tool call 을 발행하지 않고
응답으로 직접 작성한 결과.

원인: 기존 system prompt 가 "출력 형식: 명령어 bullet" 으로 텍스트
응답을 강하게 박아두어, 도구 이름을 그 형식에 맞춰 명령어처럼
출력하는 경향. 도구 사용 지침이 출력 형식 섹션보다 약했음.

Fix:
- "두 가지 모드" 섹션 신설 — (A) tool call 발행 vs (B) 최종 답변 작성.
  한 turn 에 둘 중 하나만 한다고 명시.
- (A) 모드 안에 "도구 이름을 텍스트로 적지 말 것" 강조.
- (B) 모드 안에 "agent 도구 이름은 등장 X, 실제 kubectl/LogQL/PromQL 만"
  명시.
- 모드 선택 기준을 별도 섹션으로 추출.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
@developowl
developowl merged commit 717003f into main Jun 25, 2026
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant