Skip to content

fix(ai-analyzer): pin LOKI_URL to log-server Tailscale IP - #80

Merged
developowl merged 3 commits into
mainfrom
fix/ai-analyzer-loki-tailscale-ip
Jun 25, 2026
Merged

developowl merged 3 commits into
mainfrom
fix/ai-analyzer-loki-tailscale-ip

Conversation

@developowl

Copy link
Copy Markdown
Collaborator

Summary

ai-analyzer pod의 cross-cluster Loki 조회 실패를 우회. apps/ai/ai-analyzer/chart/values.yaml의 LOKI_URL을 MagicDNS FQDN(observ-log-server.tail07adfd.ts.net) 대신 Tailscale IP(100.68.2.91)로 변경. #76 (otel-gateway → Tailscale IP) 패턴과 동일.

Why

PR #78의 logql_context_query annotation 흐름을 실측 검증하던 중, 매 webhook 호출에서 loki query failed: [Errno -2] Name or service not known 가 발생함을 확인.

진단 결과:

사실 증거
Pod에서 MagicDNS FQDN 해결 실패 socket.gethostbyname → [Errno -2]
Tailscale IP 100.68.2.91로는 도달 OK TCP OK, HTTP /ready 200
Pod의 resolv.conf 순서: CoreDNS → Tailscale nameserver 10.43.0.10 / nameserver 100.100.100.100
dnsConfig.searches에 tail07adfd.ts.net 박혀 있음 values.yaml line 64

근본 원인: CoreDNS가 tail07adfd.ts.net 에 대해 forward zone 없이 NXDOMAIN을 반환하고, glibc resolver는 첫 nameserver가 NXDOMAIN을 주면 두 번째 nameserver로 fallback하지 않음. dnsConfig.nameservers로 100.100.100.100을 박아둬도 순서상 우선순위가 안 먹는 구조적 한계. kubectl set env 임시 override도 ArgoCD selfHeal 에 즉시 원복되어 검증 불가.

#76 (otel-gateway export endpoint → Tailscale IP) 가 정확히 같은 함정을 해결한 패턴이라 같은 길로 답습. README와 values.yaml 주석에 사유 명시해 다음 사람이 다시 풀게 하지 않음.

Validation

  • helm template apps/ai/ai-analyzer/chart (변경 후 정상 렌더)
  • ArgoCD sync 후 ai-analyzer pod의 LOKI_URL 환경변수가 http://100.68.2.91:31100 로 박히는지
  • PR fix(log-alerts): AI 분석용 Loki 컨텍스트 쿼리 전달 #78 검증 (synthetic webhook POST 3 케이스):
    • annotation path: loki_lines > 0
    • fallback selector path: loki_lines > 0
    • negative cluster path: loki_lines == 0

Notes

  • Tailscale IP는 노드별로 안정적 (노드 재생성 시에만 바뀜). observ-log-server가 재생성되면 IP 갱신 필요.
  • 영구적인 정공법은 cluster CoreDNS에 tail07adfd.ts.net forward zone을 추가하는 것이지만, 인프라 변경 범위가 커서 이번 PR 범위 밖.

Related: #76, PR #78

🤖 Generated with Claude Code

developowl and others added 3 commits June 25, 2026 09:37
검증 중 ai-analyzer pod 의 Loki 조회가 매번 `[Errno -2] Name or
service not known` 로 실패하는 것을 확인. pod 의 resolv.conf 가
cluster CoreDNS (10.43.0.10) → Tailscale DNS (100.100.100.100)
순서인데, CoreDNS 가 `tail07adfd.ts.net` 에 대해 NXDOMAIN 을
반환해서 glibc resolver 가 두 번째 nameserver 로 fallback 하지
않음. dnsConfig.nameservers 가 박혀 있어도 우선순위가 안 먹는
구조적 한계.

#76 (otel-gateway export endpoint) 와 같은 패턴으로 Tailscale IP
(observ-log-server = 100.68.2.91) 를 직접 박아 우회. README 환경변수
표와 values.yaml 주석에 이유 명시. PR #78 (logql_context_query
annotation) 의 실측 검증 prerequisite.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
@developowl
developowl merged commit 770c0b6 into main Jun 25, 2026
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant