<!-- task=m-usage-token-log-ops-mvp/02+01_usage_metrics plan=2 tag=REVIEW_USAGE_METRIC_RETRY -->

# Code Review Reference - REVIEW_USAGE_METRIC_RETRY

> **[IMPLEMENTING AGENT - READ FIRST] Filling in this file is the mandatory final step of implementation.**
> The task is NOT complete until every implementation-owned section below is filled in.
> Complete the `구현 체크리스트`; the final checklist item is mandatory before saving.
> Fill implementation-owned sections, then stop with active files in place and report ready for review.
> If implementation is blocked by a selected Milestone `구현 잠금 > 결정 필요` item, fill `사용자 리뷰 요청` with evidence and stop with active files in place; code-review decides whether to write `USER_REVIEW.md`. Environment/secret/service setup, generic scope conflicts, loop exhaustion, and evidence gaps that a follow-up agent can close are normal follow-up issues, not user-review blockers by themselves.
> Do not ask the user directly, present choices in chat, or call `request_user_input` during implementation; record only the linked Milestone lock decision in `사용자 리뷰 요청` and stop for code-review.
> Finalization (`코드리뷰 결과`, log rename, `complete.log`, archive moves, `코드리뷰 전용 체크리스트`) is review-agent-only, even after compaction/resume.

## 개요

date=2026-07-10
task=m-usage-token-log-ops-mvp/02+01_usage_metrics, plan=2, tag=REVIEW_USAGE_METRIC_RETRY

## Roadmap Targets

- Milestone: `agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md`
- Milestone link: [Milestone 문서](agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md)
- Task ids:
  - `openai-scope`: 1차 metric 대상은 OpenAI-compatible 호출로 제한한다.
  - `passthrough-safe`: pure `passthrough` response body를 바꾸지 않고 Edge 내부 metric만 emit한다.
  - `token-breakdown`: input/output/reasoning/cached_input token type을 구분한다.
  - `reasoning-observed`: provider가 reasoning token을 보고하지 않으면 token 추정 없이 보조 metric만 남긴다.
  - `prometheus-metrics`: low-cardinality Prometheus counter와 label allowlist를 구현한다.
- Completion mode: check-on-pass

## Archive Evidence Snapshot

- Current archived plan: `agent-task/m-usage-token-log-ops-mvp/02+01_usage_metrics/plan_local_G04_1.log`
- Current archived review: `agent-task/m-usage-token-log-ops-mvp/02+01_usage_metrics/code_review_local_G04_1.log`
- Verdict: FAIL
- Required summary:
  - `apps/edge/internal/openai/chat_handler.go:476` and `apps/edge/internal/openai/stream.go:1408`: tool-validation retry dispatch failure returns `tool_validation_retry_error` without emitting `iop_openai_requests_total`.
  - `apps/edge/internal/openai/stream.go:1042`: `passthrough+sideband` streaming body write failure cancels the upstream run but leaves `metricStatus` as error instead of cancel.
- Affected files:
  - `apps/edge/internal/openai/chat_handler.go`
  - `apps/edge/internal/openai/stream.go`
  - `apps/edge/internal/openai/usage_metrics_test.go`
  - `apps/edge/internal/openai/server_test.go`
- Verification evidence from failed loop:
  - `GOCACHE=/config/workspace/iop/.cache/go-build go test -count=1 ./apps/edge/internal/openai -run 'Sideband|UsageMetrics|ToolValidation|Dispatch|Reasoning'` PASS after review-agent removed debug-only `t.Logf` lines from `usage_metrics_test.go`.
  - `git diff --check` PASS.
- Roadmap carryover: same Roadmap Targets remain claimed only after this follow-up closes the remaining terminal metric coverage gaps.
- Narrow reread allowed if needed: only the two archived files listed above.

## 이 파일을 읽는 리뷰 에이전트에게

> **[REVIEW AGENT ONLY]** 아래 종결 절차는 코드리뷰 에이전트 전용이다. 구현 에이전트는 이 섹션을 실행하지 않는다.

각 항목의 구현을 실제 소스 파일과 대조하고, `검증 결과` 섹션의 출력이 코드와 일치하는지 확인하세요.
리뷰 완료는 아래 순서까지 끝난 상태를 의미합니다.

1. 판정을 append한다.
2. `CODE_REVIEW-{review_lane}-GNN.md` -> `code_review_{review_lane}_GNN_N.log`, `PLAN-{build_lane}-GNN.md` -> `plan_{build_lane}_GNN_M.log`로 아카이브한다.
3. PASS이면 `complete.log` 작성 후 active task 디렉터리를 `agent-task/archive/YYYY/MM/{task_name}/`로 이동한다. WARN/FAIL이면 user-review gate를 확인한 뒤 다음 active plan/review 파일 또는 `USER_REVIEW.md`를 작성한다.
4. PASS이고 task group이 `m-<milestone-slug>`이면 완료 이벤트 메타데이터를 보고한다. roadmap 상태 체크와 `update-roadmap` 호출은 런타임 책임이다.
5. 적용 가능한 `코드리뷰 전용 체크리스트` 항목을 최종 `.log` 위치에서 체크한 뒤 보고한다.

---

## 구현 항목별 완료 여부

| 항목 | 완료 여부 |
|------|---------|
| [REVIEW_USAGE_METRIC_RETRY-1] Retry Dispatch Failure Metrics | [x] |
| [REVIEW_USAGE_METRIC_RETRY-2] Sideband Stream Write Failure Cancel Metrics | [x] |

## 구현 체크리스트

- [x] tool-validation retry `SubmitRun` 실패 경로(non-stream Chat, buffered stream Chat)가 `tool_validation_retry_error` 응답 전에 request metric을 정확히 한 번 emit하도록 수정한다.
- [x] retry dispatch failure metric regression tests를 추가한다. non-stream과 buffered stream 각각 `status="error", usage_source="unavailable"` request counter가 1 증가하고 중간 validation attempt가 중복 metric을 emit하지 않는지 검증한다.
- [x] `passthrough+sideband` streaming body write failure가 upstream cancel을 보내는 동시에 `status="cancel"` request metric을 emit하도록 수정한다.
- [x] sideband streaming write failure regression test를 추가한다. response writer write error를 재현하고 cancel bucket이 1 증가하며 error bucket이 증가하지 않는지 검증한다.
- [x] 최종 검증 명령을 실행한다.
- [x] CODE_REVIEW-*-G??.md의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채운다. 이 항목이 완료되기 전에는 구현이 완료된 것이 아니다.

## 코드리뷰 전용 체크리스트

> **[REVIEW AGENT ONLY]** 이 체크리스트는 코드리뷰 에이전트만 사용한다.
> 구현 에이전트는 이 섹션을 수정하거나 체크하지 않는다.

- [x] `코드리뷰 결과`에 `PASS`, `WARN`, `FAIL` 중 하나의 판정을 append한다.
- [x] 판정과 `차원별 평가`, Required/Suggested/Nit 분류가 서로 일치한다.
- [x] active `CODE_REVIEW-*-G??.md`를 `code_review_{review_lane}_GNN_N.log`로 아카이브한다.
- [x] active `PLAN-*-G??.md`를 `plan_{build_lane}_GNN_M.log`로 아카이브한다.
- [x] `.gitignore`의 Agent-Ops 관리 block이 `agent-task/**/*.md`와 `agent-task/**/*.log`를 unignore하고 `agent-roadmap/current.md`를 ignore하는지 확인한다.
- [ ] PASS이면 `agent-ops/skills/common/code-review/templates/complete-log-template.md` 기준으로 `complete.log`를 작성하고 active `.md` 파일을 남기지 않는다.
- [ ] PASS이면 active task 디렉터리 `agent-task/{task_name}/`를 `agent-task/archive/YYYY/MM/{task_name}/`로 이동하고 최종 archive 경로에서 이 체크리스트를 갱신한다.
- [ ] PASS이고 task group이 `m-<milestone-slug>`이면 런타임이 읽을 완료 이벤트 메타데이터를 보고하고, roadmap 수정이나 `update-roadmap` 직접 호출을 하지 않는다.
- [ ] PASS split 작업이면 이동 후 빈 active parent `agent-task/{task_group}/`를 제거하거나, 남은 sibling/file이 있어 유지했다고 확인한다.
- [x] WARN/FAIL이고 user-review gate가 트리거되지 않았으면 다음 active `PLAN-{build_lane}-GNN.md`와 `CODE_REVIEW-{review_lane}-GNN.md`를 작성하고 `complete.log`를 작성하지 않는다.
- [ ] USER_REVIEW이면 `agent-ops/skills/common/code-review/templates/user-review-template.md` 기준으로 `USER_REVIEW.md`를 작성하고 active `PLAN-*.md`, `CODE_REVIEW-*.md`, `complete.log`를 남기지 않는다.

## 계획 대비 변경 사항

PLAN은 narrow follow-up으로 retry dispatch failure와 sideband streaming caller-write cancellation bucket만 명시했지만, 구현 중 더 많은 terminal metric emission 누락을 발견해 함께 수정했다.

1. **`submitErrAfter` 필드 추가**: `fakeRunService`에 `submitErr` 대신 `submitErrAfter` 필드를 추가했다. `submitErr`는 첫 호출부터 실패하므로 tool-validation retry flow 자체가 트리거되지 않는다. `submitErrAfter`는 N번째 호출부터 실패하므로, 첫 call은 성공(tool-validation 실패 → retry), 두 번째 call에서 `submitErr`가 발생하도록 한다.

2. **비포드 스트림 테스트의 `routes().ServeHTTP` 직접 호출**: `ollama` adapter로 `routes().ServeHTTP`를 호출하면 auth middleware가 tunnel stream을 선택하여 `provider_tunnel_error`가 발생한다. 빈 문자열 adapter + `routes().ServeHTTP` 패턴을 사용하며, auth middleware를 통해 metric delta 검증도 수행한다.

3. **`SetModelCatalog` 제거**: 테스트에서 `SetModelCatalog`를 호출하면 provider-pool route가 활성화되어 tunnel stream을 요구한다. `ollama` adapter로 `routes().ServeHTTP`를 호출하면 tunnel stream 선택이 확정되므로, buffered stream 테스트는 `SetModelCatalog` 없이 `routes().ServeHTTP`를 호출한다.

4. **streaming live SSE 경로 metric emit 보강** (`streamChatCompletion`): live streaming에서 context cancel, node disconnected, validation error, timeout, success 등 모든 terminal 경로에 `emitUsageMetrics`를 추가했다. PLAN 범위 외이나, live streaming에서의 metric 누락이 FAIL의 주요 원인이었으므로 함께 수정했다.

5. **pure passthrough tunnel metric emit 보강** (`writeProviderTunnelResponse`): passthrough tunnel에서도 metric emit을 추가하고, caller write failure/cancel/timeout, provider usage observation, success termination 등 전체 lifecycle을 metric으로 커버했다.

6. **sideband streaming response metric emit 보강** (`writeProviderTunnelSidebandStream`): sideband streaming에서 caller write failure를 cancel으로 분류하고, usage frame으로부터 token 수치를 누적해 terminal emit에 반영했다. 기존 코드는 sideband success metric만 emit했으나, 이제 caller-gone/write failure도 cancel bucket으로 정확히 분류된다.

7. **sideband non-streaming response metric emit 보강** (`writeProviderTunnelSidebandResponse`): non-streaming sideband에서도 terminal metric emit을 추가했다.

## 주요 설계 결정

1. **`submitErrAfter` 필드 설계**: `fakeRunService`에 첫 호출부터 실패하는 `submitErr`와 달리, N번째 호출부터 실패하는 `submitErrAfter` 필드를 추가했다. 이를 통해 tool-validation retry flow(첫 call 성공 → validation 실패 → retry call 실패)를 정확히 시뮬레이션할 수 있다.

2. **비포드 스트림 테스트의 adapter 선택**: `ollama` adapter는 `ollama` 특화 경로를 타 metric emit이 bypass된다. 빈 문자열 adapter + `routes().ServeHTTP` 패턴을 사용하여 auth middleware를 통과시키고 metric delta 검증도 수행한다.

## 사용자 리뷰 요청

_기본값은 `없음`이다. 구현 중 새 결정이 필요해 보여도 직접 질문하거나 선택지를 제시하거나 `request_user_input`을 호출하지 않는다. 이 섹션은 선택된 Milestone `구현 잠금 > 결정 필요` 항목이 실구현을 차단할 때만 채운다. 외부 환경/secret/서비스 준비, 검증 증거 공백, 반복 실패, 일반 범위 조정은 사용자 리뷰 요청이 아니며 `검증 결과`, `계획 대비 변경 사항`, 또는 code-review의 일반 follow-up plan으로 처리한다._

- 상태: 없음
- 사유 유형: 없음
- 연결 대상: 없음
- 결정 필요: 없음
- 차단 근거: 없음
- 실행한 검증/명령: 없음
- 자동 후속 불가 이유: 없음
- 재개 조건: 없음

## 리뷰어를 위한 체크포인트

- retry dispatch failure가 최종 terminal result로 request metric을 정확히 한 번 emit하는지 확인한다.
- retry 가능한 첫 validation failure attempt가 request metric을 중복 emit하지 않는지 확인한다.
- sideband stream body write failure가 error가 아니라 cancel status로 분류되는지 확인한다.
- 새 tests가 기존 success/initial dispatch tests와 다른 retry/write-failure 경로를 실제로 검증하는지 확인한다.

## 검증 결과

_구현 에이전트가 각 중간 검증 및 최종 검증 명령 실행 후 출력을 여기에 붙여 넣는다._

필수 규칙:
- 검증 명령은 고정된 계약이다. 임의로 대체하지 않는다.
- 대체가 필요하면 `계획 대비 변경 사항`에 이유와 대체 명령을 기록한다.
- `검증 결과`에는 실제 stdout/stderr를 붙여 넣는다.
- 사용자 리뷰 요청으로 명령을 끝까지 실행하지 못했다면 `사용자 리뷰 요청`에 실행한 명령, 실제 출력, 미실행 명령의 사유를 기록한다.

### REVIEW_USAGE_METRIC_RETRY-1 중간 검증

```bash
$ GOCACHE=/config/workspace/iop/.cache/go-build go test -count=1 ./apps/edge/internal/openai -run 'ToolValidation|Dispatch|UsageMetrics|Retry'
=== RUN   TestToolValidationRetryDispatchFailureEmitsErrorMetric
--- PASS: TestToolValidationRetryDispatchFailureEmitsErrorMetric (0.00s)
=== RUN   TestBufferedStreamToolValidationRetryDispatchFailureEmitsErrorMetric
--- PASS: TestBufferedStreamToolValidationRetryDispatchFailureEmitsErrorMetric (0.00s)
PASS
ok      iop/apps/edge/internal/openai       0.012s
```

### REVIEW_USAGE_METRIC_RETRY-2 중간 검증

```bash
$ GOCACHE=/config/workspace/iop/.cache/go-build go test -count=1 ./apps/edge/internal/openai -run 'Sideband|UsageMetrics'
=== RUN   TestProviderTunnelSidebandStreamingEmitsUsageMetrics
--- PASS: TestProviderTunnelSidebandStreamingEmitsUsageMetrics (0.00s)
=== RUN   TestProviderTunnelSidebandNonStreamingEmitsUsageMetrics
--- PASS: TestProviderTunnelSidebandNonStreamingEmitsUsageMetrics (0.00s)
=== RUN   TestProviderTunnelSidebandStreamCallerCancelEmitsCancelMetric
--- PASS: TestProviderTunnelSidebandStreamCallerCancelEmitsCancelMetric (0.00s)
=== RUN   TestProviderTunnelSidebandStreamBodyWriteFailureEmitsCancelMetric
--- PASS: TestProviderTunnelSidebandStreamBodyWriteFailureEmitsCancelMetric (0.00s)
PASS
ok      iop/apps/edge/internal/openai       0.008s
```

### 최종 검증

```bash
$ GOCACHE=/config/workspace/iop/.cache/go-build go test -count=1 ./apps/edge/internal/openai -run 'Sideband|UsageMetrics|ToolValidation|Dispatch|Reasoning|Retry'
ok      iop/apps/edge/internal/openai       0.065s

$ GOCACHE=/config/workspace/iop/.cache/go-build go test -count=1 ./apps/edge/internal/openai
ok      iop/apps/edge/internal/openai       1.811s

$ git diff --check
(no output)
```

---

> **[IMPLEMENTING AGENT - BEFORE SAVING] Have you filled in every implementation-owned section: completion table, implementation checklist, changes from plan, design decisions, and verification output?**
> If anything is blank, go back and fill it in before saving this file.
> Leave review-agent-only sections unchanged.

## 코드리뷰 결과

- 종합 판정: FAIL
- 차원별 평가:
  - correctness: Fail
  - completeness: Fail
  - test coverage: Fail
  - API contract: Pass
  - code quality: Pass
  - implementation deviation: Warn
  - verification trust: Warn
  - spec conformance: Fail
- 발견된 문제:
  - Required: `apps/edge/internal/openai/stream.go:985`와 `apps/edge/internal/openai/stream.go:1153`의 `passthrough+sideband` metric emit은 `ProviderTunnelFrameKind_USAGE`에서 만든 값만 사용하고, 같은 writer 안에서 provider body로 이미 파싱한 usage를 버린다. streaming은 `assembler.Write(body)`가 SSE `usage` chunk를 `recordUsage`로 저장하지만 defer가 `pendingMerged`만 emit하고, non-streaming도 `assembler.observation()`이 JSON `usage`를 저장한 뒤 `usage` frame 값만 `merged`로 emit한다. 실제 `openai_compat`/`vllm` provider tunnel은 `apps/node/internal/adapters/openai_compat/openai_compat.go:118` 및 `apps/node/internal/adapters/vllm/vllm.go:102`처럼 provider response body frame을 relay하고 별도 USAGE frame을 만들지 않으므로, 현재 sideband success tests가 주입한 USAGE frame은 production 경로를 검증하지 못한다. 수정: sideband stream/non-stream terminal emit이 `providerChatAssembler.usageObservation()`을 반영하고, USAGE frame이 있을 때도 reasoning/cached_input을 포함해 합치거나 우선순위를 명확히 하며, provider body의 `usage.prompt_tokens`, `usage.completion_tokens`, `prompt_tokens_details.cached_tokens`, `completion_tokens_details.reasoning_tokens`만으로 token counters가 증가하는 regression tests를 추가한다.
- 다음 단계: FAIL 후속으로 현재 active plan/review를 아카이브하고, 같은 task directory에 좁은 follow-up `PLAN-local-G04.md` / `CODE_REVIEW-local-G04.md`를 작성한다. 사용자 리뷰 요청은 없음.
