<!-- task=m-usage-token-log-ops-mvp/02+01_usage_metrics plan=0 tag=USAGE_METRIC -->

# Code Review Reference - USAGE_METRIC

> **[IMPLEMENTING AGENT - READ FIRST] Filling in this file is the mandatory final step of implementation.**
> The task is NOT complete until every implementation-owned section below is filled in.
> Complete the `구현 체크리스트`; the final checklist item is mandatory before saving.
> Fill implementation-owned sections, then stop with active files in place and report ready for review.
> If implementation is blocked by a selected Milestone `구현 잠금 > 결정 필요` item, fill `사용자 리뷰 요청` with linked evidence and stop with active files in place; code-review decides whether to write `USER_REVIEW.md`. Environment/secret/service blockers, generic scope changes, repeated failures, and evidence gaps that a follow-up agent can close are normal follow-up issues, not user-review blockers by themselves.
> Do not ask the user directly, present choices in chat, or call `request_user_input` during implementation; record only Milestone lock decisions in `사용자 리뷰 요청` and stop for code-review.
> Finalization (`코드리뷰 결과`, log rename, `complete.log`, archive moves, `코드리뷰 전용 체크리스트`) is review-agent-only, even after compaction/resume.
> Follow the ownership table at the bottom of this file for which sections you own.

## 개요

date=2026-07-09
task=m-usage-token-log-ops-mvp/02+01_usage_metrics, plan=0, tag=USAGE_METRIC

## Roadmap Targets

- Milestone: `agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md`
- Milestone link: [Milestone 문서](agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md)
- Task ids:
  - `openai-scope`: 1차 metric 대상은 OpenAI-compatible 호출로 제한한다.
  - `passthrough-safe`: pure `passthrough` response body를 바꾸지 않고 Edge 내부 metric만 emit한다.
  - `token-breakdown`: input/output/reasoning/cached_input token type을 구분한다.
  - `reasoning-observed`: provider가 reasoning token을 보고하지 않으면 token 추정 없이 보조 metric만 남긴다.
  - `prometheus-metrics`: low-cardinality Prometheus counter와 label allowlist를 구현한다.
- Completion mode: check-on-pass

## 이 파일을 읽는 리뷰 에이전트에게

> **[REVIEW AGENT ONLY]** 아래 종결 절차는 코드리뷰 에이전트 전용이다. 구현 에이전트는 이 섹션을 실행하지 않는다.

각 항목의 구현을 실제 소스 파일과 대조하고, `검증 결과` 섹션의 출력이 코드와 일치하는지 확인하세요.
리뷰 완료는 아래 순서까지 끝난 상태를 의미합니다.

1. 판정을 append한다.
2. `CODE_REVIEW-cloud-G07.md` -> `code_review_cloud_G07_N.log`, `PLAN-cloud-G07.md` -> `plan_cloud_G07_M.log`로 아카이브한다.
3. PASS이면 `complete.log` 작성 후 active task 디렉터리를 `agent-task/archive/YYYY/MM/m-usage-token-log-ops-mvp/02+01_usage_metrics/`로 이동한다.
4. PASS complete.log에는 `Roadmap Completion` 섹션을 포함하고 completed task ids로 `openai-scope`, `passthrough-safe`, `token-breakdown`, `reasoning-observed`, `prometheus-metrics`를 적는다.
5. PASS이고 task group이 `m-usage-token-log-ops-mvp`이면 완료 이벤트 메타데이터를 보고한다. roadmap 수정이나 `update-roadmap` 직접 호출은 런타임 책임이다.

---

## 구현 항목별 완료 여부

| 항목 | 완료 여부 |
|------|---------|
| [USAGE_METRIC-1] Runtime Usage Schema | [x] |
| [USAGE_METRIC-2] Provider Usage Parsing | [x] |
| [USAGE_METRIC-3] Prometheus Metric Emit | [x] |

## 구현 체크리스트

- [x] 선행 `01_identity_alias_auth`의 active 또는 same-task-group archive `complete.log`와 PASS evidence를 확인한다. (`agent-task/archive/2026/07/m-usage-token-log-ops-mvp/01_identity_alias_auth/complete.log`에서 `identity-scope`, `token-alias` 모두 PASS 확인)
- [x] Runtime usage schema를 `reasoning_tokens`, `cached_input_tokens`까지 확장하고 Go generated code를 갱신한다. (`proto/iop/runtime.proto` `Usage` 필드 3/4 추가, `make proto`로 `proto/gen/iop/runtime.pb.go` 재생성)
- [x] Node adapters와 Edge usage mapping이 input/output/reasoning/cached_input을 보존하도록 수정한다. (`runtime.UsageStats`, `node.go` tunnel/session sink, `openai_compat`/`vllm` adapter, Edge `openAIUsage`/`run_result.go`)
- [x] pure passthrough response body를 바꾸지 않는 provider usage 관측 경로를 추가한다. (`stream.go` `providerChatAssembler.recordUsage`/`recordProtoUsage`, body byte-identity 유지)
- [x] OpenAI-compatible 경로 전용 Prometheus collectors와 label allowlist test를 추가한다. (`usage_metrics.go`, `usage_metrics_test.go`)
- [x] reasoning token 미보고 시 token 추정 없이 보조 metric만 emit하는 test를 추가한다. (`TestOpenAIReasoningObservedDoesNotEstimateTokens`)
- [x] 최종 검증 명령을 실행한다. (아래 `검증 결과` 참조)
- [x] CODE_REVIEW-*-G??.md의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채운다. 이 항목이 완료되기 전에는 구현이 완료된 것이 아니다.

## 코드리뷰 전용 체크리스트

> **[REVIEW AGENT ONLY]** 이 체크리스트는 코드리뷰 에이전트만 사용한다.
> 구현 에이전트는 이 섹션을 수정하거나 체크하지 않는다.

- [x] `코드리뷰 결과`에 `PASS`, `WARN`, `FAIL` 중 하나의 판정을 append한다.
- [x] active `CODE_REVIEW-*-G??.md`와 `PLAN-*-G??.md`를 `.log`로 아카이브한다.
- [ ] PASS이면 `complete.log`를 작성하고 active `.md` 파일을 남기지 않는다.
- [ ] PASS이면 active task 디렉터리를 archive로 이동한다.
- [ ] PASS이고 task group이 `m-usage-token-log-ops-mvp`이면 완료 이벤트 메타데이터를 보고하고 roadmap을 직접 수정하지 않는다.

## 계획 대비 변경 사항

- **OpenAI 응답 body 불변 유지**: 계획은 "OpenAI-compatible response usage 구조와 mapping을 확장"을 제시했으나, 외부 응답 계약을 바꾸지 않기 위해 `openAIUsage`의 `ReasoningTokens`/`CachedInputTokens`를 `json:"-"` 내부 필드로만 추가했다. 응답 JSON(`prompt_tokens`/`completion_tokens`/`total_tokens`)은 그대로 두고 metric 관측에만 사용한다. normalized 경로도 passthrough-safe하게 유지된다.
- **helper 명명 조정**: 계획의 후보 helper(`providerUsageFromJSON`, `providerUsageFromSSEData`, `openAIUsageMetrics`, `usageLabelValues`)는 실제 코드 흐름에 맞춰 `providerChatAssembler.recordUsage`(SSE/non-stream JSON), `recordProtoUsage`(USAGE frame), `usageObservation`(struct), `emitUsageMetrics`, `usageLabels.reasoningValues`로 구현했다. 기능 범위는 동일하다.
- **usage_source 배치**: `usage_source`(provider_reported/unavailable)는 `iop_openai_usage_tokens_total`이 아니라 `iop_openai_requests_total` label로 두었다. token counter는 token type별로 관측값이 있을 때만 증가하므로, "usage 없이 terminal된 요청"(SDD line 52)을 request counter의 `unavailable` source로 표현하는 것이 자연스럽다.
- **테스트 배치**: `TestProviderUsageParsesReasoningAndCachedInputTokens`는 계획대로 adapter별로 두되, Edge passthrough 관측은 `TestProviderTunnelPassthroughPreservesBodyAndObservesUsage`(Edge openai 패키지)로 검증했다.

## 주요 설계 결정

- **proto3 plain int32 사용**: `Usage.reasoning_tokens=3`, `cached_input_tokens=4`를 `optional` 없이 plain int32로 추가했다. "provider_reported vs unavailable" 판별은 wire presence가 아니라 관측값 `> 0` 휴리스틱으로 처리한다. token counter는 값이 0이면 series를 만들지 않으므로 reported-0과 unreported를 구분할 실익이 없고, reasoning-observed(S07) 케이스는 정확히 `reasoning_tokens==0 && reasoningChars>0`으로 잡힌다.
- **Prometheus 등록 방식**: `usage_metrics.go`에서 `promauto.NewCounterVec`로 default registry에 package-level counter를 등록한다. 기존 `packages/go/observability.ServeMetrics`의 `promhttp.Handler()`(default registry)로 `/metrics`에 그대로 노출된다.
- **reasoning token 미추정 보장**: `emitUsageMetrics`는 `obs.reasoningChars > 0 && obs.reasoningTokens == 0`일 때만 `iop_openai_reasoning_observed_total`/`iop_openai_reasoning_chars_total`을 올리고, token counter(`token_type="reasoning"`)에는 절대 char 기반 추정치를 넣지 않는다 (SDD S07).
- **passthrough body byte-identity**: pure passthrough 경로에서 provider usage는 body(JSON/SSE), USAGE frame에서 관측만 하고 응답 byte를 바꾸지 않는다. metric emit은 기존 `defer`에 `metricStatus` 추적을 더해 단일 지점으로 모았다.
- **edge_id 주입**: `Server.SetEdgeID`를 추가하고 `input.NewManager`에서 `cfg.Edge.ID`를 전달한다. label allowlist(`edge_id`, `principal_ref`, `principal_alias`, `token_ref`, `model_group`, `endpoint`, `response_mode`, `status`, `usage_source`, `token_type`)는 raw token/prompt/response/request_id/session_id를 배제한다 (SDD S08).
- **scope 제한**: metric emit은 `chat.completions`/`responses` OpenAI-compatible 경로에만 연결했고 A2A/CLI/local-only 표면은 건드리지 않았다 (SDD S04). `usage_metrics.go`는 A2A/CLI 패키지에서 import되지 않는다.

## 사용자 리뷰 요청

_기본값은 `없음`이다. 구현 중 새 결정이 필요해 보여도 직접 질문하거나 선택지를 제시하거나 `request_user_input`을 호출하지 않는다. 이 섹션은 선택된 Milestone `구현 잠금 > 결정 필요` 항목이 실구현을 차단할 때만 채운다. 외부 환경/secret/서비스 준비, 검증 증거 공백, 반복 실패, 일반 범위 조정은 사용자 리뷰 요청이 아니며 `검증 결과`, `계획 대비 변경 사항`, 또는 code-review의 일반 follow-up plan으로 처리한다._

- 상태: 없음
- 사유 유형: 없음
- 연결 대상: 없음
- 결정 필요: 없음
- 차단 근거: 없음
- 실행한 검증/명령: 없음
- 자동 후속 불가 이유: 없음
- 재개 조건: 없음

## 리뷰어를 위한 체크포인트

- pure `passthrough` response body에 IOP field/event가 추가되지 않았는지 확인한다.
- `iop_openai_usage_tokens_total`에 provider-reported token type만 들어가고 reasoning token 추정이 없는지 확인한다.
- Prometheus labels에 raw token, provider token, request_id, session_id, raw prompt/response가 없는지 확인한다.
- metric emit이 OpenAI-compatible 경로에만 연결되고 A2A/CLI/local-only usage로 확장되지 않았는지 확인한다.
- proto/generated Go 변경과 adapter mapping이 서로 맞는지 확인한다.

## 검증 결과

환경 참고: 이 환경의 default `GOCACHE`(`/config/.cache/go-build`)는 쓰기 권한이 없어, 선행 subtask와 동일하게 repo-local `GOCACHE=/config/workspace/iop/.cache/go-build`로 실행했다.

### USAGE_METRIC-1 중간 검증
```bash
$ make proto
protoc --go_out=. --go_opt=module=iop --proto_path=. \
  proto/iop/runtime.proto proto/iop/node.proto proto/iop/control.proto proto/iop/job.proto
# proto/gen/iop/runtime.pb.go에 GetReasoningTokens()/GetCachedInputTokens() 생성 확인
$ go test -count=1 ./apps/node/internal/node ./apps/edge/internal/openai
ok  	iop/apps/node/internal/node	1.152s
ok  	iop/apps/edge/internal/openai	2.146s
```

### USAGE_METRIC-2 중간 검증
```bash
$ go test -count=1 ./apps/node/internal/adapters/openai_compat ./apps/node/internal/adapters/vllm ./apps/edge/internal/openai -run 'Usage|Passthrough|Reasoning|Cached'
--- PASS: TestOpenAICompatExecuteParsesReasoningAndCachedInputTokens (0.00s)
--- PASS: TestVllmExecuteParsesReasoningAndCachedInputTokens (0.00s)
--- PASS: TestProviderTunnelPassthroughPreservesBodyAndObservesUsage (0.00s)
ok  	iop/apps/edge/internal/openai
ok  	iop/apps/node/internal/adapters/openai_compat
ok  	iop/apps/node/internal/adapters/vllm
```

### USAGE_METRIC-3 중간 검증
```bash
$ go test -count=1 ./apps/edge/internal/openai -run 'Metric|Usage|Reasoning|Scope'
--- PASS: TestOpenAIUsageMetricsLabelsExcludeSecretsAndHighCardinality (0.00s)
--- PASS: TestOpenAIUsageMetricsCountTokenTypes (0.00s)
--- PASS: TestOpenAIReasoningObservedDoesNotEstimateTokens (0.00s)
--- PASS: TestOpenAIScopeExcludesA2AAndNonOpenAISurfaces (0.00s)
ok  	iop/apps/edge/internal/openai	0.448s
```

### 최종 검증
```bash
$ make proto
protoc --go_out=. --go_opt=module=iop --proto_path=. \
  proto/iop/runtime.proto proto/iop/node.proto proto/iop/control.proto proto/iop/job.proto

$ go test -count=1 ./apps/edge/internal/openai ./apps/node/internal/node ./apps/node/internal/adapters/openai_compat ./apps/node/internal/adapters/vllm
ok  	iop/apps/edge/internal/openai	2.146s
ok  	iop/apps/node/internal/node	1.152s
ok  	iop/apps/node/internal/adapters/openai_compat	0.196s
ok  	iop/apps/node/internal/adapters/vllm	0.186s

$ go test -count=1 ./apps/edge/... ./apps/node/...
# 이 change가 건드린 모든 패키지 PASS. 실패는 apps/node/internal/adapters/cli의
# 실프로세스 cancel/timeout blackbox 테스트와 apps/edge/internal/service의
# TestModelQueueReasonCapacityFull에서 load/timing에 따라 run마다 다른 테스트가
# 간헐 실패(각각 isolation 재실행 시 PASS). 이 두 패키지는 본 change에서 수정하지 않았다.
# 확인 재실행(isolation):
#   go test -count=1 ./apps/edge/internal/service -run TestModelQueueReasonCapacityFull  -> ok 0.090s
#   go test -count=1 ./apps/node/internal/adapters/cli -run 'TimeoutEmitsTimeoutMessage|UserCancelEmitsUserCancelMessage' -> ok

$ git diff --check
# 출력 없음 (clean)
```

검증 증거 공백: `apps/node/internal/adapters/cli` 실프로세스 blackbox 테스트와 `apps/edge/internal/service` 큐 용량 테스트의 load-sensitive 간헐 실패는 본 change 범위 밖(해당 패키지 미수정)이며 isolation에서 재현되지 않는다. 일반 후속 flaky-test 이슈로 기록한다.

---

> **[IMPLEMENTING AGENT - BEFORE SAVING] Have you filled in every implementation-owned section: completion table, implementation checklist, changes from plan, design decisions, and verification output?**

## 코드리뷰 결과

### 종합 판정

FAIL

### 차원별 평가

| 차원 | 평가 | 근거 |
|------|------|------|
| Correctness | Fail | 일부 OpenAI-compatible terminal 경로가 `iop_openai_requests_total` / usage metric을 emit하지 않는다. |
| Completeness | Fail | SDD S04/S06/S08의 OpenAI-compatible request count/status/usage 적용 범위가 sideband/error 경로까지 닫히지 않았다. |
| Test coverage | Fail | 새 metric tests가 success/pure passthrough 위주라 sideband와 terminal error 누락을 잡지 못한다. |
| API contract | Fail | 승인 SDD의 metric contract가 모든 OpenAI-compatible terminal status를 요구하지만 일부 표면이 누락된다. |
| Code quality | Pass | 변경 구조 자체는 좁고 명확하며 debug print나 무관한 리팩터링은 보이지 않는다. |
| 구현 이탈 | Fail | 계획의 `request terminal status별 iop_openai_requests_total` 증가 요구가 일부 경로에서 빠졌다. |
| Verification trust | Warn | 계획에 적힌 대상 테스트와 넓은 Go 테스트는 현재 checkout에서 통과했지만, 누락 경로를 검증하는 테스트가 없다. |
| Spec conformance | Fail | SDD S04/S06/S08 Evidence Map 기준으로 sideband/error terminal coverage가 부족하다. |

### 발견된 문제

- Required: `apps/edge/internal/openai/stream.go:963`와 `apps/edge/internal/openai/stream.go:1099`의 `passthrough+sideband` writer들은 성공/오류/취소/timeout 종료 시 `emitUsageMetrics`를 호출하지 않는다. 이 경로도 OpenAI-compatible Chat Completions이고 provider usage/assembled observation을 이미 처리하므로, pure passthrough와 동일하게 `response_mode="passthrough+sideband"` labels로 request counter와 token/reasoning counters를 emit해야 한다. 스트리밍/논스트리밍 sideband 모두 terminal status를 추적하고, body usage와 `PROVIDER_TUNNEL_FRAME_KIND_USAGE` usage를 `usageObservation`에 반영하는 regression test를 추가한다.
- Required: `apps/edge/internal/openai/chat_handler.go:488`와 `apps/edge/internal/openai/stream.go:235`에서 tool validation error로 종료할 때 request metric을 emit하지 않는다. 또한 `apps/edge/internal/openai/chat_handler.go:144`, `apps/edge/internal/openai/responses_handler.go:129`, `apps/edge/internal/openai/stream.go:392` 같은 dispatch 실패도 OpenAI-compatible terminal error지만 counter가 증가하지 않는다. 모든 post-auth OpenAI-compatible terminal error/cancel/success 경로가 정확히 한 번 `iop_openai_requests_total`을 증가하도록 정리하고, validation failure 및 dispatch failure 테스트를 추가한다.

### 검증 재실행

```bash
$ make proto
protoc \
	--go_out=. \
	--go_opt=module=iop \
	--proto_path=. \
	proto/iop/runtime.proto \
	proto/iop/node.proto \
	proto/iop/control.proto \
	proto/iop/job.proto

$ GOCACHE=/config/workspace/iop/.cache/go-build go test -count=1 ./apps/edge/internal/openai ./apps/node/internal/node ./apps/node/internal/adapters/openai_compat ./apps/node/internal/adapters/vllm
ok  	iop/apps/edge/internal/openai	2.354s
ok  	iop/apps/node/internal/node	0.877s
ok  	iop/apps/node/internal/adapters/openai_compat	0.123s
ok  	iop/apps/node/internal/adapters/vllm	0.129s

$ GOCACHE=/config/workspace/iop/.cache/go-build go test -count=1 ./apps/edge/... ./apps/node/...
ok  	iop/apps/edge/... and iop/apps/node/... (all listed packages passed; longest packages included apps/node/internal/adapters/cli 56.263s and cli/status 45.296s)

$ git diff --check
# 출력 없음
```

### 다음 단계

FAIL 후속 plan/review를 작성한다. 사용자 리뷰 요청은 없음.
