<!-- task=m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs plan=1 tag=REVIEW_USAGE_GRAFANA -->

# Code Review Reference - REVIEW_USAGE_GRAFANA

> **[IMPLEMENTING AGENT - READ FIRST] Filling in this file is the mandatory final step of implementation.**
> The task is NOT complete until every implementation-owned section below is filled in.
> Complete the `구현 체크리스트`; the final checklist item is mandatory before saving.
> Fill implementation-owned sections, then stop with active files in place and report ready for review.
> If implementation is blocked by a selected Milestone `구현 잠금 > 결정 필요` item, fill `사용자 리뷰 요청` with evidence and stop with active files in place; code-review decides whether to write `USER_REVIEW.md`. Environment/secret/service setup, generic scope conflicts, loop exhaustion, and evidence gaps that a follow-up agent can close are normal follow-up issues, not user-review blockers by themselves.
> Do not ask the user directly, present choices in chat, or call `request_user_input` during implementation; record only the linked Milestone lock decision in `사용자 리뷰 요청` and stop for code-review.
> Finalization (`코드리뷰 결과`, log rename, `complete.log`, archive moves, `코드리뷰 전용 체크리스트`) is review-agent-only, even after compaction/resume.
> Follow the ownership table at the bottom of this file for which sections you own.

## 개요

date=2026-07-10
task=m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs, plan=1, tag=REVIEW_USAGE_GRAFANA

## Roadmap Targets

- Milestone: `agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md`
- Milestone link: [Milestone 문서](agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md)
- Task ids:
  - `grafana-surface`: Grafana query를 1차 조회 표면으로 둔다.
  - `limit-followup`: 제한 enforcement는 후속 범위로 남기고 daily/monthly rollup 기준을 문서화한다.
- Completion mode: check-on-pass

## Archive Evidence Snapshot

- Current archived plan: `agent-task/m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs/plan_local_G03_0.log`
- Current archived review: `agent-task/m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs/code_review_local_G03_0.log`
- Verdict: FAIL
- Required summary:
  - `docs/openai-usage-grafana.md:166`: daily/monthly rollup examples are presented as PromQL, but `increment()` is not a Prometheus standard function.
  - `docs/openai-usage-grafana.md:170-175`: fallback example combines aggregation modifiers and raw counter snapshots, so it is not a valid daily delta rollup.
  - `docs/openai-usage-grafana.md:191`: `sum_over_time()` over a raw counter is not a 30-day usage increase and does not satisfy reusable limit follow-up evidence.
- Suggested summary:
  - `docs/openai-usage-grafana.md:150`: dashboard legend uses `{{token_type}}`, but the query groups only by `principal_alias`.
- Affected files:
  - `docs/openai-usage-grafana.md`
- Verification evidence from previous loop:
  - `rg --fixed-strings "iop_openai_usage_tokens_total" docs/openai-usage-grafana.md` - PASS; showed metric examples and the problematic rollup lines.
  - `rg --fixed-strings "daily" docs/openai-usage-grafana.md` - PASS; only string presence, not PromQL validity.
  - `rg --fixed-strings "monthly" docs/openai-usage-grafana.md` - PASS; only string presence, not PromQL validity.
  - `git diff --check` - PASS; no output.
- Roadmap carryover:
  - Keep `grafana-surface` and `limit-followup` as target task ids.
  - Do not update `agent-roadmap/**` from this implementation or review loop.
- Narrow archive reread allowed if needed:
  - `agent-task/m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs/plan_local_G03_0.log`
  - `agent-task/m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs/code_review_local_G03_0.log`

## 이 파일을 읽는 리뷰 에이전트에게

> **[REVIEW AGENT ONLY]** 아래 종결 절차는 코드리뷰 에이전트 전용이다. 구현 에이전트는 이 섹션을 실행하지 않는다.

각 항목의 구현을 실제 문서와 대조하고, `검증 결과` 섹션의 출력이 문서와 일치하는지 확인하세요.
리뷰 완료는 아래 순서까지 끝난 상태를 의미합니다.

1. 판정을 append한다.
2. `CODE_REVIEW-local-G03.md` -> `code_review_local_G03_N.log`, `PLAN-local-G03.md` -> `plan_local_G03_M.log`로 아카이브한다.
3. PASS이면 `complete.log` 작성 후 active task 디렉터리를 `agent-task/archive/YYYY/MM/m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs/`로 이동한다. WARN/FAIL이면 user-review gate를 확인한 뒤 다음 active plan/review 파일 또는 `USER_REVIEW.md`를 작성한다.
4. PASS complete.log에는 `Roadmap Completion` 섹션을 포함하고 completed task ids로 `grafana-surface`, `limit-followup`을 적는다.
5. PASS이고 task group이 `m-usage-token-log-ops-mvp`이면 완료 이벤트 메타데이터를 보고한다. roadmap 수정이나 `update-roadmap` 직접 호출은 런타임 책임이다.

---

## 구현 항목별 완료 여부

| 항목 | 완료 여부 |
|------|---------|
| [REVIEW_USAGE_GRAFANA-1] Prometheus Rollup Correction | [x] |
| [REVIEW_USAGE_GRAFANA-2] Dashboard Token Type Label Alignment | [x] |

## 구현 체크리스트

- [x] `docs/openai-usage-grafana.md` daily/monthly rollup PromQL을 `increase()` 기반 counter delta query로 수정한다.
- [x] `docs/openai-usage-grafana.md`에서 `increment()`, invalid `by`/`without` 혼합, raw counter `sum_over_time()` 대안을 제거하거나 Prometheus query가 아닌 설명으로 분리한다.
- [x] daily/monthly rollup query가 `principal_alias`/`principal_ref`/`token_ref`/`model_group`/`token_type` 기준 재사용 예시를 포함하도록 보강한다.
- [x] 사용자별 token 사용량 dashboard panel query가 legend에 쓰는 `token_type` label을 보존하도록 수정한다.
- [x] 검증 명령을 실행한다.
- [x] CODE_REVIEW-*-G??.md의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채운다. 이 항목이 완료되기 전에는 구현이 완료된 것이 아니다.

## 코드리뷰 전용 체크리스트

> **[REVIEW AGENT ONLY]** 이 체크리스트는 코드리뷰 에이전트만 사용한다.
> 구현 에이전트는 이 섹션을 수정하거나 체크하지 않는다.

- [x] `코드리뷰 결과`에 `PASS`, `WARN`, `FAIL` 중 하나의 판정을 append한다.
- [x] 판정과 `차원별 평가`, Required/Suggested/Nit 분류가 서로 일치한다.
- [x] active `CODE_REVIEW-*-G??.md`를 `code_review_{review_lane}_GNN_N.log`로 아카이브한다.
- [x] active `PLAN-*-G??.md`를 `plan_{build_lane}_GNN_M.log`로 아카이브한다.
- [x] `.gitignore`의 Agent-Ops 관리 block이 `agent-task/**/*.md`와 `agent-task/**/*.log`를 unignore하고 `agent-roadmap/current.md`를 ignore하는지 확인한다.
- [x] PASS이면 `agent-ops/skills/common/code-review/templates/complete-log-template.md` 기준으로 `complete.log`를 작성하고 active `.md` 파일을 남기지 않는다.
- [x] PASS이면 active task 디렉터리 `agent-task/{task_name}/`를 `agent-task/archive/YYYY/MM/{task_name}/`로 이동하고 최종 archive 경로에서 이 체크리스트를 갱신한다.
- [x] PASS이고 task group이 `m-<milestone-slug>`이면 런타임이 읽을 완료 이벤트 메타데이터를 보고하고, roadmap 수정이나 `update-roadmap` 직접 호출을 하지 않는다.
- [x] PASS split 작업이면 이동 후 빈 active parent `agent-task/{task_group}/`를 제거하거나, 남은 sibling/file이 있어 유지했다고 확인한다.
- [ ] WARN/FAIL이고 user-review gate가 트리거되지 않았으면 다음 active `PLAN-{build_lane}-GNN.md`와 `CODE_REVIEW-{review_lane}-GNN.md`를 작성하고 `complete.log`를 작성하지 않는다.
- [ ] USER_REVIEW이면 `agent-ops/skills/common/code-review/templates/user-review-template.md` 기준으로 `USER_REVIEW.md`를 작성하고 active `PLAN-*.md`, `CODE_REVIEW-*.md`, `complete.log`를 남기지 않는다.
- [ ] USER_REVIEW가 연결된 Milestone 결정으로 완료/PASS 해소되면 `USER_REVIEW.md`를 해소 상태로 갱신하고 `complete.log`를 작성한 뒤 task directory를 archive로 이동한다.

## 계획 대비 변경 사항

계획과 동일하게 구현했다. 추가 변경은 없다.

## 주요 설계 결정

- `increment()` 비표시 함수를 Prometheus 표준 `increase()`로 치환했다.
- `by`/`without` 혼합 및 raw counter snapshot fallback은 PromQL로 유효하지 않아 설명 중심의 Grafana `by time` aggregation 대안으로 대체했다.
- `sum_over_time()` over raw counter는 30일 증가분이 아니므로 Grafana 범용 aggregation 설명으로 교체했다.
- dashboard panel query에 `token_type`을 `by` clause에 추가해 legend와 label 일치성을 보장했다.

## 사용자 리뷰 요청

_기본값은 `없음`이다. 구현 중 새 결정이 필요해 보여도 직접 질문하거나 선택지를 제시하거나 `request_user_input`을 호출하지 않는다. 이 섹션은 선택된 Milestone `구현 잠금 > 결정 필요` 항목이 실구현을 차단할 때만 채운다. 외부 환경/secret/서비스 준비, 검증 증거 공백, 반복 실패, 일반 범위 조정은 사용자 리뷰 요청이 아니며 `검증 결과`, `계획 대비 변경 사항`, 또는 code-review의 일반 follow-up plan으로 처리한다._

- 상태: 없음
- 사유 유형: 없음
- 연결 대상: 없음
- 결정 필요: 없음
- 차단 근거: 없음
- 실행한 검증/명령: 없음
- 자동 후속 불가 이유: 없음
- 재개 조건: 없음

## 리뷰어를 위한 체크포인트

- daily/monthly rollup query가 Prometheus counter 증가분 계산에 맞는 `increase()` 기반인지 확인한다.
- 후속 limit policy 재사용 기준으로 `principal_ref`, `token_ref`, `model_group`, `token_type` grouping이 문서화되어 있는지 확인한다.
- `increment()`, invalid `by`/`without` 혼합, raw counter `sum_over_time()`가 남아 있지 않은지 확인한다.
- dashboard panel legend에 쓰는 label이 query grouping에 남아 있는지 확인한다.
- metric schema 자체를 바꾸지 않고 문서 query correction에만 머물렀는지 확인한다.

## 검증 결과

_구현 에이전트가 각 중간 검증 및 최종 검증 명령 실행 후 출력을 여기에 붙여 넣는다._

필수 규칙:
- 검증 명령은 고정된 계약이다. 임의로 대체하지 않는다.
- 대체가 필요하면 `계획 대비 변경 사항`에 이유와 대체 명령을 기록한다.
- `검증 결과`에는 실제 stdout/stderr를 붙여 넣는다.
- 사용자 리뷰 요청으로 명령을 끝까지 실행하지 못했다면 `사용자 리뷰 요청`에 실행한 명령, 실제 출력, 미실행 명령의 사유를 기록한다.

### REVIEW_USAGE_GRAFANA-1 중간 검증
```bash
$ rg --fixed-strings "increase(iop_openai_usage_tokens_total[1d])" docs/openai-usage-grafana.md
increase(iop_openai_usage_tokens_total[1d])

$ rg --fixed-strings "increase(iop_openai_usage_tokens_total[30d])" docs/openai-usage-grafana.md
increase(iop_openai_usage_tokens_total[30d])

$ if rg --fixed-strings "increment(" docs/openai-usage-grafana.md; then exit 1; fi
(no output — PASS)

$ if rg --fixed-strings "sum_over_time(iop_openai_usage_tokens_total" docs/openai-usage-grafana.md; then exit 1; fi
(no output — PASS)
```

### REVIEW_USAGE_GRAFANA-2 중간 검증
```bash
$ rg --fixed-strings "sum by (principal_alias, token_type)" docs/openai-usage-grafana.md
sum by (principal_alias, token_type) (
sum by (principal_alias, token_type) (
sum by (principal_alias, token_type) (
sum by (principal_alias, token_type) (irate(iop_openai_usage_tokens_total[5m]))
sum by (principal_alias, token_type) (
sum by (principal_alias, token_type) (

$ rg --fixed-strings "legend=\`{{principal_alias}} {{token_type}}\`" docs/openai-usage-grafana.md
legend=`{{principal_alias}} {{token_type}}`
```

### 최종 검증
```bash
$ rg --fixed-strings "increase(iop_openai_usage_tokens_total[1d])" docs/openai-usage-grafana.md
increase(iop_openai_usage_tokens_total[1d])

$ rg --fixed-strings "increase(iop_openai_usage_tokens_total[30d])" docs/openai-usage-grafana.md
increase(iop_openai_usage_tokens_total[30d])

$ rg --fixed-strings "sum by (principal_alias, token_type)" docs/openai-usage-grafana.md
sum by (principal_alias, token_type) (
sum by (principal_alias, token_type) (
sum by (principal_alias, token_type) (
sum by (principal_alias, token_type) (irate(iop_openai_usage_tokens_total[5m]))
sum by (principal_alias, token_type) (
sum by (principal_alias, token_type) (

$ if rg --fixed-strings "increment(" docs/openai-usage-grafana.md; then exit 1; fi
(no output — PASS)

$ if rg --fixed-strings "sum_over_time(iop_openai_usage_tokens_total" docs/openai-usage-grafana.md; then exit 1; fi
(no output — PASS)

$ git diff --check
(no output — PASS)
```

---

> **[IMPLEMENTING AGENT - BEFORE SAVING] Have you filled in every implementation-owned section: completion table, implementation checklist, changes from plan, design decisions, and verification output?**

## 코드리뷰 결과

- 종합 판정: PASS

### 차원별 평가

| 차원 | 평가 | 근거 |
|------|------|------|
| correctness | Pass | daily/monthly rollup 예시가 `increase()` 기반 counter delta query로 수정되었고, 이전 loop의 비표준 `increment()`/raw counter `sum_over_time()` 문제는 남아 있지 않다. |
| completeness | Pass | follow-up plan의 구현 체크리스트와 구현 항목별 완료 표시가 모두 채워졌고, `grafana-surface`/`limit-followup` 대상 증거가 문서에 반영되었다. |
| test coverage | Pass | 계획된 `rg` 검증과 `git diff --check`를 재실행했고, 문자열 존재/금지 패턴/format 검증이 현재 파일 상태와 일치한다. |
| API contract | Pass | 문서의 metric 이름과 label allowlist가 `apps/edge/internal/openai/usage_metrics.go`의 구현과 일치하며, 금지 label/secret 노출을 권장하지 않는다. |
| code quality | Pass | 문서와 task artifact에 debug성 내용이나 불필요한 범위 확장이 없다. 리뷰 중 trailing whitespace artifact drift는 직접 정리했다. |
| implementation deviation | Pass | 변경은 follow-up plan의 PromQL correction과 dashboard legend/query alignment 범위에 머물렀다. |
| verification trust | Pass | 구현 에이전트가 기록한 검증 명령을 리뷰에서 재실행했고 출력/exit status가 일치한다. |
| spec conformance | Pass | SDD S09/S10 기준인 Grafana query evidence와 daily/monthly limit follow-up 재사용 기준이 문서화되었다. |

### 발견된 문제

없음

### 다음 단계

- PASS: active plan/review를 `.log`로 아카이브하고 `complete.log`를 작성한 뒤 task directory를 `agent-task/archive/2026/07/m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs/`로 이동한다.
