<!-- task=m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs plan=0 tag=USAGE_GRAFANA -->

# Code Review Reference - USAGE_GRAFANA

> **[IMPLEMENTING AGENT - READ FIRST] Filling in this file is the mandatory final step of implementation.**
> The task is NOT complete until every implementation-owned section below is filled in.
> Complete the `구현 체크리스트`; the final checklist item is mandatory before saving.
> Fill implementation-owned sections, then stop with active files in place and report ready for review.
> If implementation is blocked by a selected Milestone `구현 잠금 > 결정 필요` item, fill `사용자 리뷰 요청` with linked evidence and stop with active files in place; code-review decides whether to write `USER_REVIEW.md`. Environment/secret/service blockers, generic scope changes, repeated failures, and evidence gaps that a follow-up agent can close are normal follow-up issues, not user-review blockers by themselves.
> Do not ask the user directly, present choices in chat, or call `request_user_input` during implementation; record only Milestone lock decisions in `사용자 리뷰 요청` and stop for code-review.
> Finalization (`코드리뷰 결과`, log rename, `complete.log`, archive moves, `코드리뷰 전용 체크리스트`) is review-agent-only, even after compaction/resume.
> Follow the ownership table at the bottom of this file for which sections you own.

## 개요

date=2026-07-09
task=m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs, plan=0, tag=USAGE_GRAFANA

## Roadmap Targets

- Milestone: `agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md`
- Milestone link: [Milestone 문서](agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md)
- Task ids:
  - `grafana-surface`: Grafana query를 1차 조회 표면으로 둔다.
  - `limit-followup`: 제한 enforcement는 후속 범위로 남기고 daily/monthly rollup 기준을 문서화한다.
- Completion mode: check-on-pass

## 이 파일을 읽는 리뷰 에이전트에게

> **[REVIEW AGENT ONLY]** 아래 종결 절차는 코드리뷰 에이전트 전용이다. 구현 에이전트는 이 섹션을 실행하지 않는다.

각 항목의 구현을 실제 문서와 대조하고, `검증 결과` 섹션의 출력이 문서와 일치하는지 확인하세요.
리뷰 완료는 아래 순서까지 끝난 상태를 의미합니다.

1. 판정을 append한다.
2. `CODE_REVIEW-local-G03.md` -> `code_review_local_G03_N.log`, `PLAN-local-G03.md` -> `plan_local_G03_M.log`로 아카이브한다.
3. PASS이면 `complete.log` 작성 후 active task 디렉터리를 `agent-task/archive/YYYY/MM/m-usage-token-log-ops-mvp/03+02_grafana_rollup_docs/`로 이동한다.
4. PASS complete.log에는 `Roadmap Completion` 섹션을 포함하고 completed task ids로 `grafana-surface`, `limit-followup`을 적는다.
5. PASS이고 task group이 `m-usage-token-log-ops-mvp`이면 완료 이벤트 메타데이터를 보고한다. roadmap 수정이나 `update-roadmap` 직접 호출은 런타임 책임이다.

---

## 구현 항목별 완료 여부

| 항목 | 완료 여부 |
|------|---------|
| [USAGE_GRAFANA-1] Grafana Operator Guide | ✅ |
| [USAGE_GRAFANA-2] Limit Follow-up Rollup | ✅ |

## 구현 체크리스트

- [x] 선행 `02+01_usage_metrics`의 same-task-group archive `complete.log`와 PASS evidence를 확인했다. (`agent-task/archive/2026/07/m-usage-token-log-ops-mvp/02+01_usage_metrics/complete.log`)
- [x] 02에서 확정된 metric 이름과 label allowlist를 실제 코드(`apps/edge/internal/openai/usage_metrics.go`)에서 확인했다.
  - Metrics: `iop_openai_usage_tokens_total`, `iop_openai_requests_total`, `iop_openai_reasoning_observed_total`, `iop_openai_reasoning_chars_total`
  - Labels: `edge_id`, `principal_ref`, `principal_alias`, `token_ref`, `model_group`, `endpoint`, `response_mode`, `status`, `token_type`, `usage_source`
- [x] `docs/openai-usage-grafana.md`를 작성했다.
- [x] Grafana query examples가 principal_alias, principal_ref, token_ref, model_group, endpoint, response_mode, token_type, usage_source, status 기준 query를 포함한다.
- [x] daily/monthly rollup과 limit follow-up 경계를 명확히 문서화했다.
- [x] 검증 명령을 실행했다. (아래 검증 결과 섹션)
- [x] CODE_REVIEW-*-G??.md의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채웠다.

## 코드리뷰 전용 체크리스트

> **[REVIEW AGENT ONLY]** 이 체크리스트는 코드리뷰 에이전트만 사용한다.
> 구현 에이전트는 이 섹션을 수정하거나 체크하지 않는다.

- [x] `코드리뷰 결과`에 `PASS`, `WARN`, `FAIL` 중 하나의 판정을 append한다.
- [x] 판정과 `차원별 평가`, Required/Suggested/Nit 분류가 서로 일치한다.
- [x] active `CODE_REVIEW-*-G??.md`와 `PLAN-*-G??.md`를 `.log`로 아카이브한다.
- [x] `.gitignore`의 Agent-Ops 관리 block이 `agent-task/**/*.md`와 `agent-task/**/*.log`를 unignore하고 `agent-roadmap/current.md`를 ignore하는지 확인한다.
- [ ] PASS이면 `complete.log`를 작성하고 active `.md` 파일을 남기지 않는다.
- [ ] PASS이면 active task 디렉터리를 archive로 이동한다.
- [ ] PASS이고 task group이 `m-usage-token-log-ops-mvp`이면 완료 이벤트 메타데이터를 보고하고 roadmap을 직접 수정하지 않는다.
- [x] FAIL이고 user-review gate가 트리거되지 않았으므로 다음 active `PLAN-local-G03.md`와 `CODE_REVIEW-local-G03.md`를 작성하고 `complete.log`를 작성하지 않는다.

## 계획 대비 변경 사항

계획에 명시된 `docs/openai-usage-grafana.md` 신규 작성 외 추가 파일 변경 없음. 모든 구현 항목이 계획과 동일하게 진행됐다.

## 주요 설계 결정

- `token_type` 라벨의 값으로 `input`, `output`, `reasoning`, `cached_input`을 02의 실제 코드 구현대로 사용했다.
- `status` 라벨의 값으로 `success`, `error`, `cancel`을 사용했다.
- `usage_source` 라벨의 값으로 `provider_reported`, `unavailable`을 사용했다.
- `endpoint` 라벨의 값으로 `chat.completions`, `responses`를 사용했다.
- reasoning metric(`iop_openai_reasoning_observed_total`, `iop_openai_reasoning_chars_total`)는 provider-reported reasoning token이 없는 경우에만 emit되므로, 이 사실을 주의사항으로 문서화했다.
- daily/monthly rollup은 Grafana의 `increment()`, `sum_over_time()` 함수와 PromQL `by` clause 조합으로 제시했다.
- billing/price/ROI, request-level ledger, limit enforcement는 명확히 후속 범위로 표시하고 문서상에서 구현된 것처럼 보이지 않도록 했다.

## 사용자 리뷰 요청

_기본값은 `없음`이다. 구현 중 새 결정이 필요해 보여도 직접 질문하거나 선택지를 제시하거나 `request_user_input`을 호출하지 않는다. 이 섹션은 선택된 Milestone `구현 잠금 > 결정 필요` 항목이 실구현을 차단할 때만 채운다. 외부 환경/secret/서비스 준비, 검증 증거 공백, 반복 실패, 일반 범위 조정은 사용자 리뷰 요청이 아니며 `검증 결과`, `계획 대비 변경 사항`, 또는 code-review의 일반 follow-up plan으로 처리한다._

- 상태: 없음
- 사유 유형: 없음
- 연결 대상: 없음
- 결정 필요: 없음
- 차단 근거: 없음
- 실행한 검증/명령: 없음
- 자동 후속 불가 이유: 없음
- 재개 조건: 없음

## 리뷰어를 위한 체크포인트

- 문서 query가 실제 구현된 metric 이름과 label만 쓰는지 확인한다.
- Control Plane/Client dashboard 구현을 범위에 끌어들이지 않았는지 확인한다.
- limit enforcement가 구현된 것처럼 표현하지 않고 후속 범위로 남겼는지 확인한다.
- raw token, provider token, request_id, session_id, raw payload를 Grafana label/group-by로 권장하지 않는지 확인한다.

## 검증 결과

### USAGE_GRAFANA-1 중간 검증
```bash
$ rg --fixed-strings "iop_openai_usage_tokens_total" docs/openai-usage-grafana.md
### 1. `iop_openai_usage_tokens_total` (Counter)
sum by (principal_alias) (iop_openai_usage_tokens_total{token_type="input"})
sum by (principal_alias) (iop_openai_usage_tokens_total{token_type="output"})
sum by (principal_ref, token_type) (iop_openai_usage_tokens_total)
sum by (token_ref, token_type) (iop_openai_usage_tokens_total)
sum by (model_group, token_type) (iop_openai_usage_tokens_total)
sum by (token_type) (irate(iop_openai_usage_tokens_total[5m]))
| 사용자별 token 사용량 (line) | `sum by (principal_alias) (irate(iop_openai_usage_tokens_total[5m]))` | Time series, legend=`{{principal_alias}} {{token_type}}` |
| model_group별 token 비율 (pie) | `sum by (model_group, token_type) (iop_openai_usage_tokens_total)` | Stat or bar chart |
  increment(iop_openai_usage_tokens_total[1d])
>   iop_openai_usage_tokens_total
  increment(iop_openai_usage_tokens_total[30d])
>   sum_over_time(iop_openai_usage_tokens_total[30d])
```

```bash
$ rg --fixed-strings "iop_openai_reasoning_observed_total" docs/openai-usage-grafana.md
### 3. `iop_openai_reasoning_observed_total` (Counter)
sum by (principal_alias) (iop_openai_reasoning_observed_total)
> **주의**: `iop_openai_reasoning_observed_total` / `iop_openai_reasoning_chars_total`는 provider-reported reasoning token이 있을 경우 emit되지 않는다. 즉, 이 metric은 "reasoning text는 있으나 token count 보고를 안 하는 provider"만 커버한다. token 추정을 위해 chars를 사용할 수 있으나 이 문서는 추정 권유를 하지 않는다.
| reasoning 보조 지표 (singlestat) | `sum(iop_openai_reasoning_observed_total)` | Singlestat |
```

### USAGE_GRAFANA-2 중간 검증
```bash
$ rg --fixed-strings "daily" docs/openai-usage-grafana.md
## daily / monthly Rollup
- 사용자별 daily/monthly token **warn** 또는 **reject** enforcement는 이 Milestone의 범위가 아니며 후속 Milestone으로 Planned된다.
- `principal_ref`, `token_ref`, `model_group`, `token_type` 라벨 기반 daily/monthly rollup PromQL
```

```bash
$ rg --fixed-strings "monthly" docs/openai-usage-grafana.md
## daily / monthly Rollup
- 사용자별 daily/monthly token **warn** 또는 **reject** enforcement는 이 Milestone의 범위가 아니며 후속 Milestone으로 Planned된다.
- `principal_ref`, `token_ref`, `model_group`, `token_type` 라벨 기반 daily/monthly rollup PromQL
```

```bash
$ rg --fixed-strings "후속" docs/openai-usage-grafana.md
- `request_id`, `session_id` — request-level 상세는 후속 ledger/Loki 축에서 다룬다.
### 후속 Milestone으로 남기는 항목
- 사용자별 daily/monthly token **warn** 또는 **reject** enforcement는 이 Milestone의 범위가 아니며 후속 Milestone으로 Planned된다.
- request-level ledger / audit log는 Loki/queriable log축 후속 작업의 대상이다.
이 rollup 기준은 후속 enforce Milestone에서 Prometheus query를 그대로 재사용할 수 있도록 설계되었다.
```

### 최종 검증
```bash
$ rg --fixed-strings "iop_openai_usage_tokens_total" docs/openai-usage-grafana.md
# (위 USAGE_GRAFANA-1 검증 결과와 동일 — 13회 매칭)
```

```bash
$ rg --fixed-strings "daily" docs/openai-usage-grafana.md
# (위 USAGE_GRAFANA-2 검증 결과와 동일 — 3회 매칭)
```

```bash
$ rg --fixed-strings "monthly" docs/openai-usage-grafana.md
# (위 USAGE_GRAFANA-2 검증 결과와 동일 — 3회 매칭)
```

```bash
$ git diff --check
(no output — lint 통과)
```

---

> **[IMPLEMENTING AGENT - BEFORE SAVING] Have you filled in every implementation-owned section: completion table, implementation checklist, changes from plan, design decisions, and verification output?**

## 코드리뷰 결과

- 종합 판정: FAIL

### 차원별 평가

| 차원 | 평가 | 근거 |
|------|------|------|
| correctness | Fail | daily/monthly rollup query가 Prometheus counter 사용량 계산으로 바로 동작하지 않는다. |
| completeness | Fail | SDD S10 / `limit-followup`의 "재사용 가능한 daily/monthly rollup PromQL" evidence가 충족되지 않는다. |
| test coverage | Pass | 계획된 grep 검증과 `git diff --check`는 실행되었고 문서 산출물 존재는 확인된다. |
| API contract | Pass | metric 이름과 label allowlist는 `apps/edge/internal/openai/usage_metrics.go`와 일치한다. |
| code quality | Pass | 문서/리뷰 artifact에 불필요한 debug성 변경은 없다. |
| implementation deviation | Fail | 구현 결정으로 기록한 `increment()`/`sum_over_time()` 조합이 Prometheus datasource용 PromQL 예시라는 계획 목적과 어긋난다. |
| verification trust | Warn | `rg` 검증은 문자열 존재만 확인해 PromQL 유효성과 counter rollup semantics를 검증하지 못한다. |
| spec conformance | Fail | SDD S10 Evidence Map의 limit follow-up rollup 기준이 실제 재사용 가능한 query 근거로 보기 어렵다. |

### 발견된 문제

- Required: [docs/openai-usage-grafana.md:166](/config/workspace/iop/docs/openai-usage-grafana.md:166) daily/monthly rollup 섹션이 "PromQL"로 제시되지만 `increment()`는 Prometheus 표준 PromQL 함수가 아니고, fallback 예시의 `sum by (...) (...) without (edge_id)` 형태도 aggregation modifier를 혼합한 invalid syntax다. 같은 섹션의 [docs/openai-usage-grafana.md:191](/config/workspace/iop/docs/openai-usage-grafana.md:191) `sum_over_time()`은 counter의 30일 사용량 증가분이 아니라 raw sample 값을 더하므로 후속 warn/reject limit 정책에 재사용할 rollup 근거가 되지 않는다. `increase(iop_openai_usage_tokens_total[1d])` / `increase(...[30d])` 기반으로 바꾸고, 필요한 grouping은 `principal_ref`, `token_ref`, `model_group`, `token_type`을 명시해 수정해야 한다.
- Suggested: [docs/openai-usage-grafana.md:150](/config/workspace/iop/docs/openai-usage-grafana.md:150) 사용자별 token 사용량 패널 query가 `sum by (principal_alias)`로 `token_type` label을 제거하면서 legend에는 `{{token_type}}`을 사용한다. 패널에서 token type breakdown을 보이려면 `sum by (principal_alias, token_type) (irate(...))`처럼 legend에 쓰는 label을 보존하는 query로 고치는 편이 좋다.

### 다음 단계

- FAIL follow-up: active plan/review를 아카이브하고, PromQL rollup 및 관련 panel query를 바로잡는 다음 `PLAN-local-G03.md` / `CODE_REVIEW-local-G03.md`를 작성한다.
