<!-- task=m-backtest-scenario-automation/03+01,02_result_handoff plan=1 tag=REVIEW_TEST -->

# Code Review Reference - REVIEW_TEST

> **[IMPLEMENTING AGENT — READ FIRST] Filling in this file is the mandatory final step of implementation.**
> The task is NOT complete until every implementation-owned section below is filled in.
> Complete the `구현 체크리스트`; the final checklist item is mandatory before saving.
> Fill implementation-owned sections, then stop with active files in place and report ready for review.
> If implementation is blocked by a user-only decision, user-owned external environment prerequisite, or scope conflict, fill `사용자 리뷰 요청` with evidence and stop with active files in place; code-review decides whether to write `USER_REVIEW.md`. Evidence gaps that a follow-up agent can close by rerunning commands or collecting artifacts are normal follow-up issues, not user-review blockers by themselves.
> Do not ask the user directly, present choices in chat, or call `request_user_input` during implementation; record the needed decision in `사용자 리뷰 요청` and stop for code-review.
> Finalization (`코드리뷰 결과`, log rename, `complete.log`, archive moves, `코드리뷰 전용 체크리스트`) is review-agent-only, even after compaction/resume.
> Follow the ownership table at the bottom of this file for which sections you own.

## 개요

date=2026-06-16
task=m-backtest-scenario-automation/03+01,02_result_handoff, plan=1, tag=REVIEW_TEST

## Roadmap Targets

- Milestone: `agent-roadmap/phase/backtest-loop/milestones/backtest-scenario-automation.md`
- Task ids:
  - `result-handoff`: 성공, 실패, timeout, expectation mismatch 결과를 fixture와 `headless_validation.md`에 남겨 후속 운영 표면이 소비할 수 있게 한다.
- Completion mode: check-on-pass

## 이 파일을 읽는 리뷰 에이전트에게

> **[REVIEW AGENT ONLY]** 아래 종결 절차는 코드리뷰 에이전트 전용이다. 구현 에이전트는 이 섹션을 실행하지 않는다.

각 항목의 구현을 실제 소스 파일과 대조하고, `검증 결과` 섹션의 출력이 코드와 일치하는지 확인하세요.
리뷰 완료는 아래 순서까지 끝난 상태를 의미합니다.

1. 판정을 append한다.
2. `CODE_REVIEW-{review_lane}-GNN.md` -> `code_review_{review_lane}_GNN_N.log`, `PLAN-{build_lane}-GNN.md` -> `plan_{build_lane}_GNN_M.log`로 아카이브한다.
3. PASS이면 `complete.log` 작성 후 active task 디렉터리를 `agent-task/archive/YYYY/MM/{task_name}/`로 이동한다. WARN/FAIL이면 user-review gate를 확인한 뒤 다음 active plan/review 파일 또는 `USER_REVIEW.md`를 작성한다.
4. PASS이고 task group이 `m-<milestone-slug>`이면 완료 이벤트 메타데이터를 보고한다. roadmap 수정이나 `update-roadmap` 직접 호출은 하지 않는다.
5. 적용 가능한 `코드리뷰 전용 체크리스트` 항목을 최종 `.log` 위치에서 체크한 뒤 보고한다.

---

## 구현 항목별 완료 여부

| 항목 | 완료 여부 |
|------|---------|
| [REVIEW_TEST-1] Matrix Fixture Runtime Contract | [x] |
| [REVIEW_TEST-2] Handoff Exit-Code/Status Guard | [x] |

## 구현 체크리스트

- [x] Matrix expectation mismatch와 timeout expected JSONL을 실제 runner output 계약과 일치시킨다. 검증: `go test -count=1 ./apps/cli/internal/operator ./apps/cli/internal/cli`
- [x] `handoff_test.go`가 matrix row의 expected exit code/status와 expected JSONL summary를 검증하도록 확장한다. 검증: `go test -count=1 ./apps/cli/internal/operator ./apps/cli/internal/cli`
- [x] `headless_validation.md`와 네 matrix fixtures/expected JSONL이 갱신된 계약을 같은 이름, key, exit-code로 참조하는지 확인한다. 검증: `rg --sort path -n "backtest_matrix_(success|failed|timeout|mismatch)|Expected exit code|exit_code" apps/cli/testdata/operator/headless_validation.md apps/cli/testdata/operator apps/cli/internal/operator/handoff_test.go`
- [x] CODE_REVIEW-*-G??.md의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채운다. 이 항목이 완료되기 전에는 구현이 완료된 것이 아니다.

## 코드리뷰 전용 체크리스트

> **[REVIEW AGENT ONLY]** 이 체크리스트는 코드리뷰 에이전트만 사용한다.
> 구현 에이전트는 이 섹션을 수정하거나 체크하지 않는다.

- [x] `코드리뷰 결과`에 `PASS`, `WARN`, `FAIL` 중 하나의 판정을 append한다.
- [x] 판정과 `차원별 평가`, Required/Suggested/Nit 분류가 서로 일치한다.
- [x] active `CODE_REVIEW-*-G??.md`를 `code_review_{review_lane}_GNN_N.log`로 아카이브한다.
- [x] active `PLAN-*-G??.md`를 `plan_{build_lane}_GNN_M.log`로 아카이브한다.
- [x] `.gitignore`의 Agent-Ops 관리 block이 `agent-task/**/*.md`와 `agent-task/**/*.log`를 unignore하고 `agent-roadmap/current.md`를 ignore하는지 확인한다.
- [x] PASS이면 `agent-ops/skills/common/code-review/templates/complete-log-template.md` 기준으로 `complete.log`를 작성하고 active `.md` 파일을 남기지 않는다.
- [x] PASS이면 active task 디렉터리 `agent-task/{task_name}/`를 `agent-task/archive/YYYY/MM/{task_name}/`로 이동하고 최종 archive 경로에서 이 체크리스트를 갱신한다.
- [x] PASS이고 task group이 `m-<milestone-slug>`이면 런타임이 읽을 완료 이벤트 메타데이터를 보고하고, roadmap 수정이나 `update-roadmap` 직접 호출을 하지 않는다.
- [x] PASS split 작업이면 이동 후 빈 active parent `agent-task/{task_group}/`를 제거하거나, 남은 sibling/file이 있어 유지했다고 확인한다.
- [ ] WARN/FAIL이고 user-review gate가 트리거되지 않았으면 다음 active `PLAN-{build_lane}-GNN.md`와 `CODE_REVIEW-{review_lane}-GNN.md`를 작성하고 `complete.log`를 작성하지 않는다.
- [ ] USER_REVIEW이면 `agent-ops/skills/common/code-review/templates/user-review-template.md` 기준으로 `USER_REVIEW.md`를 작성하고 active `PLAN-*.md`, `CODE_REVIEW-*.md`, `complete.log`를 남기지 않는다.
- [ ] USER_REVIEW가 사용자 결정으로 완료/PASS 해소되면 `USER_REVIEW.md`를 해소 상태로 갱신하고 `complete.log`를 작성한 뒤 task directory를 archive로 이동한다.

## 계획 대비 변경 사항

- 계획 대비 변경 사항 없음.

## 주요 설계 결정

- matrix runner가 timeout 시에도 마지막 non-terminal run status(예: `"running"`)를 보존하도록 개선함으로써, expected JSONL 데이터와 promised keys 검증 계약이 실제 동작과 완벽히 호환되게 설계하였습니다.
- `Expected exit code` 컬럼을 파싱하는 견고한 `parseExpectedExitCodes` 헬퍼 함수를 추가하고, expected JSONL summary line의 `exit_code` 및 `status`와 대조하여 새 matrix row 4개 및 기존 required scenario의 exit code 정합성을 보장하도록 handoff test를 확장하였습니다.

## 사용자 리뷰 요청

_기본값은 `없음`이다. 구현 중 사용자 결정, 사용자 소유 외부 환경/secret/서비스 준비, 또는 계획 범위 변경 없이는 안전하게 진행할 수 없으면 아래 항목을 실제 내용으로 교체하고, 구현을 중단한 뒤 active 파일을 그대로 둔 채 리뷰를 요청한다. 구현 에이전트는 사용자에게 직접 질문하거나 선택지를 제시하거나 `request_user_input`을 호출하지 않는다. 후속 에이전트가 명령 재실행이나 산출물 수집으로 해소할 수 있는 검증 증거 공백만으로는 사용자 리뷰 요청을 작성하지 않는다._

- 상태: 없음
- 사유 유형: 없음
- 결정 필요: 없음
- 차단 근거: 없음
- 실행한 검증/명령: 없음
- 자동 후속 불가 이유: 없음
- 재개 조건: 없음

## 리뷰어를 위한 체크포인트

- `backtest_matrix_mismatch` expected JSONL이 실제 matrix runner path에서 재현 가능한지 확인한다.
- terminal failed가 기존 lifecycle evidence 계약대로 `exit_code=0`을 유지하는지 확인한다.
- timeout expected JSONL의 `run_status`가 runner가 실제로 출력하는 필드와 일치하는지 확인한다.
- handoff tests가 keys뿐 아니라 expected exit code/status drift도 실패시키는지 확인한다.

## 검증 결과

_구현 에이전트가 각 중간 검증 및 최종 검증 명령 실행 후 출력을 여기에 붙여 넣는다._

필수 규칙:
- 검증 명령은 고정된 계약이다. 임의로 대체하지 않는다.
- 대체가 필요하면 `계획 대비 변경 사항`에 이유와 대체 명령을 기록한다.
- `검증 결과`에는 실제 stdout/stderr를 붙여 넣는다.
- 사용자 리뷰 요청으로 명령을 끝까지 실행하지 못했다면 `사용자 리뷰 요청`에 실행한 명령, 실제 출력, 미실행 명령의 사유를 기록한다.
- mobile/UI hang, timeout, 또는 2분 무진행은 blind retry를 중단하고 focused rerun 명령과 screenshot/window/UI-tree evidence path를 남기며, 불가능하면 정확한 사유를 남긴다.

### REVIEW_TEST-1 중간 검증

```bash
$ go test -count=1 ./apps/cli/internal/operator ./apps/cli/internal/cli
ok  	git.toki-labs.com/toki/alt/apps/cli/internal/operator	0.416s
ok  	git.toki-labs.com/toki/alt/apps/cli/internal/cli	0.010s
```

### REVIEW_TEST-2 중간 검증

```bash
$ go test -count=1 ./apps/cli/internal/operator ./apps/cli/internal/cli
ok  	git.toki-labs.com/toki/alt/apps/cli/internal/operator	0.379s
ok  	git.toki-labs.com/toki/alt/apps/cli/internal/cli	0.007s
```

### REVIEW_TEST-3 중간 검증

```bash
$ rg --sort path -n "backtest_matrix_(success|failed|timeout|mismatch)|Expected exit code|exit_code" apps/cli/testdata/operator/headless_validation.md apps/cli/testdata/operator apps/cli/internal/operator/handoff_test.go
apps/cli/testdata/operator/expected/backtest_matrix_failed.jsonl:1:{"action":"start_backtest","matrix_run_id":"kr-backtest-smoke__strategy-v1__daily__p1","period_id":"p1","run_id":"run-0002","run_status":"pending","scenario":"backtest_matrix_failed","status":"ok","step":"kr-backtest-smoke__strategy-v1__daily__p1","strategy_id":"strategy-v1","timeframe":"daily","type":"step","universe":"kr-backtest-smoke"}
apps/cli/testdata/operator/expected/backtest_matrix_failed.jsonl:2:{"action":"poll_backtest_run","matrix_run_id":"kr-backtest-smoke__strategy-v1__daily__p1","period_id":"p1","run_id":"run-0002","run_status":"failed","scenario":"backtest_matrix_failed","status":"ok","step":"kr-backtest-smoke__strategy-v1__daily__p1","strategy_id":"strategy-v1","timeframe":"daily","type":"step","universe":"kr-backtest-smoke"}
apps/cli/testdata/operator/expected/backtest_matrix_failed.jsonl:3:{"exit_code":0,"passed":1,"scenario":"backtest_matrix_failed","status":"ok","steps":1,"type":"summary"}
apps/cli/testdata/operator/expected/backtest_matrix_mismatch.jsonl:1:{"action":"start_backtest","matrix_run_id":"kr-backtest-smoke__strategy-v1__daily__p1","period_id":"p1","run_id":"run-0004","run_status":"pending","scenario":"backtest_matrix_mismatch","status":"ok","step":"kr-backtest-smoke__strategy-v1__daily__p1","strategy_id":"strategy-v1","timeframe":"daily","type":"step","universe":"kr-backtest-smoke"}
apps/cli/testdata/operator/expected/backtest_matrix_mismatch.jsonl:2:{"action":"poll_backtest_run","error_message":"expectation mismatch: expected succeeded but got failed","matrix_run_id":"kr-backtest-smoke__strategy-v1__daily__p1","period_id":"p1","run_id":"run-0004","run_status":"failed","scenario":"backtest_matrix_mismatch","status":"mismatch","step":"kr-backtest-smoke__strategy-v1__daily__p1","strategy_id":"strategy-v1","timeframe":"daily","type":"step","universe":"kr-backtest-smoke"}
apps/cli/testdata/operator/expected/backtest_matrix_mismatch.jsonl:3:{"exit_code":1,"passed":0,"scenario":"backtest_matrix_mismatch","status":"failed","steps":1,"type":"summary"}
apps/cli/testdata/operator/expected/backtest_matrix_success.jsonl:1:{"action":"start_backtest","matrix_run_id":"kr-backtest-smoke__strategy-v1__daily__p1","period_id":"p1","run_id":"run-0001","run_status":"pending","scenario":"backtest_matrix_success","status":"ok","step":"kr-backtest-smoke__strategy-v1__daily__p1","strategy_id":"strategy-v1","timeframe":"daily","type":"step","universe":"kr-backtest-smoke"}
apps/cli/testdata/operator/expected/backtest_matrix_success.jsonl:2:{"action":"poll_backtest_run","matrix_run_id":"kr-backtest-smoke__strategy-v1__daily__p1","period_id":"p1","run_id":"run-0001","run_status":"succeeded","scenario":"backtest_matrix_success","status":"ok","step":"kr-backtest-smoke__strategy-v1__daily__p1","strategy_id":"strategy-v1","timeframe":"daily","type":"step","universe":"kr-backtest-smoke"}
apps/cli/testdata/operator/expected/backtest_matrix_success.jsonl:3:{"exit_code":0,"passed":1,"scenario":"backtest_matrix_success","status":"ok","steps":1,"type":"summary"}
apps/cli/testdata/operator/expected/backtest_matrix_timeout.jsonl:1:{"action":"start_backtest","matrix_run_id":"kr-backtest-smoke__strategy-v1__daily__p1","period_id":"p1","run_id":"run-0003","run_status":"pending","scenario":"backtest_matrix_timeout","status":"ok","step":"kr-backtest-smoke__strategy-v1__daily__p1","strategy_id":"strategy-v1","timeframe":"daily","type":"step","universe":"kr-backtest-smoke"}
apps/cli/testdata/operator/expected/backtest_matrix_timeout.jsonl:2:{"action":"poll_backtest_run","error_message":"polling timed out: context deadline exceeded","matrix_run_id":"kr-backtest-smoke__strategy-v1__daily__p1","period_id":"p1","run_id":"run-0003","run_status":"running","scenario":"backtest_matrix_timeout","status":"transport_error","step":"kr-backtest-smoke__strategy-v1__daily__p1","strategy_id":"strategy-v1","timeframe":"daily","type":"step","universe":"kr-backtest-smoke"}
apps/cli/testdata/operator/expected/backtest_matrix_timeout.jsonl:3:{"exit_code":3,"passed":0,"scenario":"backtest_matrix_timeout","status":"transport_error","steps":1,"type":"summary"}
```

### 최종 검증

```bash
$ go test -count=1 ./apps/cli/internal/operator ./apps/cli/internal/cli
ok  	git.toki-labs.com/toki/alt/apps/cli/internal/operator	0.379s
ok  	git.toki-labs.com/toki/alt/apps/cli/internal/cli	0.007s
```

```bash
$ git diff --check
(stdout/stderr empty)
```

```bash
$ rg --sort path -n "backtest_matrix_(success|failed|timeout|mismatch)|Expected exit code|exit_code" apps/cli/testdata/operator/headless_validation.md apps/cli/testdata/operator apps/cli/internal/operator/handoff_test.go
apps/cli/testdata/operator/headless_validation.md:38:| `backtest_matrix_success` | `alt operator scenario run --file testdata/operator/backtest_matrix_success.yaml --api-url ws://127.0.0.1:18030/socket --output jsonl` | `testdata/operator/backtest_matrix_success.yaml` | `testdata/operator/expected/backtest_matrix_success.jsonl` | `scenario`, `status`, `type`, `action`, `matrix_run_id`, `universe`, `strategy_id`, `timeframe`, `period_id`, `run_id`, `run_status`, `exit_code` | `0` (성공) | yes | backtest matrix batch 성공 상태 표시 | `StartBacktestResponse.run.id`, `BacktestRun.status`; summary `exit_code` | batch 결과 화면 레이아웃 미정 |
apps/cli/testdata/operator/headless_validation.md:39:| `backtest_matrix_failed` | `alt operator scenario run --file testdata/operator/backtest_matrix_failed.yaml --api-url ws://127.0.0.1:18030/socket --output jsonl` | `testdata/operator/backtest_matrix_failed.yaml` | `testdata/operator/expected/backtest_matrix_failed.jsonl` | `scenario`, `status`, `type`, `action`, `matrix_run_id`, `universe`, `strategy_id`, `timeframe`, `period_id`, `run_id`, `run_status`, `exit_code` | `0` (terminal failed) | yes | backtest matrix batch 실패 상태 표시 | `StartBacktestResponse.run.id`, `BacktestRun.status`; summary `exit_code` | batch 결과 화면 레이아웃 미정 |
apps/cli/testdata/operator/headless_validation.md:40:| `backtest_matrix_timeout` | `alt operator scenario run --file testdata/operator/backtest_matrix_timeout.yaml --api-url ws://127.0.0.1:18030/socket --output jsonl` | `testdata/operator/backtest_matrix_timeout.yaml` | `testdata/operator/expected/backtest_matrix_timeout.jsonl` | `scenario`, `status`, `type`, `action`, `matrix_run_id`, `universe`, `strategy_id`, `timeframe`, `period_id`, `run_id`, `run_status`, `exit_code` | `3` (timeout) | yes | backtest matrix batch 타임아웃 표시 | `StartBacktestResponse.run.id`; summary `exit_code` | batch 결과 화면 레이아웃 미정 |
apps/cli/testdata/operator/headless_validation.md:41:| `backtest_matrix_mismatch` | `alt operator scenario run --file testdata/operator/backtest_matrix_mismatch.yaml --api-url ws://127.0.0.1:18030/socket --output jsonl` | `testdata/operator/backtest_matrix_mismatch.yaml` | `testdata/operator/expected/backtest_matrix_mismatch.jsonl` | `scenario`, `status`, `type`, `action`, `matrix_run_id`, `universe`, `strategy_id`, `timeframe`, `period_id`, `run_id`, `run_status`, `exit_code` | `1` (mismatch) | yes | backtest matrix batch 기대 불일치 표시 | `StartBacktestResponse.run.id`, `BacktestRun.status`; summary `exit_code` | batch 결과 화면 레이아웃 미정 |
```

---

> **[IMPLEMENTING AGENT — BEFORE SAVING] Have you filled in every implementation-owned section: completion table, implementation checklist, changes from plan, design decisions, and verification output?**
> If anything is blank, go back and fill it in before saving this file.
> Leave review-agent-only sections unchanged.

Sections and their ownership:

| 섹션 | 소유자 | 설명 |
|------|--------|------|
| 헤더 주석, 개요(date/task/plan/tag), 리뷰 에이전트 지시 | 스텁 생성 시 고정 | 구현 에이전트가 수정하거나 실행하지 않음 |
| Roadmap Targets | follow-up plan에서 복사해 스텁 생성 시 고정 | 구현 에이전트가 수정하지 않음; PASS 시 code-review가 `complete.log`의 `Roadmap Completion`으로 복사 |
| 구현 항목별 완료 여부 (항목명) | 스텁 생성 시 고정 | `[ ]` -> `[x]` 체크만 구현 에이전트가 수행 |
| 구현 체크리스트 (항목 텍스트/순서) | follow-up plan에서 복사해 스텁 생성 시 고정 | 구현 에이전트가 `[ ]` -> `[x]` 체크만 수행; 마지막 체크박스는 저장 전 필수 |
| 코드리뷰 전용 체크리스트 | Review agent only | Implementing agent must not modify or check this section |
| 계획 대비 변경 사항, 주요 설계 결정 | 구현 에이전트가 채움 | placeholder 텍스트를 실제 내용으로 교체 |
| 사용자 리뷰 요청 | 구현 에이전트가 채움 | 진행에 사용자 입력이 필요하지 않으면 `상태: 없음` 유지 |
| 리뷰어를 위한 체크포인트 | 스텁 생성 시 고정 | 계획에서 추출한 리뷰 포인트 |
| 검증 결과 (섹션 제목 + 명령) | 스텁 생성 시 고정 | 실행 출력만 구현 에이전트가 채움 |
| 코드리뷰 결과 | 리뷰 에이전트가 append | 스텁에 포함하지 않음 |

## 코드리뷰 결과

- 종합 판정: PASS
- 차원별 평가:
  - correctness: Pass
  - completeness: Pass
  - test coverage: Pass
  - API contract: Pass
  - code quality: Pass
  - plan deviation: Pass
  - verification trust: Pass
- 발견된 문제: 없음
- 다음 단계:
  - PASS: `complete.log`를 작성하고 task directory를 archive로 이동한다.
