From 62d9c3312cfd7a7a4971430537ebb6320ccc3251 Mon Sep 17 00:00:00 2001 From: toki Date: Wed, 17 Jun 2026 09:56:01 +0900 Subject: [PATCH] update: roadmap and archive backtest scenario milestone --- agent-roadmap/ROADMAP.md | 2 +- .../backtest-scenario-automation.md | 36 +++++++++---------- agent-roadmap/phase/backtest-loop/PHASE.md | 6 ++-- 3 files changed, 22 insertions(+), 22 deletions(-) rename agent-roadmap/{ => archive}/phase/backtest-loop/milestones/backtest-scenario-automation.md (73%) diff --git a/agent-roadmap/ROADMAP.md b/agent-roadmap/ROADMAP.md index f15b6bb..a9ddc7f 100644 --- a/agent-roadmap/ROADMAP.md +++ b/agent-roadmap/ROADMAP.md @@ -22,7 +22,7 @@ ALT는 개인용 quant system workspace로, 한국장 일봉 MVP에서 시작해 - [완료] 거래 확장 - 경로: `agent-roadmap/archive/phase/trading-expansion/PHASE.md` - 요약: paper trading, 미국장 확장, 주문/리스크/포트폴리오, 실거래 adapter 경계를 MVP 이후 단계로 연다. -- [진행중] 백테스트 루프 +- [검토중] 백테스트 루프 - 경로: `agent-roadmap/phase/backtest-loop/PHASE.md` - 요약: 선택 종목의 자동/일별 수집, 정제 데이터 저장, 재현 가능한 backtest dataset과 lifecycle verification을 만든다. - [스케치] 에이전트 도구화 diff --git a/agent-roadmap/phase/backtest-loop/milestones/backtest-scenario-automation.md b/agent-roadmap/archive/phase/backtest-loop/milestones/backtest-scenario-automation.md similarity index 73% rename from agent-roadmap/phase/backtest-loop/milestones/backtest-scenario-automation.md rename to agent-roadmap/archive/phase/backtest-loop/milestones/backtest-scenario-automation.md index 1d2b3c0..4c34ef0 100644 --- a/agent-roadmap/phase/backtest-loop/milestones/backtest-scenario-automation.md +++ b/agent-roadmap/archive/phase/backtest-loop/milestones/backtest-scenario-automation.md @@ -11,7 +11,7 @@ ## 상태 -[진행중] +[완료] ## 승격 조건 @@ -45,28 +45,28 @@ 원격 runner에서 백테스트 smoke를 실제 API/worker/DB/KIS 경계로 실행할 수 있게 선행 조건과 실행 순서를 고정한다. -- [ ] [remote-env-sync] 원격 테스트 checkout과 실제 실행 checkout을 하나로 맞추고, DB/Redis health와 현재 checkout의 worker migration이 적용되는지 확인하는 절차를 남긴다. 검증: 원격 runner에서 `bin/infra-check` 또는 동등한 DB/Redis health check, `services/worker` 기준 `go run ./cmd/alt-worker-migrate` 실행 결과, 최신 migration version 확인 결과를 sanitized evidence로 기록 -- [ ] [runtime-startup] 원격 worker/API 실행 순서를 `migration -> worker -> API -> CLI scenario`로 정리하고, `ALT_WORKER_SOCKET_URL`, bind host/port, KIS SOPS env 주입이 worker 프로세스까지 전달되는지 검증한다. 검증: `api_connection_smoke`가 `worker-available` capability를 포함하고 backtest import step이 typed success를 반환 -- [ ] [matrix-seed] matrix scenario가 신규 원격 DB에서도 결정적으로 통과하도록 선행 import/seed 조건을 YAML 또는 handoff 문서에 반영한다. 검증: 원격 runner에서 `backtest_matrix_success.yaml`이 import/seed 선행 조건 충족 후 exit code `0` -- [ ] [result-poll] `backtest_result_summary.yaml`이 start 직후 result를 즉시 조회하지 않고 terminal status 도달 후 result를 조회하도록 flaky 구간을 제거한다. 검증: 원격 runner에서 `backtest_result_summary.yaml --output jsonl`이 exit code `0`이고 `run_status=succeeded`와 result summary key를 함께 기록 +- [x] [remote-env-sync] 원격 테스트 checkout과 실제 실행 checkout을 하나로 맞추고, DB/Redis health와 현재 checkout의 worker migration이 적용되는지 확인하는 절차를 남긴다. 검증: 원격 runner에서 `bin/infra-check` 또는 동등한 DB/Redis health check, `services/worker` 기준 `go run ./cmd/alt-worker-migrate` 실행 결과, 최신 migration version 확인 결과를 sanitized evidence로 기록 +- [x] [runtime-startup] 원격 worker/API 실행 순서를 `migration -> worker -> API -> CLI scenario`로 정리하고, `ALT_WORKER_SOCKET_URL`, bind host/port, KIS SOPS env 주입이 worker 프로세스까지 전달되는지 검증한다. 검증: `api_connection_smoke`가 `worker-available` capability를 포함하고 backtest import step이 typed success를 반환 +- [x] [matrix-seed] matrix scenario가 신규 원격 DB에서도 결정적으로 통과하도록 선행 import/seed 조건을 YAML 또는 handoff 문서에 반영한다. 검증: 원격 runner에서 `backtest_matrix_success.yaml`이 import/seed 선행 조건 충족 후 exit code `0` +- [x] [result-poll] `backtest_result_summary.yaml`이 start 직후 result를 즉시 조회하지 않고 terminal status 도달 후 result를 조회하도록 flaky 구간을 제거한다. 검증: 원격 runner에서 `backtest_result_summary.yaml --output jsonl`이 exit code `0`이고 `run_status=succeeded`와 result summary key를 함께 기록 ## 완료 리뷰 -- 상태: 보완 필요 -- 요청일: 2026-06-16 -- 기존 완료 근거: +- 상태: 승인됨 +- 요청일: 2026-06-17 +- 완료 근거: - `scenario-matrix`, `batch-runner`, `result-handoff`가 각 `complete.log`의 `Roadmap Completion` 섹션에서 PASS로 확인되었다. - - 명시된 Go test와 `git diff --check` 검증이 완료 로그에서 PASS로 확인되었다. -- 보완 필요: - - [ ] 원격 DB migration이 현재 repo migration과 일치한다. - - [ ] 원격 실행 checkout이 테스트 규칙의 checkout과 동기화되어 있다. - - [ ] KIS SOPS env가 원격 worker runtime까지 주입되는 실행 경로가 확인되었다. - - [ ] matrix/result summary scenario가 신규 원격 DB에서도 deterministic하게 통과한다. + - `remote-env-sync`, `runtime-startup`, `matrix-seed`, `result-poll`이 archive된 `complete.log`의 `Roadmap Completion` 섹션에서 PASS로 확인되었다. + - 명시된 local Go test, scoped `rg`, remote migration/runtime/API smoke/matrix/result JSONL 검증이 완료 로그에 기록되어 있다. +- 사용자 최종 확인: + - [x] `Backtest Scenario Automation` 마일스톤 완료 승인 및 archive 진행 여부 - 작업 현황 동기화: - - `agent-task/m-backtest-scenario-automation/05+04_runtime_startup/`은 active follow-up 상태다. 이전 리뷰는 `FAIL`이며, `04_remote_env_sync` 완료 로그 확인 뒤 runtime startup evidence를 다시 수집해야 한다. - - `agent-task/m-backtest-scenario-automation/06+05_matrix_seed/`은 active plan/review 상태다. `05+04_runtime_startup` 완료 뒤 matrix seed/import 절차와 원격 matrix 성공 evidence를 기록해야 한다. - - `agent-task/m-backtest-scenario-automation/07+05_result_poll_remote/`은 active plan/review 상태다. `05+04_runtime_startup` 완료 뒤 원격 result summary JSONL에서 terminal status와 summary key evidence를 기록해야 한다. -- 리뷰 코멘트: 원격 준비 상태 점검에서 migration drift, checkout 불일치, matrix 선행 데이터, result polling 순서 문제가 확인되어 완료 후보에서 진행중 보완으로 되돌린다. + - 현재 active `agent-task/`에는 `m-backtest-scenario-automation` 작업 그룹이 없다. + - `remote-env-sync`: `agent-task/archive/2026/06/m-backtest-scenario-automation/04_remote_env_sync/complete.log` + - `runtime-startup`: `agent-task/archive/2026/06/m-backtest-scenario-automation/05+04_runtime_startup/complete.log` + - `matrix-seed`: `agent-task/archive/2026/06/m-backtest-scenario-automation/06+05_matrix_seed/complete.log` + - `result-poll`: `agent-task/archive/2026/06/m-backtest-scenario-automation/07+05_result_poll_remote/complete.log` +- 리뷰 코멘트: 코드 레벨 검토와 local smoke 검증에서 종료 차단 이슈가 발견되지 않아 마일스톤을 완료 처리하고 archive한다. ## 범위 제외 diff --git a/agent-roadmap/phase/backtest-loop/PHASE.md b/agent-roadmap/phase/backtest-loop/PHASE.md index ce221ad..554dc2a 100644 --- a/agent-roadmap/phase/backtest-loop/PHASE.md +++ b/agent-roadmap/phase/backtest-loop/PHASE.md @@ -2,7 +2,7 @@ ## 상태 -[진행중] +[검토중] ## 목표 @@ -22,8 +22,8 @@ - [완료] Backtest Data Collection Infrastructure - 경로: `agent-roadmap/archive/phase/backtest-loop/milestones/backtest-data-collection-infrastructure.md` - 요약: 선택 종목을 자동/일별로 수집하고 정제된 백테스트 입력 데이터만 DB에 남기는 headless 인프라를 만든다. -- [진행중] Backtest Scenario Automation - - 경로: `agent-roadmap/phase/backtest-loop/milestones/backtest-scenario-automation.md` +- [완료] Backtest Scenario Automation + - 경로: `agent-roadmap/archive/phase/backtest-loop/milestones/backtest-scenario-automation.md` - 요약: 선택 universe와 기간 조합을 반복 가능한 backtest scenario로 실행하고, 원격 runner에서 migration/runtime/secret 주입/결과 handoff를 안정화한다. ## Phase 경계