3 KiB
3 KiB
Milestone: [bench-lite-01] 초경량 Agent 모델 비교
위치
- Roadmap: ROADMAP.md
- Phase: PHASE.md
목표
[bench-route-01]에서 호출 가능성이 확인된 동일 9개 조합을 고정된 실제 비교 과제로 한 번씩 실행해 최소 비교 결과를 남긴다.
측정 지원 코드는 만들지 않고, caller 실행과 결과 기록만 측정 경계로 둔다.
상태
[계획]
구현 잠금
- 상태: 해제
- SDD: 불필요
- SDD 문서: 없음
- SDD 사유: 기존 caller와 제품 경로를 단일 시도로 관측하는 test-only 작업이며 제품 API, 상태 머신, retry 또는 schema를 변경하지 않는다.
- 결정 필요: 없음
범위
[bench-route-01]과 동일한 9개 caller/model/route 조합- 모든 조합에 같은 고정 비교 prompt와 같은 빈 임시 workspace 사용
- 조합별 정확히 1회 실행
- 성공 여부, 전체 경과 시간, caller가 직접 제공한 usage, 산출물 경로와 짧은 수동 관찰만 기록
- 실패한 조합은 실패로 기록하고 같은 측정 안에서 retry, resume 또는 대체 run을 하지 않음
기능
Epic: [thin-run] 단일 시도 비교
- [single-attempt-matrix] 9개 조합을 같은 prompt와 초기 상태에서 정확히 한 번씩 실행한다. 검증: 조합별 producer attempt가 하나이며 retry/resume/recovery 기록이 없어야 한다.
- [minimal-result-table] 성공 여부, 경과 시간, caller 제공 usage, 산출물 경로와 짧은 관찰을 단일 Markdown 표로 기록한다. 제공되지 않은 usage는
미제공으로 두고 추정하거나 0으로 바꾸지 않는다. - [bounded-conclusion] 성공한 결과만 비교하고 실패·미제공 데이터를 점수 0으로 취급하지 않는 짧은 결론을 남긴다. 자동 채점이나 통계적 일반화는 하지 않는다.
완료 리뷰
- 상태: 없음
- 요청일: 없음
- 완료 근거:
[bench-route-01]과 단일 시도 결과가 아직 없다. - 검토 항목:
[bench-route-01]이 통과 또는 사용자 승인된 외부 차단 상태다.- 새 benchmark script와 자동화 state가 없다.
- 조합별 정확히 한 번의 실행과 최소 결과 표만 남았다.
- agent-ui 상태 반영: 해당 없음
- 리뷰 코멘트: 없음
범위 제외
- manifest runner, orchestration framework, lifecycle store
- retry, resume, recovery qualification, stale-run repair
- browser/CDP 자동 검증, screenshot gate, accessibility/network gate
- 익명 LLM 채점, 자동 순위, 반복·분산·유의성 분석
- 이 측정을 IOP 제품 안정성 또는 다른 Milestone의 완료 조건으로 승격하는 것
작업 컨텍스트
- 선행 작업: 벤치 경로 최소 HTML 스모크
- 실행 방식: 기존 공식 caller 명령을 한 번씩 직접 실행하며 공통 runner를 만들지 않는다.
- 결과 위치:
agent-test/dev/iop-thin-agent-model-comparison.md