# Milestone: [bench-02] IOP 원샷 Agent 모델 비교 벤치마크

## 위치

- Roadmap: [ROADMAP.md](../../../../ROADMAP.md)
- Phase: [PHASE.md](../../../../phase/knowledge-tool-optimization-extension/PHASE.md)
- SDD: [SDD.md](../../../sdd/knowledge-tool-optimization-extension/iop-one-shot-agent-model-comparison/SDD.md)

## 목표

동일한 정적 웹 과제를 9개 IOP 경유 caller/model 조합으로 실행해 속도·usage·품질을 비교하는 전용 benchmark를 수행하려 했다.

## 상태

[폐기]

## 구현 잠금

- 상태: 잠금
- SDD: 필요
- SDD 문서: [폐기된 SDD](../../../sdd/knowledge-tool-optimization-extension/iop-one-shot-agent-model-comparison/SDD.md)
- SDD 상태: 폐기
- SDD 잠금: 잠금
- SDD 사용자 리뷰: 없음
- 결정 필요: 없음

## 범위

- 전용 manifest/runner, 격리·재개·복구, 자동 웹 검증, 익명 채점과 deterministic report를 사용한 C01-C09 비교였다.
- 2026-08-13 사용자 결정으로 제품 안정성과 측정 경계를 분리하기 위해 전용 harness와 함께 현재 실행 범위에서 철회했다.

## 기능

### Epic: [benchmark-rollback] 전용 측정 경계 폐기

- [x] [harness-retirement] 전용 benchmark 구현, 공식 CLI/skill, manifest/schema, 자동 검증·채점·보고와 현재 living spec을 제거했다.
- [x] [milestone-retirement] 제품 안정성 전수 재검증을 이 측정 Milestone의 대체 작업으로 만들지 않고, 구체적 결함만 해당 제품 소유 영역에서 처리하도록 분리했다.

## 완료 리뷰

- 상태: 폐기
- 요청일: 2026-08-13
- 완료 근거: 사용자 요청과 전용 harness 삭제 diff
- 검토 항목: 없음
- 리뷰 코멘트: 기존 2/9 scored run과 후속 복구 계획은 완료 근거가 아니며 재개하지 않는다.

## 범위 제외

- IOP 제품 ingress, route/preset, stream terminal과 공식 caller 호환 코드의 롤백
- 구체적 제품 결함의 소유 영역별 수정과 회귀 검증

## 작업 컨텍스트

- 폐기 사유: 측정 시스템의 정합성과 복구가 제품 안정성보다 우선되는 목적 역전
- 후속 제품 Milestone: 없음. 현재 IOP 호출부를 기준선으로 유지하고 구체적 회귀만 국소 처리한다.
- 복구 가능성: 삭제된 구현과 이전 문서는 Git 이력에서 복구할 수 있다.
