3.7 KiB
3.7 KiB
Milestone: 평가와 승격 Gate
위치
- Roadmap: ROADMAP.md
- Phase: PHASE.md
목표
candidate release를 고정된 evaluation suite와 기준선 release에 대해 재현 가능하게 평가한다. 임계값과 필수 metric을 통과한 후보만 수동 승격 대상으로 만들고, 결정·결과·rollback 근거를 감사 가능하게 남긴다.
상태
[계획]
구현 잠금
- 상태: 해제
- SDD: 필요
- SDD 문서: SDD.md
- SDD 사유: evaluation lifecycle, metric gate, 수동 승인과 release promotion 상태 전이를 정의한다.
- 잠금 해제 조건:
- SDD 잠금이 해제되어 있다.
- SDD 사용자 리뷰가 없거나 승인/해결되었다.
- Acceptance Scenario가 Milestone 기능 Task와 연결되어 있다.
- Evidence Map이 완료 시 Roadmap Completion과 최종 검증 evidence로 검증 가능하게 연결되어 있다.
- 결정 필요: 없음
범위
- versioned evaluation suite, case, expectation과 dataset
- candidate·baseline 동일 조건 실행
- retrieval·answer·latency·cost metric과 required threshold
- pass, fail, invalid 평가 상태와 재실행
- 수동 promotion command, audit와 rollback pointer
- evaluation result와 release·workflow lineage
기능
Epic: [evaluation] 재현 가능한 비교
후보 품질을 동일 입력과 policy에서 기준선과 비교한다.
- [suite-versioning] evaluation suite, case, expectation과 evaluator version을 불변 revision으로 관리한다.
- [candidate-baseline] candidate와 baseline release를 같은 case·metric 구성으로 실행하고 각 evaluation run이 비교한 불변 release identity를 참조하게 한다.
- [metric-gates] retrieval, answer, latency와 cost metric에 required threshold와 regression tolerance를 적용한다.
- [evaluation-state] pending, running, passed, failed, invalid 상태와 재실행 idempotency를 보존한다.
Epic: [promotion] 운영 승인과 Rollback
평가와 production 변경 사이에 명시적 운영 결정을 둔다.
- [promotion-eligibility] 모든 required gate가 통과한 candidate만 promotion eligible로 표시한다.
- [manual-promotion] release와 evaluation evidence를 연결한 promotion decision을 만들고 명시적 운영 명령으로 alias를 전환하며 actor·근거를 audit한다.
- [rollback-audit] 이전 release로 rollback하고 평가·승격·rollback chain을 조회할 수 있다. 검증: regression 차단, 승인 경쟁과 rollback 통합 테스트가 통과한다.
완료 리뷰
- 상태: 없음
- 요청일: 없음
- 완료 근거: 모든 기능 Task와 검증 충족 및 구현 잠금 해제 여부를 완료 시 기록한다.
- 검토 항목: candidate-baseline 재현성, required gate 차단, 수동 promotion과 rollback audit
- agent-ui 상태 반영: 해당 없음
- 리뷰 코멘트: 없음
범위 제외
- metric 통과만으로 자동 production 승격
- 범용 LLM judge 플랫폼 전체 구현
- evaluation dataset을 training dataset과 동일 객체로 사용
작업 컨텍스트
- 관련 경로:
packages/go/controlplane/,packages/go/workflow/,packages/python/,db/ - 표준선(선택): immutable suite revision, baseline comparison, explicit promotion
- 선행 작업: Retrieve와 Answer Pipeline, Index 게시와 Release 수명주기
- 후속 작업: 지속 갱신 Orchestration, Drift와 선별 Feedback
- 확인 필요: 없음