3.6 KiB
3.6 KiB
Milestone: Retrieval 정책 최적화
위치
- Roadmap: ROADMAP.md
- Phase: PHASE.md
목표
chunking, embedding, sparse·dense fusion, rerank와 query 변환 정책을 versioned 실험으로 비교해 품질·지연·비용 기준을 만족하는 candidate policy를 만든다. 실험 결과는 자동으로 production을 바꾸지 않고 평가·승격 gate의 명시적 결정 입력이 된다.
상태
[계획]
구현 잠금
- 상태: 해제
- SDD: 필요
- SDD 문서: SDD.md
- SDD 사유: policy experiment lifecycle, 재현성, 예산 제한과 promotion handoff를 정의한다.
- 잠금 해제 조건:
- SDD 잠금이 해제되어 있다.
- SDD 사용자 리뷰가 없거나 승인/해결되었다.
- Acceptance Scenario가 Milestone 기능 Task와 연결되어 있다.
- Evidence Map이 완료 시 Roadmap Completion과 최종 검증 evidence로 검증 가능하게 연결되어 있다.
- 결정 필요: 없음
범위
- chunking, embedding, hybrid retrieval, rerank와 query transformation 정책 공간
- dataset·suite·provider·seed·budget을 고정한 experiment revision
- candidate와 baseline의 품질·latency·cost 비교
- 제약 조건을 만족하는 candidate policy 선택
- 평가·승격 gate로의 명시적 handoff
기능
Epic: [experiment] 재현 가능한 정책 실험
검색 정책 변경을 임의 프롬프트 조정이 아닌 비교 가능한 artifact로 만든다.
- [policy-space] chunking, embedding, hybrid fusion, rerank와 query transformation의 탐색 가능한 policy schema와 capability constraint를 정의한다.
- [experiment-snapshot] dataset, evaluation suite, provider revision, seed와 budget을 불변 experiment revision으로 묶는다.
- [offline-comparison] candidate와 baseline을 같은 입력으로 실행하고 품질·latency·cost 결과와 lineage를 기록한다.
Epic: [selection] Candidate Policy 선별
최고 점수 하나가 아니라 필수 제약과 회귀 허용치를 통과한 정책만 후속 대상으로 만든다.
- [constraint-gates] 품질 threshold, regression tolerance, latency와 cost budget을 적용해 후보를 통과·차단한다.
- [candidate-selection] 통과 후보의 policy snapshot과 비교 근거를 candidate release 입력으로 게시한다.
- [promotion-handoff] candidate policy와 evaluation evidence를 승격 gate에 전달하되 active alias는 직접 변경하지 않는다.
완료 리뷰
- 상태: 없음
- 요청일: 없음
- 완료 근거: 모든 기능 Task와 검증 충족 및 구현 잠금 해제 여부를 완료 시 기록한다.
- 검토 항목: experiment 재현성, provider capability 차이, budget gate와 수동 승격 경계
- agent-ui 상태 반영: 해당 없음
- 리뷰 코멘트: 없음
범위 제외
- production alias 자동 변경
- 범용 AutoML·hyperparameter optimization 제품
- retrieval backend 내부 알고리즘 구현
작업 컨텍스트
- 관련 경로:
packages/go/controlplane/,packages/go/rag/,packages/go/workflow/,packages/python/,db/ - 표준선(선택): immutable experiment revision, same-condition comparison, budget-aware selection, explicit promotion
- 선행 작업: 평가와 승격 Gate, Retrieve와 Answer Pipeline
- 후속 작업: 지속 갱신 Orchestration
- 확인 필요: 없음