1.6 KiB
1.6 KiB
Phase: 품질 거버넌스
상태
[계획]
목표
RAG 변경을 감각이 아닌 재현 가능한 평가와 운영 지표로 판단한다. 후보 release는 기준선 비교와 정책 gate를 거쳐 명시적으로 승격하고, drift와 feedback은 무조건 학습하지 않고 선별된 보정 입력으로 관리한다.
Milestone 흐름
Phase를 가로지르는 실제 다음 작업 선택은 전역 마일스톤 실행 순서를 우선한다.
- [계획] 평가와 승격 Gate
- 경로: 평가와 승격 Gate
- 요약: evaluation suite, 기준선 비교, 수동 승격과 rollback audit를 완성한다.
- [계획] Retrieval 정책 최적화
- 경로: Retrieval 정책 최적화
- 요약: chunking·embedding·hybrid·rerank·query 변환 정책을 재현 가능한 실험과 gate로 최적화한다.
- [스케치] Drift와 선별 Feedback
- 경로: Drift와 선별 Feedback
- 요약: 저신뢰와 shadow 불일치만 선별해 보정 데이터로 축적하는 정책을 설계한다.
Phase 경계
- active 경로의 모든 요청을 무조건 학습 데이터로 저장하지 않는다.
- 평가 결과만으로 production을 자동 승격하지 않고 초기 운영은 명시적 수동 승격을 유지한다.
- 정책 실험의 승자가 active release를 직접 변경하지 않고 candidate policy와 평가 근거만 생성한다.
- 품질 지표와 운영 trace의 보존 기간·민감 데이터 정책을 분리한다.