30 lines
1.6 KiB
Markdown
30 lines
1.6 KiB
Markdown
# Phase: 품질 거버넌스
|
|
|
|
## 상태
|
|
|
|
[계획]
|
|
|
|
## 목표
|
|
|
|
RAG 변경을 감각이 아닌 재현 가능한 평가와 운영 지표로 판단한다. 후보 release는 기준선 비교와 정책 gate를 거쳐 명시적으로 승격하고, drift와 feedback은 무조건 학습하지 않고 선별된 보정 입력으로 관리한다.
|
|
|
|
## Milestone 흐름
|
|
|
|
Phase를 가로지르는 실제 다음 작업 선택은 [전역 마일스톤 실행 순서](../../priority-queue.md)를 우선한다.
|
|
|
|
- [계획] 평가와 승격 Gate
|
|
- 경로: [평가와 승격 Gate](milestones/evaluation-and-promotion-gates.md)
|
|
- 요약: evaluation suite, 기준선 비교, 수동 승격과 rollback audit를 완성한다.
|
|
- [계획] Retrieval 정책 최적화
|
|
- 경로: [Retrieval 정책 최적화](milestones/retrieval-policy-optimization.md)
|
|
- 요약: chunking·embedding·hybrid·rerank·query 변환 정책을 재현 가능한 실험과 gate로 최적화한다.
|
|
- [스케치] Drift와 선별 Feedback
|
|
- 경로: [Drift와 선별 Feedback](milestones/drift-and-selective-feedback.md)
|
|
- 요약: 저신뢰와 shadow 불일치만 선별해 보정 데이터로 축적하는 정책을 설계한다.
|
|
|
|
## Phase 경계
|
|
|
|
- active 경로의 모든 요청을 무조건 학습 데이터로 저장하지 않는다.
|
|
- 평가 결과만으로 production을 자동 승격하지 않고 초기 운영은 명시적 수동 승격을 유지한다.
|
|
- 정책 실험의 승자가 active release를 직접 변경하지 않고 candidate policy와 평가 근거만 생성한다.
|
|
- 품질 지표와 운영 trace의 보존 기간·민감 데이터 정책을 분리한다.
|