3.8 KiB
3.8 KiB
Milestone: Drift와 선별 Feedback
위치
- Roadmap: ROADMAP.md
- Phase: PHASE.md
목표
active RAG의 품질 변화를 window 단위로 감시하고, 모든 요청이 아니라 낮은 confidence, 오류, 사용자 feedback과 제한된 shadow 비교에서 의미 있는 차이가 난 사례만 보정 후보로 남긴다.
상태
[스케치]
승격 조건
- confidence가 provider 자기보고 값이 아니라 calibration된 신호 조합이 되도록 정의한다.
- shadow 실행 비율, 비용 한도와 데이터 보존 정책을 정의한다.
- 차이 판정 metric과 review queue 진입 기준을 정의한다.
- active 로컬 경로의 전량 수집을 금지하고 opt-in·선별 수집 경계를 고정한다.
- 비용·보존·feedback lifecycle을 다루는 SDD 필요성을 확정하고 SDD를 작성했다.
구현 잠금
- 상태: 잠금
- SDD: 필요
- SDD 문서: SDD.md
- SDD 사유: selective capture lifecycle, bounded shadow, privacy·retention과 feedback routing 계약을 정의한다.
- 잠금 해제 조건:
- SDD 잠금이 해제되어 있다.
- SDD 사용자 리뷰가 없거나 승인/해결되었다.
- Acceptance Scenario가 Milestone 기능 Task와 연결되어 있다.
- Evidence Map이 완료 시 Roadmap Completion과 최종 검증 evidence로 검증 가능하게 연결되어 있다.
- 모든 승격 조건이 해소되고 Milestone 상태가
[계획]이다.
- 결정 필요: 없음
범위
- release·source freshness와 online quality drift window
- calibrated confidence와 failure·user feedback signal
- 제한된 기간의 teacher·shadow 동시 실행과 결과 차이
- selective feedback queue, 중복 제거와 민감 정보 필터
- RAG 보정과 training candidate로의 분리된 handoff
기능
Epic: [drift] 품질 변화 감지
단일 request가 아니라 release와 기간별 품질 추세를 감시한다.
- [drift-windows] quality, latency, freshness와 failure 지표를 release·segment별 window로 집계한다.
- [confidence-calibration] retrieval coverage, rerank margin, generation validation과 provider signal을 calibration한다.
- [shadow-comparison] 설정된 비율과 비용 한도 안에서 teacher·shadow 결과 차이를 비교한다.
Epic: [feedback] 선별 보정 입력
운영 요청 전량을 저장하지 않고 보정 가치가 높은 사례만 provenance와 함께 남긴다.
- [selective-capture] low-confidence, 큰 shadow 차이, explicit feedback과 error 사례만 정책에 따라 수집한다.
- [privacy-dedup] 보존 전 redaction, consent·retention 검증과 semantic deduplication을 적용한다.
- [feedback-routing] 사례를 RAG source 보정, evaluation case 또는 training candidate로 분류한다.
완료 리뷰
- 상태: 없음
- 요청일: 없음
- 완료 근거: 스케치 단계이며
[계획]승격 뒤 기록한다. - 검토 항목: 승격 조건과 후속 SDD gate
- agent-ui 상태 반영: 해당 없음
- 리뷰 코멘트: 없음
범위 제외
- active 경로의 무조건적 전량 저장과 자기 학습
- confidence threshold 하나만으로 자동 모델 교체
- shadow 결과의 자동 정답 취급
작업 컨텍스트
- 관련 경로:
packages/go/controlplane/,packages/go/rag/,packages/go/workflow/,db/ - 표준선(선택): selective capture, bounded shadow, calibrated confidence, human-auditable provenance
- 선행 작업: 평가와 승격 Gate, 지속 갱신 Orchestration
- 후속 작업: 훈련 Dataset 정제
- 확인 필요: 없음