toki/rara
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
rara/agent-roadmap/phase/selective-adaptation/milestones/training-dataset-curation.md
toki d4546ecbfd
Some checks are pending
ci / validate (push) Waiting to run
Details
add agent-roadmap
2026-07-18 19:31:48 +09:00

3.5 KiB
Raw Permalink Blame History

Milestone: 훈련 Dataset 정제

위치

목표

evaluation과 selective feedback에서 검증된 사례를 provenance가 있는 training candidate로 관리하고, 중복·오염·누출을 제거한 train·validation·holdout dataset release로 승격한다.

상태

[스케치]

승격 조건

  • RAG 보정 사례와 tuning 후보를 분리하는 승격 기준을 정의한다.
  • teacher provenance, license, consent와 retention 필드를 확정한다.
  • train·validation·holdout 분리와 contamination 검출 기준을 정의한다.
  • dataset quality gate와 사용자 승인 필요 범위를 정의한다.
  • training candidate와 dataset promotion lifecycle을 다루는 SDD 필요성을 확정하고 SDD를 작성했다.

구현 잠금

  • 상태: 잠금
  • SDD: 필요
  • SDD 문서: SDD.md
  • SDD 사유: candidate review, provenance·retention, split과 immutable training release 상태 계약을 정의한다.
  • 잠금 해제 조건:
    • SDD 잠금이 해제되어 있다.
    • SDD 사용자 리뷰가 없거나 승인/해결되었다.
    • Acceptance Scenario가 Milestone 기능 Task와 연결되어 있다.
    • Evidence Map이 완료 시 Roadmap Completion과 최종 검증 evidence로 검증 가능하게 연결되어 있다.
    • 모든 승격 조건이 해소되고 Milestone 상태가 [계획]이다.
  • 결정 필요: 없음

범위

  • training candidate와 검토 상태
  • teacher·source·release·feedback provenance
  • redaction, deduplication, label consistency와 contamination 검사
  • train·validation·holdout split과 불변 dataset release
  • recipe, statistics와 quality report

기능

Epic: [candidate] 훈련 후보 수명주기

운영 데이터가 검증 없이 바로 학습에 들어가지 않게 승격 단계를 둔다.

  • [candidate-intake] evaluation·feedback 사례를 provenance와 policy verdict를 가진 candidate로 수집한다.
  • [candidate-review] reject, quarantine, accepted 상태와 이유를 보존한다.
  • [redaction-dedup] 민감 정보 제거, exact·semantic deduplication과 license 검증을 수행한다.

Epic: [dataset] 재현 가능한 훈련 Release

동일 recipe에서 동일 split과 quality report를 재현한다.

  • [dataset-split] entity·source leakage를 막는 train·validation·holdout 분리를 수행한다.
  • [contamination-check] evaluation·holdout contamination과 label conflict를 탐지한다.
  • [training-release] content hash, recipe, statistics와 provenance를 가진 불변 training dataset release를 게시한다.

완료 리뷰

  • 상태: 없음
  • 요청일: 없음
  • 완료 근거: 스케치 단계이며 [계획] 승격 뒤 기록한다.
  • 검토 항목: 승격 조건과 후속 SDD gate
  • agent-ui 상태 반영: 해당 없음
  • 리뷰 코멘트: 없음

범위 제외

  • 운영 trace 전량을 자동 training data로 사용
  • evaluation dataset과 holdout dataset의 혼용
  • 모델 학습 실행 자체

작업 컨텍스트

  • 관련 경로: packages/go/controlplane/, packages/go/workflow/, packages/python/, db/
  • 표준선(선택): provenance-first, immutable split, contamination gate
  • 선행 작업: Drift와 선별 Feedback
  • 후속 작업: LoRA와 QLoRA 실행
  • 확인 필요: 없음