iop/agent-roadmap/phase/knowledge-tool-optimization-extension/milestones/knowledge-tool-validation-optimization.md

3.8 KiB

Milestone: 단계 호출과 검증 최적화 MVP

위치

목표

로컬 모델 성능 향상을 위해 요청 의도 분석, 실제 작업, 검증과 runtime schema 강제를 나누는 단계 호출 실행 모드를 스케치한다. 검증 실패 시 어느 단계로 되돌릴지, tool/schema 강제를 어느 경계에서 적용할지, 외부 소비자가 어떤 모드로 선택할지를 정하되, 세부 API와 구현은 사용자 검토 뒤 구체화한다.

상태

[스케치]

승격 조건

  • 단계 호출의 MVP 역할 분리를 확정한다.
  • tool call/schema 강제와 output validation의 최소 책임 경계를 결정한다.
  • 검증 실패 시 회귀 정책과 사용자 노출 방식을 결정한다.
  • OpenAI-compatible metadata, A2A, IOP native 중 어떤 표면에서 실행 모드를 선택할지 결정한다.

구현 잠금

  • 상태: 잠금
  • 결정 필요: 아래 체크리스트
    • 1차 모델, 2차 모델, 3차 모델의 역할을 planner/generator/verifier로 나눌지 다른 이름과 경계로 둘지 결정한다.
    • runtime schema 강제를 Edge API, Node adapter, 별도 validation worker 중 어디에서 시작할지 결정한다.
    • 검증 실패 시 자동 retry/rollback을 기본으로 할지, 사용자 승인 뒤 재시도할지 결정한다.

범위

  • 요청 의도 분석, tool call 계획, 실제 작업, 검증/schema 강제의 단계 호출 MVP 경계
  • validation 실패 시 planner/generator/verifier 중 어느 단계로 회귀할지에 대한 정책 후보
  • 단순 부하 라우팅과 하네스 기반 검증/재시도 모드의 책임 분리
  • 외부 소비자가 선택 가능한 실행 모드 후보

기능

Epic: [stage-validate] Staged Validation Mode

단계 호출과 검증 모드를 구현 계획 전 검토 가능한 수준으로 나누는 산출물을 묶는다.

  • [role-split] 의도 분석, 실제 작업, 검증/schema 강제의 MVP 역할 경계가 정리되어 있다.
  • [schema-policy] tool call과 runtime schema 강제의 최소 적용 지점 후보가 정리되어 있다.
  • [retry-route] 검증 실패 시 회귀와 retry/fallback 정책 후보가 정리되어 있다.
  • [mode-surface] 외부 소비자가 단계 호출 모드를 선택할 표면 후보가 정리되어 있다.
  • [mvp-review] 사용자가 단계 호출 MVP 범위와 2차 후보를 검토했다.

완료 리뷰

  • 상태: 없음
  • 요청일: 없음
  • 완료 근거: 스케치 Milestone이며 기능 Task가 아직 충족되지 않았다.
  • 리뷰 필요:
    • 사용자가 완료 결과를 확인했다
    • archive 이동을 승인했다
  • 리뷰 코멘트: 없음

범위 제외

  • 장기 기억/RAG update loop 구현
  • Claude advisor류 별도 조언자 UX
  • 로컬 LLM hook 기반 context compression
  • cloud fallback과 품질 평가 feedback 제품화
  • 세부 API/schema 구현 확정

작업 컨텍스트

  • 관련 경로: apps/edge, apps/node, apps/control-plane, packages/go/policy, packages/go/jobs, proto/iop, openai-compatible-api.md
  • 표준선(선택): 외부 실행 호출 계약은 OpenAI-compatible shape를 우선 유지하고, IOP 고유 문맥은 metadata나 IOP native endpoint의 명시 필드로 전달한다.
  • 표준선(선택): 단계 호출은 단순 provider 라우팅과 충돌하는 책임이 아니라, 사용자가 선택할 수 있는 IOP 실행 모드 후보로 본다.
  • 선행 작업: Edge 모델 그룹 Queue 스케줄링 전환, 운영 관측과 Provider 관리
  • 후속 작업: 장기 기억과 RAG 업데이트 사이클 (2차), Advisor와 Context Hook 최적화 (2차)
  • 확인 필요: 역할 분리, schema 강제 지점, 회귀/retry 정책, 실행 모드 선택 표면