toki/iop
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
iop/agent-ops/roadmap/phase/serving-routing-optimization/milestones/knowledge-tool-validation-optimization.md

3.4 KiB
Raw Blame History

Milestone: 지식, 도구 정책, 검증 최적화

위치

  • Roadmap: agent-ops/roadmap/ROADMAP.md
  • Phase: agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md

목표

기본 모델 서빙과 부하 라우팅이 가능해진 뒤, RAG, context 구성/압축, web search, MCP 정책, tool policy, output validation, retry/fallback을 IOP의 추론 최적화 계층으로 확장한다. NomadCode는 이 계층의 소비자 중 하나이며, 이 Milestone은 특정 Agent Shell에 종속되지 않는 공통 IOP 책임을 정의한다.

상태

[계획]

구현 잠금

  • 상태: 잠금
  • 결정 필요: 아래 체크리스트
    • 첫 최적화 범위를 RAG, web search, MCP/tool policy, validation/fallback 중 어디까지로 둘지 결정한다.
    • MCP/tool policy와 web search의 보안 기본값을 허용 중심으로 둘지 차단/승인 중심으로 둘지 결정한다.
    • validation/fallback의 품질 기준을 어떤 신호와 임계값으로 시작할지 결정한다.

범위

  • RAG 검색과 context 구성/압축 책임 경계
  • web search를 IOP 지식 소스로 통합하는 기준
  • MCP allow/block/injection 정책과 tool policy 기준
  • output validation, retry/fallback, token/속도/품질 최적화 기준
  • 모델 호출 로그와 품질 평가 결과를 후속 routing 판단에 연결하는 방향

필수 기능

Epic: [knowledge-policy] Knowledge and Tool Policy

  • [knowledge-policy] RAG, context, web search, MCP, tool policy, validation은 IOP 책임으로 정의한다.
  • [client-surface] 외부 client는 NomadCode 전용 metadata가 아니라 OpenAI-compatible, A2A, IOP native protocol 경계 중 맞는 표면을 통해 IOP를 소비한다.
  • [shell-boundary] 특정 Agent Shell이나 Project Workspace UI 요구가 IOP 최적화 책임을 오염시키지 않도록 범위를 분리한다.
  • [validation-policy] 검증과 fallback은 모델 선택/라우팅 결과를 보완하는 IOP 내부 정책으로 정의한다.

완료 기준

  • 지식 소스, context 구성, MCP/tool policy, validation/fallback 책임 경계가 문서화된다.
  • web search가 RAG/context 최적화 후보에 포함된다.
  • NomadCode와 다른 외부 agent가 같은 IOP 책임 경계를 소비할 수 있음이 설명된다.

완료 리뷰

  • 상태: 없음
  • 요청일: 없음
  • 완료 근거: 모든 필수 Task와 완료 기준이 아직 모두 충족되지 않았다.
  • 리뷰 필요:
    • 사용자가 완료 결과를 확인했다
    • archive 이동을 승인했다
  • 리뷰 코멘트: 없음

범위 제외

  • 기본 모델 serving/load routing 없이 RAG/MCP/validation부터 구현
  • NomadCode Agent Shell 자체 구현
  • NomadCode 전용 Project Workspace, diff/PR/branch/commit UX
  • OpenCode, Aider, Claude Code, Gemini CLI, Codex CLI adapter 직접 추가 구현

작업 컨텍스트

  • 관련 경로: apps/edge, apps/node, apps/control-plane, packages/policy, packages/observability, proto/iop, docs/architecture.md, agent-ops/roadmap/phase/serving-routing-optimization/milestones/model-serving-load-routing.md
  • 표준선(선택): 기본 모델 serving/load routing이 먼저 안정화된 뒤 최적화 계층을 붙인다.
  • 선행 작업: 모델 서빙과 부하 라우팅
  • 후속 작업: Control Plane과 Portal, 정책/이력/감사
  • 확인 필요: 첫 최적화 범위, tool/web 보안 기본값, validation/fallback 품질 기준