iop/agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md

Phase: 서빙 라우팅과 최적화 기반

상태

[계획]

목표

로컬/클라우드 모델 서빙, 모델 profile, 부하 라우팅, 품질 평가 기준을 먼저 정리하고, 이후 RAG/web search/MCP/tool policy/검증 최적화로 확장한다.

Milestone 흐름

완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획 또는 보류 Milestone은 이 Phase 하위 milestones/ 경로를 가리킨다. 완료, 검토중, 진행중, 계획 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다.

• [계획] 모델 서빙과 부하 라우팅

  • 경로: agent-ops/roadmap/phase/serving-routing-optimization/milestones/model-serving-load-routing.md
  • 요약: Responses API를 포함한 OpenAI-compatible 모델 호출 표면, 로컬/클라우드 모델 runtime profile, 모델 선택, 부하 라우팅, 호출 로그와 품질 평가 기준을 IOP 책임으로 정리한다.

• [계획] 지식, 도구 정책, 검증 최적화

  • 경로: agent-ops/roadmap/phase/serving-routing-optimization/milestones/knowledge-tool-validation-optimization.md
  • 요약: 기본 서빙과 부하 라우팅 이후 RAG, context 구성/압축, web search, MCP/tool policy, output validation, retry/fallback을 IOP 최적화 계층으로 확장한다.

Phase 경계

• OpenAI-compatible API는 외부 호환 모델 호출 표면으로 유지한다.
• IOP native protocol은 내부/운영 호출 기준으로 둔다.
• RAG, web search, MCP/tool policy, validation/fallback은 기본 serving/load routing 이후의 최적화 계층으로 다룬다.