iop/agent-ops/roadmap/phase/serving-routing-optimization/milestones/model-serving-load-routing.md

Milestone: 모델 서빙과 부하 라우팅

위치

• Roadmap: agent-ops/roadmap/ROADMAP.md
• Phase: agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md

목표

로컬/클라우드 모델 runtime을 IOP의 adapter + target 실행 모델 안에서 운영할 수 있도록 Responses API를 포함한 OpenAI-compatible 모델 호출 표면, 모델 profile, 모델 선택, 부하 라우팅, 호출 로그와 품질 평가 기준을 정리한다. 로컬 모델을 우선 활용하되 cloud fallback과 품질 평가를 결합해 엔터프라이즈 모델 서비스에 가까운 운영 품질을 목표로 한다. RAG, MCP, web search, output validation 같은 최적화 계층으로 넘어가기 전에 기본 모델 서빙과 라우팅 기반을 먼저 만든다.

상태

[계획]

구현 잠금

• 상태: 잠금
• 결정 필요: 아래 체크리스트
  • local-first와 cloud fallback의 비용/품질 우선순위 기본값을 결정한다.
  • OpenAI-compatible Responses API 호환 범위를 어느 수준까지 1차 목표로 둘지 결정한다.
  • 모델 품질 평가와 routing feedback에 사용할 초기 신호를 결정한다.

범위

• 로컬/클라우드 모델 runtime profile 관리 기준
• 모델 선택, 부하 라우팅, fallback 후보 판단 기준
• OpenAI-compatible /v1/chat/completions와 /v1/responses 호출을 내부 adapter + target 실행으로 해석하는 경계
• IOP native protocol 기반 내부 모델 호출 인터페이스 후보
• 모델 호출 로그, usage, 품질 평가 신호의 책임 위치
• NomadCode direct model endpoint 또는 Ollama fallback 전환을 지원하기 위한 IOP 측 모델 호출 표면

필수 기능

Epic: [model-routing-core] Model Routing Core

• [model-routing] 모델 선택과 local/cloud routing은 IOP 책임으로 정의한다.
• [cloud-fallback] 로컬 모델 우선 활용과 cloud fallback 기준을 함께 정의한다.
• [responses-api] OpenAI-compatible API는 chat completions와 Responses API를 포함하는 외부 모델 기반 호출 표면으로 정의한다.

Epic: [protocol-boundary] Protocol Boundary

• [a2a-boundary] A2A API는 외부 agent의 작업 위임 표면으로 제한한다.
• [nomadcode-a2a] NomadCode의 A2A 도입 시점은 이 Milestone에서 강제하지 않고 별도 판단으로 남긴다.
• [native-protocol] IOP native protocol은 proto-socket 기반 내부/운영 호출 기준으로 둔다.
• [optimization-later] RAG, MCP, web search, output validation은 기본 serving/load routing 이후 단계로 명시한다.

완료 기준

• Responses API 호환 지원 범위와 chat completions baseline의 차이가 문서화된다.
• 모델 profile, routing 입력값, routing 결과, fallback 책임 경계가 문서화된다.
• 외부 API 표면과 IOP native protocol의 역할이 충돌하지 않는다.
• NomadCode direct model endpoint/Ollama fallback 전환에 필요한 IOP 측 계약이 정리된다.
• 다음 Milestone인 지식/도구/검증 최적화로 넘어갈 선행 조건이 정의된다.

범위 제외

• RAG 검색, context 압축, web search, MCP/tool policy 구현
• output validation, retry/fallback loop의 세부 알고리즘 구현
• NomadCode 전용 task metadata 계약 확정
• 외부 Agent CLI adapter 추가 구현

작업 컨텍스트

• 관련 경로: apps/edge, apps/node, packages/config, packages/observability, proto/iop, docs/architecture.md, apps/edge/README.md
• 표준선(선택): 내부 실행 계약은 adapter + target을 유지하고, OpenAI-compatible API는 외부 호환 입력 표면으로 둔다.
• 선행 작업: Edge 입력 표면, CLI Automation Runtime 안정화
• 후속 작업: 지식, 도구 정책, 검증 최적화
• 확인 필요: local/cloud 우선순위, Responses API 1차 범위, 품질 평가 신호