iop/agent-ops/roadmap/milestones/model-serving-load-routing.md

모델 서빙과 부하 라우팅

목표

로컬/클라우드 모델 runtime을 IOP의 adapter + target 실행 모델 안에서 운영할 수 있도록 Responses API를 포함한 OpenAI-compatible 모델 호출 표면, 모델 profile, 모델 선택, 부하 라우팅, 호출 로그와 품질 평가 기준을 정리한다. 로컬 모델을 우선 활용하되 cloud fallback과 품질 평가를 결합해 엔터프라이즈 모델 서비스에 가까운 운영 품질을 목표로 한다. RAG, MCP, web search, output validation 같은 최적화 계층으로 넘어가기 전에 기본 모델 서빙과 라우팅 기반을 먼저 만든다.

단계

서빙 라우팅과 최적화 기반

상태

계획

구현 잠금

• 상태: 잠금
• 이유: serving/routing 책임 경계와 protocol/API 기준을 정리하는 게이트 문서이며, 구현 가능한 세부 설계가 아직 확정되지 않았다.
• 해제 조건:
  • 모델 profile, local/cloud routing, 부하 라우팅, 품질 평가 기준이 문서화됨
  • OpenAI-compatible chat completions와 Responses API, A2A, IOP native protocol 경계가 구체화됨
  • 사용자가 이 Milestone의 구현 구체화와 잠금 해제를 명시적으로 승인함
• 잠금 중 금지:
  • 코드 구현 또는 agent-task 구현 계획 생성
  • API/DB/package/file 구조를 추측해 확정
  • RAG/MCP/web search/검증 최적화를 이 Milestone에서 선구현

범위

• 로컬/클라우드 모델 runtime profile 관리 기준
• 모델 선택, 부하 라우팅, fallback 후보 판단 기준
• OpenAI-compatible /v1/chat/completions와 /v1/responses 호출을 내부 adapter + target 실행으로 해석하는 경계
• IOP native protocol 기반 내부 모델 호출 인터페이스 후보
• 모델 호출 로그, usage, 품질 평가 신호의 책임 위치
• NomadCode direct model endpoint 또는 Ollama fallback 전환을 지원하기 위한 IOP 측 모델 호출 표면

필수 기능

• [model-routing] 모델 선택과 local/cloud routing은 IOP 책임으로 정의한다.
• [cloud-fallback] 로컬 모델 우선 활용과 cloud fallback 기준을 함께 정의한다.
• [responses-api] OpenAI-compatible API는 chat completions와 Responses API를 포함하는 외부 모델 기반 호출 표면으로 정의한다.
• [a2a-boundary] A2A API는 외부 agent의 작업 위임 표면으로 제한한다.
• [nomadcode-a2a] NomadCode의 A2A 도입 시점은 이 Milestone에서 강제하지 않고 별도 판단으로 남긴다.
• [native-protocol] IOP native protocol은 proto-socket 기반 내부/운영 호출 기준으로 둔다.
• [optimization-later] RAG, MCP, web search, output validation은 기본 serving/load routing 이후 단계로 명시한다.

완료 기준

• Responses API 호환 지원 범위와 chat completions baseline의 차이가 문서화된다.
• 모델 profile, routing 입력값, routing 결과, fallback 책임 경계가 문서화된다.
• 외부 API 표면과 IOP native protocol의 역할이 충돌하지 않는다.
• NomadCode direct model endpoint/Ollama fallback 전환에 필요한 IOP 측 계약이 정리된다.
• 다음 Milestone인 지식/도구/검증 최적화로 넘어갈 선행 조건이 정의된다.

범위 제외

• RAG 검색, context 압축, web search, MCP/tool policy 구현
• output validation, retry/fallback loop의 세부 알고리즘 구현
• NomadCode 전용 task metadata 계약 확정
• 외부 Agent CLI adapter 추가 구현

작업 컨텍스트

• 관련 앱: apps/edge, apps/node
• 관련 패키지: packages/config, packages/observability, proto/iop
• 관련 문서: docs/architecture.md, apps/edge/README.md
• 선행 Milestone: Edge 입력 표면, CLI Automation Runtime 안정화
• 후속 Milestone: 지식, 도구 정책, 검증 최적화