iop/agent-roadmap/phase/routing-policy-model-orchestration/PHASE.md

Phase: 라우팅 정책과 모델 오케스트레이션

상태

[계획]

목표

IOP의 OpenAI-compatible, A2A, IOP native 입력 표면에서 들어온 요청을 local/cloud/provider API 후보로 선택하는 라우팅 정책 도메인을 별도로 관리한다. 이 Phase는 단순 provider capacity routing을 넘어 skill/예약어 기반 고신뢰 route, 자동 triage, analysis budget, context optimizer, score policy, route learning loop, API provider catalog를 연결해 비용, 품질, latency, local 우선 전략을 함께 최적화하는 책임을 다룬다. 초기에는 컨셉과 정책 경계를 스케치하고, 구현 가능한 단위로 승격할 때 OpenAI-compatible metadata/config/schema, usage ledger, provider catalog와의 계약을 별도 SDD로 재판정한다.

Milestone 흐름

완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획, 스케치 또는 보류 Milestone은 이 Phase 하위 milestones/ 경로를 가리킨다. 완료, 검토중, 진행중, 계획, 스케치 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다. 스케치 Milestone은 아직 구현 가능한 계획이 아니므로 계획 Milestone보다 아래에 둔다.

• [완료] OpenAI-compatible Raw Tunnel 기반

  • 경로: openai-compatible-raw-tunnel-sideband-passthrough
  • 요약: OpenAI-compatible provider 응답을 기존 Edge-Node proto-socket 위 lossless raw tunnel로 전달하는 기반을 만들었다. 현재 계약 동기화 작업에서는 이 기반 위에서 public request selector를 제거하고 model/provider capability 기반 passthrough로 정렬한다.

• [완료] Seulgivibe OpenAI-compatible Provider 연동

  • 경로: seulgivibe-openai-compatible-provider
  • 요약: Seulgivibe Claude/OpenAI 프록시를 OpenAI-compatible provider family로 관리하고, model group에서는 OpenAI-compatible passthrough provider로 분류한다. 정적 catalog, 요청 시점 provider token forwarding, Codex Responses passthrough는 코드 감사와 spec sync까지 통과해 archive했다.

• [완료] Model Group Mixed Provider Dispatch

  • 경로: model-group-mixed-provider-dispatch
  • 요약: model group provider pool에서 OpenAI-compatible provider와 Ollama/CLI 같은 normalized provider를 같은 후보군으로 두고, 기존 capacity+priority 선택 뒤 OpenAI-compatible 지원 provider는 모두 passthrough, native provider는 normalized 실행 경로로 자동 결정한다.

• [완료] OpenAI-compatible Provider Passthrough 계약 동기화

  • 경로: openai-compatible-provider-passthrough-contract-sync
  • 요약: 사용자 설계 의도에 맞춰 model 기반 provider capability routing을 source of truth로 두고, OpenAI-compatible provider의 provider-native payload를 Edge allowlist 없이 raw tunnel로 보존하며, metadata는 IOP known-key를 read-only로 발췌하는 container로만 정리했다. 종료 감사에서 code audit, local Go tests, spec sync를 통과해 archive했다.

• [스케치] OpenAI-compatible 하이브리드 라우팅과 컨텍스트 최적화

  • 경로: openai-compatible-hybrid-routing-context-optimization
  • 요약: skill/예약어 기반 lane/grade 라우팅을 고신뢰 경로로 유지하고, DiffusionGemma 같은 로컬 모델을 자동 triage, negative guard, cloud context 최적화 보조, 주기적 scoring policy 학습 루프로 선택적으로 사용하는 hybrid local/cloud routing 방향을 스케치한다.

Phase 경계

• 이 Phase는 routing policy, model/API provider selection, analysis budget, score policy, policy versioning, learning loop, local/cloud escalation 기준을 소유한다.
• provider/device/model의 실제 serving path, lifecycle, model acquisition, runtime launch/restart는 운영 관측과 Provider 관리 및 provider runtime 후속 Milestone 책임으로 둔다.
• planner/generator/verifier 단계 호출, tool/schema validation, output validation 자체는 지식과 도구 최적화 확장 Phase 책임으로 두고, 이 Phase는 그 실행 모드를 어떤 provider/target으로 보낼지에 대한 route policy를 다룬다.
• CLI agent task file 기반 PLAN-{lane}-GNN.md/CODE_REVIEW-{lane}-GNN.md 생성과 code-review loop lifecycle은 agent-ops skill 책임이며, 이 Phase는 그 결과를 runtime route signal로 해석하는 정책과 운영 데이터를 다룬다.
• billing/chargeback, 조직 IAM, 장기 retention 정책은 후속 운영/보안 Milestone에서 결정한다.