37 lines
3.6 KiB
Markdown
37 lines
3.6 KiB
Markdown
# Phase: 라우팅 정책과 모델 오케스트레이션
|
|
|
|
## 상태
|
|
|
|
[계획]
|
|
|
|
## 목표
|
|
|
|
IOP의 OpenAI-compatible, A2A, IOP native 입력 표면에서 들어온 요청을 local/cloud/provider API 후보로 선택하는 라우팅 정책 도메인을 별도로 관리한다.
|
|
이 Phase는 단순 provider capacity routing을 넘어 skill/예약어 기반 고신뢰 route, 자동 triage, analysis budget, context optimizer, score policy, route learning loop, API provider catalog를 연결해 비용, 품질, latency, local 우선 전략을 함께 최적화하는 책임을 다룬다.
|
|
초기에는 컨셉과 정책 경계를 스케치하고, 구현 가능한 단위로 승격할 때 OpenAI-compatible metadata/config/schema, usage ledger, provider catalog와의 계약을 별도 SDD로 재판정한다.
|
|
|
|
## Milestone 흐름
|
|
|
|
완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획, 스케치 또는 보류 Milestone은 이 Phase 하위 `milestones/` 경로를 가리킨다.
|
|
완료, 검토중, 진행중, 계획, 스케치 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다.
|
|
스케치 Milestone은 아직 구현 가능한 계획이 아니므로 계획 Milestone보다 아래에 둔다.
|
|
|
|
- [완료] OpenAI-compatible Raw Tunnel과 Sideband Passthrough
|
|
- 경로: [openai-compatible-raw-tunnel-sideband-passthrough](../../archive/phase/routing-policy-model-orchestration/milestones/openai-compatible-raw-tunnel-sideband-passthrough.md)
|
|
- 요약: OpenAI-compatible provider 응답을 기존 Edge-Node proto-socket 위 lossless raw tunnel로 전달하고, 기본값은 provider-original `passthrough`로 두며, 요청이 명시한 경우에만 `passthrough+sideband` 또는 `transformed`를 사용한다.
|
|
|
|
- [계획] Seulgivibe OpenAI-compatible Provider 연동
|
|
- 경로: [seulgivibe-openai-compatible-provider](milestones/seulgivibe-openai-compatible-provider.md)
|
|
- 요약: Seulgivibe Claude/OpenAI 프록시를 OpenAI-compatible provider family로 관리하고, 정적 catalog, 요청 시점 provider token forwarding, Codex Responses passthrough를 구현한다.
|
|
|
|
- [스케치] OpenAI-compatible 하이브리드 라우팅과 컨텍스트 최적화
|
|
- 경로: [openai-compatible-hybrid-routing-context-optimization](milestones/openai-compatible-hybrid-routing-context-optimization.md)
|
|
- 요약: skill/예약어 기반 lane/grade 라우팅을 고신뢰 경로로 유지하고, DiffusionGemma 같은 로컬 모델을 자동 triage, negative guard, cloud context 최적화 보조, 주기적 scoring policy 학습 루프로 선택적으로 사용하는 hybrid local/cloud routing 방향을 스케치한다.
|
|
|
|
## Phase 경계
|
|
|
|
- 이 Phase는 routing policy, model/API provider selection, analysis budget, score policy, policy versioning, learning loop, local/cloud escalation 기준을 소유한다.
|
|
- provider/device/model의 실제 serving path, lifecycle, model acquisition, runtime launch/restart는 `운영 관측과 Provider 관리` 및 provider runtime 후속 Milestone 책임으로 둔다.
|
|
- planner/generator/verifier 단계 호출, tool/schema validation, output validation 자체는 `지식과 도구 최적화 확장` Phase 책임으로 두고, 이 Phase는 그 실행 모드를 어떤 provider/target으로 보낼지에 대한 route policy를 다룬다.
|
|
- CLI agent task file 기반 `PLAN-{lane}-GNN.md`/`CODE_REVIEW-{lane}-GNN.md` 생성과 code-review loop lifecycle은 agent-ops skill 책임이며, 이 Phase는 그 결과를 runtime route signal로 해석하는 정책과 운영 데이터를 다룬다.
|
|
- billing/chargeback, 조직 IAM, 장기 retention 정책은 후속 운영/보안 Milestone에서 결정한다.
|