toki/iop
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
iop/agent-roadmap/phase/inference-provider-extension/PHASE.md
toki 3624ff0f01 feat: node multi-target serving foundation 
- Add inference provider extension phase and milestones for node multi-target serving
- Update edge cmd config and node mapper for multi-target support
- Add Ollama adapter updates and transport client changes
- Update config package and edge.yaml for new settings
- Extend runtime proto with multi-target serving fields
- Add agent task archives and plans for adapter registry, route catalog,
  engine profiles, edge options, commands/caps, runtime concurrency,
  and field smoke tests
2026-06-11 04:09:48 +09:00

2 KiB
Raw Blame History

Phase: 추론 서버 provider 확장

상태

[계획]

목표

Ollama 경로가 안정화된 뒤, 그 결과를 기준선으로 삼아 SGLang 같은 추가 추론 서버 provider를 붙인다. 이 Phase는 하나의 Node transport 위에서 여러 CLI profile, terminal gateway, 추론 엔진, model target을 함께 쓰는 구조를 기준선으로 삼고, provider별 adapter/config/target/model 매핑을 단계적으로 검증한다.

Milestone 흐름

완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획 또는 보류 Milestone은 이 Phase 하위 milestones/ 경로를 가리킨다. 완료, 검토중, 진행중, 계획 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다.

  • [계획] Node 단일 통로 멀티 타겟 서빙 기반

    • 경로: agent-roadmap/phase/inference-provider-extension/milestones/node-multi-target-serving-foundation.md
    • 요약: 하나의 Node 연결이 여러 CLI profile, terminal gateway, Ollama/vLLM/SGLang 같은 추론 엔진 연결, 여러 model target을 동시에 제공할 수 있도록 config/proto/routing/runtime 기준선을 정리한다.

  • [계획] SGLang provider 서빙 경로 추가

    • 경로: agent-roadmap/phase/inference-provider-extension/milestones/sglang-provider-serving-validation.md
    • 요약: Ollama 경로가 안정화된 뒤 추가 추론 서버 provider로 SGLang을 붙이고, 같은 Edge OpenAI-compatible 입력 표면에서 모델 조회와 non-streaming/streaming chat을 검증한다.

Phase 경계

  • 이 Phase는 Ollama 경로 안정화가 선행된 뒤 시작한다.
  • 진행중인 Ollama 실테스트와 후속 안정화 작업을 이 Phase로 흡수하지 않는다.
  • 여러 추론 서버 provider 표준화는 Ollama 경로가 안정화된 결과와 Node 단일 통로 멀티 타겟 기준선을 함께 기준으로 삼아 진행한다.
  • cloud fallback, 자동 부하 라우팅, 품질 평가 feedback과 후속 최적화 계층은 이 Phase에서 다루지 않는다.