iop/agent-roadmap/archive/phase/serving-routing-optimization/PHASE.md

Phase: Ollama 서빙 안정화 기반

상태

[완료]

목표

Edge OpenAI-compatible API에서 Node의 Ollama adapter까지 이어지는 단일 서빙 경로를 안정화한다. 이 Phase의 목표는 실제 Ollama endpoint 기준으로 모델 조회, non-streaming/streaming chat, reasoning/content 분리, option/API passthrough, split-host field smoke가 안정적으로 재현되는지 확인하는 것이다. 추가 추론 서버 provider와 provider 표준화는 Ollama 경로가 안정화된 뒤 후속 Phase에서 다룬다.

Milestone 흐름

완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획 또는 보류 Milestone은 이 Phase 하위 milestones/ 경로를 가리킨다. 완료, 검토중, 진행중, 계획 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다.

• [완료] Ollama E2E 서빙 안정화

  • 경로: agent-roadmap/archive/phase/serving-routing-optimization/milestones/model-serving-load-routing.md
  • 요약: Edge OpenAI-compatible API를 통해 Node에서 serving 중인 Ollama를 일반 OpenAI/Ollama client 경험에 가깝게 조회, 선택, 호출하는 E2E 한 사이클과 Ollama option/API passthrough를 완료했다. 자동 라우팅, cloud fallback, 품질 평가는 후속으로 미룬다.

• [완료] Ollama 실테스트와 후속 안정화

  • 경로: agent-roadmap/archive/phase/serving-routing-optimization/milestones/ollama-field-validation-follow-up.md
  • 요약: Apple Silicon Node와 실제 Ollama endpoint를 split-host 환경에서 검증했고, 모델 조회, non-streaming/streaming chat, reasoning/content 분리, option/API passthrough를 확인했다. edge serve lifecycle 보완은 후속 Milestone으로 분리했다.

• [완료] Field Bootstrap UX와 테스트 포트 정비

  • 경로: agent-roadmap/archive/phase/serving-routing-optimization/milestones/field-bootstrap-test-port-readiness.md
  • 요약: code-server field 테스트 포트와 Node artifact/bootstrap 경로를 정리해, 사용자가 Jenkins agent처럼 toki-labs.com:18080 bootstrap URL과 token 값 하나로 Node 다운로드와 Edge 접속을 끝낼 수 있게 했다.

Phase 경계

• OpenAI-compatible API는 외부 호환 모델 호출 표면으로 유지한다.
• 이 Phase는 Ollama 경로의 안정적인 serving 가능 여부만 다룬다.
• SGLang 같은 추가 provider와 여러 추론 서버 provider 표준화는 Ollama 경로 안정화 이후의 후속 Phase로 넘긴다.
• cloud fallback, 자동 부하 라우팅, 품질 평가 feedback과 후속 최적화 계층은 이 Phase에서 다루지 않는다.