35 lines
2.6 KiB
Markdown
35 lines
2.6 KiB
Markdown
# Phase: Ollama 서빙 안정화 기반
|
|
|
|
## 상태
|
|
|
|
[완료]
|
|
|
|
## 목표
|
|
|
|
Edge OpenAI-compatible API에서 Node의 Ollama adapter까지 이어지는 단일 서빙 경로를 안정화한다.
|
|
이 Phase의 목표는 실제 Ollama endpoint 기준으로 모델 조회, non-streaming/streaming chat, reasoning/content 분리, option/API passthrough, split-host field smoke가 안정적으로 재현되는지 확인하는 것이다.
|
|
추가 추론 서버 provider와 provider 표준화는 Ollama 경로가 안정화된 뒤 후속 Phase에서 다룬다.
|
|
|
|
## Milestone 흐름
|
|
|
|
완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획 또는 보류 Milestone은 이 Phase 하위 `milestones/` 경로를 가리킨다.
|
|
완료, 검토중, 진행중, 계획 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다.
|
|
|
|
- [완료] Ollama E2E 서빙 안정화
|
|
- 경로: `agent-roadmap/archive/phase/serving-routing-optimization/milestones/model-serving-load-routing.md`
|
|
- 요약: Edge OpenAI-compatible API를 통해 Node에서 serving 중인 Ollama를 일반 OpenAI/Ollama client 경험에 가깝게 조회, 선택, 호출하는 E2E 한 사이클과 Ollama option/API passthrough를 완료했다. 자동 라우팅, cloud fallback, 품질 평가는 후속으로 미룬다.
|
|
|
|
- [완료] Ollama 실테스트와 후속 안정화
|
|
- 경로: `agent-roadmap/archive/phase/serving-routing-optimization/milestones/ollama-field-validation-follow-up.md`
|
|
- 요약: Apple Silicon Node와 실제 Ollama endpoint를 split-host 환경에서 검증했고, 모델 조회, non-streaming/streaming chat, reasoning/content 분리, option/API passthrough를 확인했다. `edge serve` lifecycle 보완은 후속 Milestone으로 분리했다.
|
|
|
|
- [완료] Field Bootstrap UX와 테스트 포트 정비
|
|
- 경로: `agent-roadmap/archive/phase/serving-routing-optimization/milestones/field-bootstrap-test-port-readiness.md`
|
|
- 요약: code-server field 테스트 포트와 Node artifact/bootstrap 경로를 정리해, 사용자가 Jenkins agent처럼 `toki-labs.com:18080` bootstrap URL과 token 값 하나로 Node 다운로드와 Edge 접속을 끝낼 수 있게 했다.
|
|
|
|
## Phase 경계
|
|
|
|
- OpenAI-compatible API는 외부 호환 모델 호출 표면으로 유지한다.
|
|
- 이 Phase는 Ollama 경로의 안정적인 serving 가능 여부만 다룬다.
|
|
- SGLang 같은 추가 provider와 여러 추론 서버 provider 표준화는 Ollama 경로 안정화 이후의 후속 Phase로 넘긴다.
|
|
- cloud fallback, 자동 부하 라우팅, 품질 평가 feedback과 후속 최적화 계층은 이 Phase에서 다루지 않는다.
|