1.5 KiB
1.5 KiB
Phase: 추론 서버 provider 확장
상태
[계획]
목표
Ollama 경로가 안정화된 뒤, 그 결과를 기준선으로 삼아 SGLang 같은 추가 추론 서버 provider를 붙인다. 이 Phase는 여러 provider의 adapter/config/target/model 매핑을 성급히 일반화하지 않고, Ollama에서 검증된 serving 기준을 기준선으로 삼아 추가 provider를 하나씩 검증한다.
Milestone 흐름
완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획 또는 보류 Milestone은 이 Phase 하위 milestones/ 경로를 가리킨다.
완료, 검토중, 진행중, 계획 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다.
- [계획] SGLang provider 서빙 경로 추가
- 경로:
agent-roadmap/phase/inference-provider-extension/milestones/sglang-provider-serving-validation.md - 요약: Ollama 경로가 안정화된 뒤 추가 추론 서버 provider로 SGLang을 붙이고, 같은 Edge OpenAI-compatible 입력 표면에서 모델 조회와 non-streaming/streaming chat을 검증한다.
- 경로:
Phase 경계
- 이 Phase는 Ollama 경로 안정화가 선행된 뒤 시작한다.
- 진행중인 Ollama 실테스트와 후속 안정화 작업을 이 Phase로 흡수하지 않는다.
- 여러 추론 서버 provider 표준화는 Ollama 경로가 안정화된 결과를 기준선으로 삼아 진행한다.
- cloud fallback, 자동 부하 라우팅, 품질 평가 feedback과 후속 최적화 계층은 이 Phase에서 다루지 않는다.