toki/iop
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
iop/agent-roadmap/phase/serving-routing-optimization/PHASE.md
toki 3b9f37076a feat: field bootstrap test port readiness milestone complete 
- Add field bootstrap user test documentation
- Update serving-routing-optimization phase and milestone
- Update edge runtime bootstrap and openai server implementation
- Add edge/node binaries build script updates
- Update config structures and tests
- Update architecture and deploy docs
- Archive agent task logs for completed sub-tasks
2026-05-27 14:32:03 +09:00

2.5 KiB
Raw Blame History

Phase: Ollama 서빙 안정화 기반

상태

[진행중]

목표

Edge OpenAI-compatible API에서 Node의 Ollama adapter까지 이어지는 단일 서빙 경로를 안정화한다. 이 Phase의 목표는 실제 Ollama endpoint 기준으로 모델 조회, non-streaming/streaming chat, reasoning/content 분리, option/API passthrough, split-host field smoke가 안정적으로 재현되는지 확인하는 것이다. 추가 추론 서버 provider와 provider 표준화는 Ollama 경로가 안정화된 뒤 후속 Phase에서 다룬다.

Milestone 흐름

완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획 또는 보류 Milestone은 이 Phase 하위 milestones/ 경로를 가리킨다. 완료, 검토중, 진행중, 계획 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다.

  • [완료] Ollama E2E 서빙 안정화

    • 경로: agent-roadmap/archive/phase/serving-routing-optimization/milestones/model-serving-load-routing.md
    • 요약: Edge OpenAI-compatible API를 통해 Node에서 serving 중인 Ollama를 일반 OpenAI/Ollama client 경험에 가깝게 조회, 선택, 호출하는 E2E 한 사이클과 Ollama option/API passthrough를 완료했다. 자동 라우팅, cloud fallback, 품질 평가는 후속으로 미룬다.

  • [완료] Ollama 실테스트와 후속 안정화

    • 경로: agent-roadmap/archive/phase/serving-routing-optimization/milestones/ollama-field-validation-follow-up.md
    • 요약: Apple Silicon Node와 실제 Ollama endpoint를 split-host 환경에서 검증했고, 모델 조회, non-streaming/streaming chat, reasoning/content 분리, option/API passthrough를 확인했다. edge serve lifecycle 보완은 후속 Milestone으로 분리했다.

  • [검토중] Field Bootstrap UX와 테스트 포트 정비

    • 경로: agent-roadmap/phase/serving-routing-optimization/milestones/field-bootstrap-test-port-readiness.md
    • 요약: code-server field 테스트 포트와 Node artifact/bootstrap 경로를 정리해, 사용자가 Jenkins agent처럼 한 줄 명령으로 Node 다운로드와 Edge 접속을 끝낼 수 있게 만든다.

Phase 경계

  • OpenAI-compatible API는 외부 호환 모델 호출 표면으로 유지한다.
  • 이 Phase는 Ollama 경로의 안정적인 serving 가능 여부만 다룬다.
  • SGLang 같은 추가 provider와 여러 추론 서버 provider 표준화는 Ollama 경로 안정화 이후의 후속 Phase로 넘긴다.
  • cloud fallback, 자동 부하 라우팅, 품질 평가 feedback과 후속 최적화 계층은 이 Phase에서 다루지 않는다.