diff --git a/agent-ops/roadmap/ROADMAP.md b/agent-ops/roadmap/ROADMAP.md index b00447d..01b5602 100644 --- a/agent-ops/roadmap/ROADMAP.md +++ b/agent-ops/roadmap/ROADMAP.md @@ -25,9 +25,13 @@ RAG, context 구성/압축, web search, MCP 정책, tool policy, output validati - 경로: `agent-ops/roadmap/archive/phase/edge-node-execution-foundation/PHASE.md` - 요약: Edge-Node 소켓 실행 경로, Node adapter execution, CLI session, 최소 외부 입력 표면을 안정화한 단계다. -- [진행중] 서빙 라우팅과 최적화 기반 +- [진행중] Ollama 서빙 안정화 기반 - 경로: `agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md` - - 요약: Edge OpenAI-compatible API에서 Node의 Ollama serving을 호출하는 E2E 한 사이클을 먼저 완성하고, 이후 로컬/클라우드 모델 profile, 부하 라우팅, 품질 평가 기준과 최적화 계층으로 확장하는 단계다. + - 요약: Edge OpenAI-compatible API에서 Node의 Ollama adapter를 호출하는 E2E 경로를 실제 Ollama endpoint와 split-host 환경에서 안정화하는 단계다. 추가 provider, 표준화, 후속 최적화 계층은 포함하지 않는다. + +- [계획] 추론 서버 provider 확장 + - 경로: `agent-ops/roadmap/phase/inference-provider-extension/PHASE.md` + - 요약: Ollama 경로가 안정화된 뒤 그 결과를 기준선으로 삼아 SGLang 같은 추가 추론 서버 provider를 붙이고, provider별 adapter/config/target/model 매핑 표준선을 정리하는 단계다. - [계획] Automation Runtime과 Bridge 확장 - 경로: `agent-ops/roadmap/phase/automation-runtime-bridge/PHASE.md` @@ -37,6 +41,10 @@ RAG, context 구성/압축, web search, MCP 정책, tool policy, output validati - 경로: `agent-ops/roadmap/phase/control-plane-portal-ops/PHASE.md` - 요약: 여러 Edge를 관찰하고 운영하는 중앙 제어면과 Flutter client 운영면을 구축하는 단계다. +- [계획] 지식과 도구 최적화 확장 + - 경로: `agent-ops/roadmap/phase/knowledge-tool-optimization-extension/PHASE.md` + - 요약: Ollama serving 경로, 추가 provider 경로, 운영 기반이 안정화된 뒤 RAG, context 구성/압축, web search, MCP/tool policy, output validation, retry/fallback을 IOP 추론 최적화 계층으로 확장하는 단계다. + ## 로딩 정책 - 일반 작업에서는 `agent-ops/roadmap/ROADMAP.md`를 매번 읽지 않는다. diff --git a/agent-ops/roadmap/current.md b/agent-ops/roadmap/current.md index 050be02..12f41ea 100644 --- a/agent-ops/roadmap/current.md +++ b/agent-ops/roadmap/current.md @@ -2,7 +2,7 @@ ## 활성 Phase -- [진행중] 서빙 라우팅과 최적화 기반 +- [진행중] Ollama 서빙 안정화 기반 - 경로: `agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md` ## 활성 Milestone diff --git a/agent-ops/roadmap/phase/inference-provider-extension/PHASE.md b/agent-ops/roadmap/phase/inference-provider-extension/PHASE.md new file mode 100644 index 0000000..45f6934 --- /dev/null +++ b/agent-ops/roadmap/phase/inference-provider-extension/PHASE.md @@ -0,0 +1,26 @@ +# Phase: 추론 서버 provider 확장 + +## 상태 + +[계획] + +## 목표 + +Ollama 경로가 안정화된 뒤, 그 결과를 기준선으로 삼아 SGLang 같은 추가 추론 서버 provider를 붙인다. +이 Phase는 여러 provider의 adapter/config/target/model 매핑을 성급히 일반화하지 않고, Ollama에서 검증된 serving 기준을 기준선으로 삼아 추가 provider를 하나씩 검증한다. + +## Milestone 흐름 + +완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획 또는 보류 Milestone은 이 Phase 하위 `milestones/` 경로를 가리킨다. +완료, 검토중, 진행중, 계획 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다. + +- [계획] SGLang provider 서빙 경로 추가 + - 경로: `agent-ops/roadmap/phase/inference-provider-extension/milestones/sglang-provider-serving-validation.md` + - 요약: Ollama 경로가 안정화된 뒤 추가 추론 서버 provider로 SGLang을 붙이고, 같은 Edge OpenAI-compatible 입력 표면에서 모델 조회와 non-streaming/streaming chat을 검증한다. + +## Phase 경계 + +- 이 Phase는 Ollama 경로 안정화가 선행된 뒤 시작한다. +- 진행중인 Ollama 실테스트와 후속 안정화 작업을 이 Phase로 흡수하지 않는다. +- 여러 추론 서버 provider 표준화는 Ollama 경로가 안정화된 결과를 기준선으로 삼아 진행한다. +- cloud fallback, 자동 부하 라우팅, 품질 평가 feedback과 후속 최적화 계층은 이 Phase에서 다루지 않는다. diff --git a/agent-ops/roadmap/phase/inference-provider-extension/milestones/sglang-provider-serving-validation.md b/agent-ops/roadmap/phase/inference-provider-extension/milestones/sglang-provider-serving-validation.md new file mode 100644 index 0000000..2a69ed4 --- /dev/null +++ b/agent-ops/roadmap/phase/inference-provider-extension/milestones/sglang-provider-serving-validation.md @@ -0,0 +1,71 @@ +# Milestone: SGLang provider 서빙 경로 추가 + +## 위치 + +- Roadmap: `agent-ops/roadmap/ROADMAP.md` +- Phase: `agent-ops/roadmap/phase/inference-provider-extension/PHASE.md` + +## 목표 + +Ollama 경로가 안정화된 뒤, 추가 추론 서버 provider로 SGLang provider를 붙인다. +Ollama 실테스트에서 안정화한 모델 조회, non-streaming/streaming chat, reasoning/content 분리, option/API passthrough, split-host smoke 기준을 기준선으로 삼아 SGLang provider 경로를 검증한다. + +## 상태 + +[계획] + +## 승격 조건 + +- 없음 + +## 구현 잠금 + +- 상태: 잠금 +- 결정 필요: 아래 체크리스트 + - [ ] SGLang provider를 독립 `sglang` adapter로 둘지, OpenAI-compatible inference server 공통 adapter 계열로 둘지 결정한다. + - [ ] 실테스트에 사용할 SGLang endpoint, 기준 model, 인증/헤더 필요 여부, streaming 지원 기대 동작을 확인한다. + +## 범위 + +- SGLang provider를 Ollama 이후의 추가 추론 서버 provider 후보로 로드맵에 추가한다. +- Edge OpenAI-compatible API의 `/v1/models`, `/v1/chat/completions` non-streaming/streaming 요청이 SGLang provider 경로로 수렴하는 기준을 정한다. +- SGLang provider의 모델 조회, chat completion, streaming chunk, reasoning/content 분리, option/API passthrough 기대 동작을 실제 endpoint 기준으로 검증한다. +- split-host field smoke 기준을 SGLang provider에도 재사용한다. +- Ollama 경로에서 안정화된 기준을 흔들지 않도록 provider별 설정, target/model 매핑, adapter 책임 경계를 분리한다. + +## 기능 + +### Epic: [sglang-provider] SGLang Provider Serving Path + +- [ ] [provider-boundary] SGLang provider를 독립 adapter로 둘지 OpenAI-compatible inference server 공통 adapter로 둘지 결정 근거가 정리되어 있다. +- [ ] [config-contract] SGLang endpoint, model, auth/header, timeout, option passthrough 설정 계약이 정리되어 있다. +- [ ] [models-chat] Edge OpenAI-compatible `/v1/models`와 non-streaming `/v1/chat/completions`가 SGLang provider로 수렴하는 기준이 검증되어 있다. +- [ ] [streaming] streaming `/v1/chat/completions`에서 SSE chunk와 종료 신호가 SGLang provider 경로로 안정적으로 전달되는지 검증되어 있다. +- [ ] [follow-up-scope] 코드 수정이 필요한 항목은 이 Milestone의 추가 Task 또는 같은 Milestone task group의 후속 plan으로 정리되어 있다. + +## 완료 리뷰 + +- 상태: 없음 +- 요청일: 없음 +- 완료 근거: 모든 기능 Task가 아직 충족되지 않았다. +- 리뷰 필요: + - [ ] 사용자가 완료 결과를 확인했다 + - [ ] archive 이동을 승인했다 +- 리뷰 코멘트: 없음 + +## 범위 제외 + +- cloud fallback, 자동 부하 라우팅, 품질 평가 feedback의 본격 구현 +- 후속 최적화 계층 구현 +- Responses API 세부 호환 구현 +- 진행중인 Ollama 실테스트와 후속 안정화 범위 변경 +- Ollama 경로 완료 기록 재작성 + +## 작업 컨텍스트 + +- 관련 경로: `apps/edge`, `apps/node`, `packages/config`, `proto/iop`, `configs`, `bin/edge.sh`, `bin/node.sh`, `docs/deploy-dev.md` +- 표준선(선택): 내부 실행 계약은 `adapter + target`을 유지하고, OpenAI-compatible API는 외부 호환 입력 표면으로 둔다. +- 표준선(선택): Ollama provider에서 안정화한 field smoke 기준을 SGLang provider에도 그대로 적용한다. +- 선행 작업: Ollama 실테스트와 후속 안정화 +- 후속 작업: SGLang provider 실테스트에서 확인된 serving 경로 안정화 보완 +- 확인 필요: SGLang adapter 경계, 실테스트 endpoint/model, 인증/헤더 필요 여부, streaming 기대 동작 diff --git a/agent-ops/roadmap/phase/knowledge-tool-optimization-extension/PHASE.md b/agent-ops/roadmap/phase/knowledge-tool-optimization-extension/PHASE.md new file mode 100644 index 0000000..ad1d87e --- /dev/null +++ b/agent-ops/roadmap/phase/knowledge-tool-optimization-extension/PHASE.md @@ -0,0 +1,27 @@ +# Phase: 지식과 도구 최적화 확장 + +## 상태 + +[계획] + +## 목표 + +Ollama serving 경로와 운영 기반이 안정화된 뒤, RAG, context 구성/압축, web search, MCP 정책, tool policy, output validation, retry/fallback을 IOP의 추론 최적화 계층으로 확장한다. +이 Phase는 특정 Agent Shell에 종속되지 않고 OpenAI-compatible, A2A, IOP native protocol 중 맞는 표면에서 공통 최적화 책임을 제공하는 방향을 다룬다. + +## Milestone 흐름 + +완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획 또는 보류 Milestone은 이 Phase 하위 `milestones/` 경로를 가리킨다. +완료, 검토중, 진행중, 계획 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다. + +- [계획] 지식, 도구 정책, 검증 최적화 + - 경로: `agent-ops/roadmap/phase/knowledge-tool-optimization-extension/milestones/knowledge-tool-validation-optimization.md` + - 요약: RAG, context 구성/압축, web search, MCP/tool policy, output validation, retry/fallback을 IOP 최적화 계층으로 확장한다. + +## Phase 경계 + +- 이 Phase는 Ollama 경로가 안정적인 serving 경로로 검증된 뒤 시작한다. +- 이 Phase는 Control Plane/Client 운영 기반 없이 현재 Ollama 안정화 Phase 안으로 당겨 구현하지 않는다. +- 기본 `/v1/models`, `/v1/chat/completions`, Edge-Node relay, Ollama option/API passthrough 안정화는 `Ollama 서빙 안정화 기반` Phase 책임이다. +- 추가 추론 서버 provider의 adapter/config/target/model 매핑 표준화는 `추론 서버 provider 확장` Phase 책임이다. +- cloud fallback, 품질 평가 feedback, RAG, web search, MCP/tool policy, validation/fallback은 이 Phase 또는 그 이후의 확장 책임으로 둔다. diff --git a/agent-ops/roadmap/phase/serving-routing-optimization/milestones/knowledge-tool-validation-optimization.md b/agent-ops/roadmap/phase/knowledge-tool-optimization-extension/milestones/knowledge-tool-validation-optimization.md similarity index 89% rename from agent-ops/roadmap/phase/serving-routing-optimization/milestones/knowledge-tool-validation-optimization.md rename to agent-ops/roadmap/phase/knowledge-tool-optimization-extension/milestones/knowledge-tool-validation-optimization.md index 9abb0c1..8468d2f 100644 --- a/agent-ops/roadmap/phase/serving-routing-optimization/milestones/knowledge-tool-validation-optimization.md +++ b/agent-ops/roadmap/phase/knowledge-tool-optimization-extension/milestones/knowledge-tool-validation-optimization.md @@ -3,7 +3,7 @@ ## 위치 - Roadmap: `agent-ops/roadmap/ROADMAP.md` -- Phase: `agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md` +- Phase: `agent-ops/roadmap/phase/knowledge-tool-optimization-extension/PHASE.md` ## 목표 @@ -59,8 +59,8 @@ NomadCode는 이 계층의 소비자 중 하나이며, 이 Milestone은 특정 A ## 작업 컨텍스트 -- 관련 경로: `apps/edge`, `apps/node`, `apps/control-plane`, `packages/policy`, `packages/observability`, `proto/iop`, `docs/architecture.md`, `agent-ops/roadmap/phase/serving-routing-optimization/milestones/model-serving-load-routing.md` +- 관련 경로: `apps/edge`, `apps/node`, `apps/control-plane`, `packages/policy`, `packages/observability`, `proto/iop`, `docs/architecture.md`, `agent-ops/roadmap/archive/phase/serving-routing-optimization/milestones/model-serving-load-routing.md` - 표준선(선택): 기본 모델 serving/load routing이 먼저 안정화된 뒤 최적화 계층을 붙인다. -- 선행 작업: 모델 서빙과 부하 라우팅 -- 후속 작업: Control Plane과 Portal, 정책/이력/감사 +- 선행 작업: Ollama 서빙 안정화, Control Plane과 Client 운영 +- 후속 작업: 정책/이력/감사와 품질 기반 routing/fallback 고도화 - 확인 필요: 첫 최적화 범위, tool/web 보안 기본값, validation/fallback 품질 기준 diff --git a/agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md b/agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md index 5c1ead7..f8347a4 100644 --- a/agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md +++ b/agent-ops/roadmap/phase/serving-routing-optimization/PHASE.md @@ -1,4 +1,4 @@ -# Phase: 서빙 라우팅과 최적화 기반 +# Phase: Ollama 서빙 안정화 기반 ## 상태 @@ -6,7 +6,9 @@ ## 목표 -로컬/클라우드 모델 서빙, 모델 profile, 부하 라우팅, 품질 평가 기준을 먼저 정리하고, 이후 RAG/web search/MCP/tool policy/검증 최적화로 확장한다. +Edge OpenAI-compatible API에서 Node의 Ollama adapter까지 이어지는 단일 서빙 경로를 안정화한다. +이 Phase의 목표는 실제 Ollama endpoint 기준으로 모델 조회, non-streaming/streaming chat, reasoning/content 분리, option/API passthrough, split-host field smoke가 안정적으로 재현되는지 확인하는 것이다. +추가 추론 서버 provider와 provider 표준화는 Ollama 경로가 안정화된 뒤 후속 Phase에서 다룬다. ## Milestone 흐름 @@ -21,12 +23,9 @@ - 경로: `agent-ops/roadmap/phase/serving-routing-optimization/milestones/ollama-field-validation-follow-up.md` - 요약: 완료 처리된 Ollama E2E baseline을 사용자 실테스트로 다시 확인하고, 실제 사용 중 발견되는 후속 안정화 작업을 정리한다. -- [계획] 지식, 도구 정책, 검증 최적화 - - 경로: `agent-ops/roadmap/phase/serving-routing-optimization/milestones/knowledge-tool-validation-optimization.md` - - 요약: 기본 서빙과 부하 라우팅 이후 RAG, context 구성/압축, web search, MCP/tool policy, output validation, retry/fallback을 IOP 최적화 계층으로 확장한다. - ## Phase 경계 - OpenAI-compatible API는 외부 호환 모델 호출 표면으로 유지한다. -- IOP native protocol은 내부/운영 호출 기준으로 둔다. -- RAG, web search, MCP/tool policy, validation/fallback은 기본 serving/load routing 이후의 최적화 계층으로 다룬다. +- 이 Phase는 Ollama 경로의 안정적인 serving 가능 여부만 다룬다. +- SGLang 같은 추가 provider와 여러 추론 서버 provider 표준화는 Ollama 경로 안정화 이후의 후속 Phase로 넘긴다. +- cloud fallback, 자동 부하 라우팅, 품질 평가 feedback과 후속 최적화 계층은 이 Phase에서 다루지 않는다. diff --git a/agent-ops/roadmap/phase/serving-routing-optimization/milestones/ollama-field-validation-follow-up.md b/agent-ops/roadmap/phase/serving-routing-optimization/milestones/ollama-field-validation-follow-up.md index 1b18f30..3a2184d 100644 --- a/agent-ops/roadmap/phase/serving-routing-optimization/milestones/ollama-field-validation-follow-up.md +++ b/agent-ops/roadmap/phase/serving-routing-optimization/milestones/ollama-field-validation-follow-up.md @@ -20,14 +20,13 @@ ## 구현 잠금 -- 상태: 잠금 -- 결정 필요: 아래 체크리스트 - - [ ] 사용자 실테스트 결과와 재현 로그를 공유한다. - - [ ] 실테스트 뒤 생긴 후속 작업을 이 Milestone에서 처리할지, 별도 routing/fallback 또는 compatibility Milestone으로 분리할지 결정한다. +- 상태: 해제 +- 결정 필요: 없음 ## 범위 - 실제 Ollama endpoint를 대상으로 Edge OpenAI-compatible API, Edge-Node relay, Node Ollama adapter의 사용자 재현 흐름을 다시 확인한다. +- code-server 컨테이너를 Edge로, 컨테이너 호스트를 Node/Ollama host로 두는 split-host field smoke 환경을 우선 구성한다. - `/v1/models`, `/v1/chat/completions` non-streaming/streaming, reasoning/content 분리, Ollama option/API passthrough의 실제 사용 결과를 기록한다. - 실테스트에서 나온 문제를 compatibility, config/docs, reasoning stream, option passthrough, routing/fallback 후보로 분류한다. - archive된 `Ollama E2E 서빙 안정화` 완료 기록은 재포맷하지 않고, 새 후속 작업만 이 Milestone에서 관리한다. @@ -38,9 +37,10 @@ 사용자 실테스트 결과를 현재 활성 Ollama 연동 작업으로 받아 후속 안정화 범위를 정한다. -- [ ] [field-test] 실제 Ollama 연동 실테스트 결과와 재현 로그가 기록되어 있다. 검증: 실제 모델 조회와 non-streaming/streaming chat 결과 또는 실패 로그가 남아 있다. +- [ ] [split-host-env] code-server 컨테이너를 Edge로, 컨테이너 호스트를 Node/Ollama host로 두는 split-host field smoke 환경이 구성되어 있다. 검증: host Node가 컨테이너 Edge 주소로 등록되고 Edge에서 node registration을 확인할 수 있다. +- [ ] [field-test] split-host 환경에서 실제 Ollama 연동 실테스트 결과와 재현 로그가 기록되어 있다. 검증: 실제 모델 조회와 non-streaming/streaming chat 결과 또는 실패 로그가 남아 있다. - [ ] [issue-triage] 실테스트에서 나온 후속 작업이 API compatibility, option passthrough, reasoning stream, config/docs, routing/fallback 후보로 분류되어 있다. -- [ ] [follow-up-scope] 코드 수정이 필요한 항목은 이 Milestone의 추가 Task 또는 별도 후속 Milestone 후보로 정리되어 있다. +- [ ] [follow-up-scope] 코드 수정이 필요한 항목은 이 Milestone의 추가 Task 또는 같은 Milestone task group의 후속 plan으로 정리되어 있다. ## 완료 리뷰 @@ -56,7 +56,7 @@ - archive된 `Ollama E2E 서빙 안정화` 문서 재포맷 - cloud fallback, 자동 부하 라우팅, 품질 평가 feedback의 본격 구현 -- RAG, web search, MCP/tool policy, output validation/fallback 최적화 구현 +- 후속 최적화 계층 구현 - Responses API 세부 호환 구현 ## 작업 컨텍스트 @@ -64,6 +64,8 @@ - 관련 경로: `apps/edge`, `apps/node`, `packages/config`, `proto/iop`, `configs`, `bin/edge.sh`, `bin/node.sh`, `docs/deploy-dev.md` - 표준선(선택): 내부 실행 계약은 `adapter + target`을 유지하고, OpenAI-compatible API는 외부 호환 입력 표면으로 둔다. - 표준선(선택): Ollama 실테스트 후속 작업은 먼저 재현 로그와 사용자 기대 동작을 기준으로 분류한 뒤 구현 계획으로 내린다. +- 표준선(선택): 초기 필드 smoke는 code-server 컨테이너 내부 Edge와 컨테이너 호스트 Node/Ollama를 분리해 실제 네트워크 경계를 통과하도록 구성한다. +- 결정됨: split-host 실테스트 뒤 생긴 Ollama 경로 후속 안정화 작업은 이 Milestone에서 계속 처리한다. - 선행 작업: Ollama E2E 서빙 안정화 -- 후속 작업: 지식, 도구 정책, 검증 최적화 -- 확인 필요: 사용자 실테스트 결과, 후속 작업의 처리 위치, cloud fallback/Responses API/품질 평가로 넘길 항목 +- 후속 작업: split-host 실테스트에서 확인된 Ollama 경로 안정화 보완 +- 확인 필요: split-host 실테스트 결과, cloud fallback/Responses API/품질 평가로 넘길 항목