iop/agent-roadmap/phase/operational-observability-provider-management/PHASE.md

Phase: 운영 관측과 Provider 관리

상태

[진행중]

목표

IOP가 여러 Edge, Node, CLI Agent, local inference provider를 운영할 때 필요한 사용자/토큰/사용량/로그/provider 상태 관찰 기준을 정리한다. 이 Phase는 완성된 billing, enterprise IAM, provider marketplace를 바로 구현하지 않고, 1차 MVP에서 어떤 운영 데이터를 모으고 어떤 화면/명령으로 검토할지 스케치한다. provider 확장 Phase에서 검증한 Ollama, vLLM, SGLang, Lemonade 같은 추론 엔진은 provider/device/model 조합으로 관찰하고, 후반부에서는 모델 lifecycle capability와 qualification report를 운영 데이터로 축적하는 방향을 정리한다.

Milestone 흐름

완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획, 스케치 또는 보류 Milestone은 이 Phase 하위 milestones/ 경로를 가리킨다. 완료, 검토중, 진행중, 계획, 스케치 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다. 스케치 Milestone은 아직 구현 가능한 계획이 아니므로 사용자 검토와 구체화 후 [계획]으로 승격한다.

• [완료] Model Alias Provider Pool과 Provider Catalog

  • 경로: agent-roadmap/archive/phase/operational-observability-provider-management/milestones/provider-catalog-device-status.md
  • 요약: models[]를 외부 model key이자 운영 catalog model로 두고, Node 하위 provider와 served model list를 기준으로 Edge가 provider 선택, load-ratio routing, target rewrite, read-only catalog 상태를 소유하는 MVP 계약을 완료했다.

• [완료] Node Resource Model Unification

  • 경로: agent-roadmap/archive/phase/operational-observability-provider-management/milestones/node-resource-model-unification.md
  • 요약: Node를 Edge 연결 identity로 두고 CLI, OpenAI-compatible provider, 기타 resource를 같은 Node 아래 나열하며 provider/resource capacity만 concurrency를 소유하도록 runtime 계약과 dev-runtime 구성을 정렬했다.

• [완료] Node Provider-First Config Surface

  • 경로: agent-roadmap/archive/phase/operational-observability-provider-management/milestones/node-provider-first-config-surface.md
  • 요약: Node 설정 표면을 providers[] resource list 중심으로 재정렬하고, adapter 설정은 내부 실행 IR 또는 legacy compat로 낮춰 운영자가 한 Node의 CLI/provider 자원을 한 곳에서 이해하고 관리하게 만들었다.

• [스케치] 사용량, 토큰, 로그 운영 추적 MVP

  • 경로: agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md
  • 요약: 사용자 관리, token 관리, API/CLI/local inference 사용량 집계, 요청별 device/provider/time/token ledger, 로그 관리의 1차 운영 경계를 스케치한다.

• [스케치] 요청 실행 로그와 Usage Ledger 기반

  • 경로: agent-roadmap/phase/operational-observability-provider-management/milestones/request-execution-log-usage-ledger-foundation.md
  • 요약: 사용자 요청 하나의 device/provider/model 선택, queue/dispatch/start/first-token/end 시간, token breakdown, status/error를 구조화된 실행 로그와 usage ledger로 남기는 로그 시스템 개편 후보를 스케치한다.

• [스케치] Provider-Device-Model Qualification 리포트와 Lifecycle 관리

  • 경로: agent-roadmap/phase/operational-observability-provider-management/milestones/provider-device-model-qualification-report.md
  • 요약: provider catalog와 device 상태 기준선 뒤에, provider/device/model 조합별 compatibility, performance, quality, lifecycle capability 테스트와 운영 리포트 저장/조회/비교 경계를 깊게 스케치한다.

Phase 경계

• Control Plane은 Edge/Node 상태를 보기 쉽게 연결하지만 Edge 내부 상태의 canonical store가 되지 않는다.
• provider adapter 구현과 endpoint별 serving 검증은 추론 서버 provider 확장 Phase 책임으로 둔다.
• provider/device/model qualification report는 provider serving path와 capacity/concurrency 기준선이 잡힌 뒤 이 Phase의 후반부에서 다룬다.
• 이 Phase는 운영 데이터와 제어 표면의 MVP 경계를 다루며, billing/chargeback, 조직 IAM, 상세 audit schema, 장기 retention 정책은 후속 구체화에서 결정한다.
• RAG, advisor, context compression hook, output validation 실행 모드는 지식과 도구 최적화 확장 Phase 책임으로 둔다.