iop/agent-roadmap/phase/operational-observability-provider-management/PHASE.md

Phase: 운영 관측과 Provider 관리

상태

[계획]

목표

IOP가 여러 Edge, Node, CLI Agent, local inference provider를 운영할 때 필요한 사용자/토큰/사용량/로그/provider 상태 관찰 기준을 정리한다. 이 Phase는 완성된 billing, enterprise IAM, provider marketplace를 바로 구현하지 않고, 1차 MVP에서 어떤 운영 데이터를 모으고 어떤 화면/명령으로 검토할지 스케치한다. provider 확장 Phase에서 검증한 Ollama, vLLM, SGLang, Lemonade 같은 추론 엔진은 provider/device/model 조합으로 관찰하고, 후반부에서는 모델 lifecycle capability와 qualification report를 운영 데이터로 축적하는 방향을 정리한다.

Milestone 흐름

완료된 Milestone은 archive 경로를 가리키고, 검토중, 진행중, 계획, 스케치 또는 보류 Milestone은 이 Phase 하위 milestones/ 경로를 가리킨다. 완료, 검토중, 진행중, 계획, 스케치 순서로 두어 아래로 갈수록 미래 작업에 가까워지게 정렬한다. 스케치 Milestone은 아직 구현 가능한 계획이 아니므로 사용자 검토와 구체화 후 [계획]으로 승격한다.

• [스케치] 사용량, 토큰, 로그 운영 추적 MVP

  • 경로: agent-roadmap/phase/operational-observability-provider-management/milestones/usage-token-log-ops-mvp.md
  • 요약: 사용자 관리, token 관리, API/CLI/local inference 사용량 집계, 로그 관리의 1차 운영 경계를 스케치한다.

• [스케치] Provider Catalog와 로컬 디바이스 상태 관리

  • 경로: agent-roadmap/phase/operational-observability-provider-management/milestones/provider-catalog-device-status.md
  • 요약: API, CLI, local inference provider를 같은 운영 catalog에서 보고 vLLM, vLLM-MLX, Lemonade, SGLang 같은 로컬 디바이스 provider 상태를 추적하는 경계를 스케치한다.

• [스케치] Provider-Device-Model Qualification 리포트와 Lifecycle 관리

  • 경로: agent-roadmap/phase/operational-observability-provider-management/milestones/provider-device-model-qualification-report.md
  • 요약: provider catalog와 device 상태 기준선 뒤에, provider/device/model 조합별 compatibility, performance, quality, lifecycle capability 테스트와 운영 리포트 저장/조회/비교 경계를 깊게 스케치한다.

Phase 경계

• Control Plane은 Edge/Node 상태를 보기 쉽게 연결하지만 Edge 내부 상태의 canonical store가 되지 않는다.
• provider adapter 구현과 endpoint별 serving 검증은 추론 서버 provider 확장 Phase 책임으로 둔다.
• provider/device/model qualification report는 provider serving path와 capacity/concurrency 기준선이 잡힌 뒤 이 Phase의 후반부에서 다룬다.
• 이 Phase는 운영 데이터와 제어 표면의 MVP 경계를 다루며, billing/chargeback, 조직 IAM, 상세 audit schema, 장기 retention 정책은 후속 구체화에서 결정한다.
• RAG, advisor, context compression hook, output validation 실행 모드는 지식과 도구 최적화 확장 Phase 책임으로 둔다.