iop/apps/edge/README.md

481 B

edge — Edge API Gateway

외부 클라이언트에 OpenAI-compatible HTTP API를 노출하고,
IOP 내부 TCP 프로토콜을 통해 node로 요청을 라우팅한다.

현재 상태: Placeholder
node 구현이 안정화된 이후 구현 예정.

계획된 기능

  • POST /v1/chat/completions — OpenAI-compatible chat
  • GET /v1/models — 사용 가능한 모델 목록
  • 인증 (API Key / JWT)
  • 노드 선택 및 로드밸런싱
  • 스트리밍 SSE 프록시