toki
2d6fde0876
apps/node 중심 구현 — TCP+JSON transport, Hexagonal Architecture, mock/cli adapter, fx DI, SQLite 실행 이력 저장. edge/control-plane/worker는 cobra placeholder. 유닛 테스트 및 통합 테스트 클라이언트 계획서 추가.
1.6 KiB
1.6 KiB
IOP — Inference Operations Platform
IOP는 단일 서비스가 아닌 플랫폼이다. 여러 앱이 협력하여 AI 모델 추론 워크로드를 처리한다.
앱 구성
| 앱 | 설명 | 상태 |
|---|---|---|
apps/node |
노드 에이전트. 디바이스당 1개 실행. 실제 추론 어댑터 관리 | 1차 구현 대상 |
apps/edge |
외부 OpenAI-compatible API 게이트웨이 | Placeholder |
apps/control-plane |
노드 등록/정책/스케줄링 제어 | Placeholder |
apps/worker |
비동기 작업 처리기 | Placeholder |
내부 통신
- 프로토콜: TCP + Protobuf + mTLS
- 프레이밍: 4-byte big-endian length prefix | JSON(Envelope)
- gRPC 사용 금지
- WebSocket transport 기본화 금지
외부 API
외부 OpenAI-compatible API는 향후 apps/edge에서 담당한다.
빌드
# 의존성 설치
go mod tidy
# node 빌드
go build -o bin/iop-node ./apps/node/cmd/iop-node
# 실행
./bin/iop-node version
./bin/iop-node config print
./bin/iop-node serve
모노레포 구조
iop/
apps/
node/ # Node Agent — 1차 구현
edge/ # Edge API — placeholder
control-plane/
worker/
packages/
config/ # 설정 로딩
protocol/ # 와이어 포맷 타입
policy/ # 정책 엔진 인터페이스
auth/ # mTLS 인증
metadata/ # 메타데이터 타입
jobs/ # 작업 큐 타입
observability/ # 로깅/메트릭
version/ # 버전 상수
proto/iop/ # Protobuf 스펙 정의
configs/ # 앱별 설정 파일
docs/ # 문서