toki/iop

toki 3624ff0f01 feat: node multi-target serving foundation

- Add inference provider extension phase and milestones for node multi-target serving
- Update edge cmd config and node mapper for multi-target support
- Add Ollama adapter updates and transport client changes
- Update config package and edge.yaml for new settings
- Extend runtime proto with multi-target serving fields
- Add agent task archives and plans for adapter registry, route catalog,
  engine profiles, edge options, commands/caps, runtime concurrency,
  and field smoke tests

2026-06-11 04:09:48 +09:00

3.8 KiB

Raw Blame History

Code Review Reference - REFACTOR

[IMPLEMENTING AGENT — READ FIRST] Filling in this file is the mandatory final step of implementation. Fill implementation-owned sections and actual verification output, then stop with active files in place. Do not ask the user directly; record user-only blockers in 사용자 리뷰 요청.

개요

date=2026-06-10 task=m-node-multi-target-serving-foundation/07+02_runtime_concurrency, plan=0, tag=REFACTOR

Roadmap Targets

Milestone: agent-roadmap/phase/inference-provider-extension/milestones/node-multi-target-serving-foundation.md
Task ids:
- runtime-concurrency: runtime.concurrency와 adapter capability가 Node 멀티 호출에서 실제 제한 또는 스케줄링 정책으로 적용된다.
Completion mode: check-on-pass

이 파일을 읽는 리뷰 에이전트에게

[REVIEW AGENT ONLY] 종결 절차는 코드리뷰 에이전트 전용이다.

concurrency policy가 deterministic하고 foreground/background 양쪽에서 같은지 검토한다.

구현 항목별 완료 여부

항목	완료 여부
[REFACTOR-1] Runtime Concurrency Gate	[ ]

구현 체크리스트

Node runtime global concurrency와 adapter/profile concurrency 중 적용 우선순위를 정의한다.
Foreground/background run 모두 동일한 scheduling/limit 정책을 통과한다.
제한 초과 요청의 queue/reject/timeout 중 하나를 선택하고 error/event/store 상태를 테스트로 고정한다.
race/order test를 추가하고 최종 검증을 실행한다.
CODE_REVIEW-*-G??.md의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채운다. 이 항목이 완료되기 전에는 구현이 완료된 것이 아니다.

코드리뷰 전용 체크리스트

코드리뷰 결과에 판정을 append한다.
active CODE_REVIEW-cloud-G08.md를 code_review_cloud_G08_N.log로 아카이브한다.
active PLAN-cloud-G07.md를 plan_cloud_G07_M.log로 아카이브한다.
PASS이면 complete.log 작성 후 archive 이동한다.
WARN/FAIL이면 후속 상태를 작성한다.

계획 대비 변경 사항

구현 에이전트가 계획과 다르게 구현한 부분을 이유와 함께 기록한다.

주요 설계 결정

구현 에이전트가 주요 설계 결정 사항을 기록한다.

사용자 리뷰 요청

기본값은 없음이다. 구현 중 사용자 결정, 사용자 소유 외부 환경/secret/서비스 준비, 또는 계획 범위 변경 없이는 안전하게 진행할 수 없으면 아래 항목을 실제 내용으로 교체하고, 구현을 중단한 뒤 active 파일을 그대로 둔 채 리뷰를 요청한다. 구현 에이전트는 사용자에게 직접 질문하거나 선택지를 제시하거나 request_user_input을 호출하지 않는다. 후속 에이전트가 명령 재실행이나 산출물 수집으로 해소할 수 있는 검증 증거 공백만으로는 사용자 리뷰 요청을 작성하지 않는다.

상태: 없음
사유 유형: 없음
결정 필요: 없음
차단 근거: 없음
실행한 검증/명령: 없음
자동 후속 불가 이유: 없음
재개 조건: 없음

리뷰어를 위한 체크포인트

permit acquire/release가 adapter error, timeout, cancellation, background run에서 누수되지 않는다.
선택한 제한 초과 정책이 테스트와 문서에 일치한다.
proto-socket transport 변경으로 문제를 우회하지 않았다.

검증 결과

REFACTOR-1 중간 검증

$ go test -race -count=1 ./apps/node/internal/node/...
(output)

최종 검증

$ go test -race -count=1 ./apps/node/internal/node/...
$ go test -count=1 ./apps/node/...
(output)

3.8 KiB Raw Blame History