docs(dev-corp): 동시성 검증 기준을 15개로 정한다
This commit is contained in:
parent
b44ac82991
commit
c2437aaede
4 changed files with 12 additions and 12 deletions
|
|
@ -59,7 +59,7 @@ dev-corp provider pool을 현재 dev-runtime과 같은 구조로 배포한다.
|
|||
- 2026-07-08 재확인 기준 DGX Spark 01은 vLLM 0.24.0 text-only/eager profile과 `default_chat_template_kwargs.enable_thinking=true`로 재기동 후 mac-mini 내부 endpoint `http://192.168.2.2:8002`에서 `/health` 200과 `/v1/models`, 직접 API forced/auto/streaming tool-call smoke, 로컬 Pi TUI bash/git-push tool-call 흐름을 통과했고 startup log에서 GPU KV cache `1,453,705` tokens, full-context concurrency `5.55x`를 확인했다.
|
||||
- 2026-07-08 재확인 기준 DGX Spark 02는 Docker `vllm-gemma4` image `vllm/vllm-openai:v0.24.0`, host/container `8004`, text-only/eager profile과 `default_chat_template_kwargs.enable_thinking=true`로 동작하며 mac-mini와 node-local `/health`, `/v1/models`, 직접 API auto/streaming tool-call smoke를 통과했다. startup log에서 GPU KV cache `1,452,633` tokens, full-context concurrency `5.54x`를 확인했다.
|
||||
- 2026-07-02 기준 native Control Plane은 mac-mini provider-pool runtime에서 `18002/19004/19005`를 listen하고, Edge id `dev-corp-edge`가 `127.0.0.1:19005`로 connected 상태다. status URL은 `http://127.0.0.1:18002/edges/dev-corp-edge/status`이다.
|
||||
- 2026-07-02 기준 provider-pool 전체 Edge OpenAI-compatible capacity smoke는 `/v1/responses`와 `/v1/chat/completions` 모두 14개 동시 요청 14/14 성공, peak total `in_flight=13`, `queued=3`, 완료 후 provider별 `in_flight=0`, `queued=0` 회복을 확인했다.
|
||||
- 2026-07-08 기준 dev-corp provider-pool Edge OpenAI-compatible capacity smoke 표준은 `/v1/responses`와 `/v1/chat/completions` 각각 15개 동시 요청이다. provider capacity 합은 `4 + 4 + 5 = 13`으로 유지하고, Control Plane provider snapshot에서 peak total `in_flight=13`, `queued>=2`, 완료 후 provider별 `in_flight=0`, `queued=0` 회복을 성공 기준으로 본다.
|
||||
|
||||
## 실행 절차
|
||||
|
||||
|
|
@ -117,8 +117,8 @@ dev-corp provider pool을 현재 dev-runtime과 같은 구조로 배포한다.
|
|||
9. **OpenAI-compatible capacity smoke**
|
||||
- `/v1/responses`와 `/v1/chat/completions`를 각각 검증한다. legacy `/v1/completions`는 구현되어 있지 않으면 실패로 보지 않는다.
|
||||
- 표준 부하 프롬프트는 700~1200 token 수준의 구조화된 답변을 유도해 요청이 동시에 관측될 시간을 만든다.
|
||||
- endpoint별로 총 provider capacity + 1개 요청을 동시에 보낸다. Edge config에서 기본 dev-corp 후보 capacity `4 + 4 + 5 = 13`을 확정한 경우 14개 동시 호출을 보낸다.
|
||||
- 요청 실행 중 Control Plane status를 반복 polling하여 대상 provider들의 `in_flight` 합이 총 capacity에 도달하고 `queued` 합이 1 이상이 되는 순간을 증거로 남긴다.
|
||||
- endpoint별로 15개 요청을 동시에 보낸다. Edge config에서 기본 dev-corp 후보 capacity `4 + 4 + 5 = 13`을 확정한 경우 15개 동시 호출에서 capacity 초과분 2개 이상이 queue에 잡혀야 한다.
|
||||
- 요청 실행 중 Control Plane status를 반복 polling하여 대상 provider들의 `in_flight` 합이 총 capacity에 도달하고 `queued` 합이 2 이상이 되는 순간을 증거로 남긴다.
|
||||
- 각 provider의 `in_flight`가 자기 capacity를 넘지 않고, 적어도 한 번은 기대 capacity까지 차는지 확인한다.
|
||||
- 모든 요청 완료 후 같은 status에서 대상 provider들의 `in_flight=0`, `queued=0`으로 돌아오는지 확인한다.
|
||||
- Gemma 계열 reasoning/tool-parser 텍스트는 정상 응답으로 허용한다. exact-output match를 smoke 성공 기준으로 삼지 않는다.
|
||||
|
|
|
|||
|
|
@ -106,8 +106,8 @@ Mac Studio의 `http://192.168.2.3:8005/v1` mlx-vlm DiffusionGemma endpoint는
|
|||
- Control Plane native runtime이 활성화되어 `18002` HTTP, `19004` Client WS, `19005` CP-Edge wire를 listen한다. Edge config의 `control_plane.enabled=true`, `wire_addr=127.0.0.1:19005`로 `dev-corp-edge`가 connected 상태다.
|
||||
- Edge native runtime은 `18085` bootstrap, `18086` OpenAI-compatible, `18087` Edge-Node TCP, `19094` refresh admin을 listen한다.
|
||||
- Mac Studio provider catalog `type`은 최신 config validator 기준으로 `openai_compat`를 사용한다. 실제 provider runtime은 vLLM-MLX이고 `runtime_type: vllm-mlx`로 추적한다.
|
||||
- `/v1/responses` capacity smoke: 14개 동시 요청 14/14 성공, Control Plane `provider_snapshots` peak `in_flight=13`, `queued=3`, provider별 peak DGX01 `4/1`, DGX02 `4/1`, Mac Studio `5/1`, 완료 후 모두 `in_flight=0`, `queued=0`.
|
||||
- `/v1/chat/completions` capacity smoke: 14개 동시 요청 14/14 성공, Control Plane `provider_snapshots` peak `in_flight=13`, `queued=3`, provider별 peak DGX01 `4/1`, DGX02 `4/1`, Mac Studio `5/1`, 완료 후 모두 `in_flight=0`, `queued=0`.
|
||||
- `/v1/responses` capacity smoke 표준: 15개 동시 요청, Control Plane `provider_snapshots` peak total `in_flight=13`, `queued>=2`, provider별 `in_flight`가 DGX01 `4`, DGX02 `4`, Mac Studio `5`를 넘지 않고 완료 후 모두 `in_flight=0`, `queued=0`으로 회복해야 한다.
|
||||
- `/v1/chat/completions` capacity smoke 표준: 15개 동시 요청, Control Plane `provider_snapshots` peak total `in_flight=13`, `queued>=2`, provider별 `in_flight`가 DGX01 `4`, DGX02 `4`, Mac Studio `5`를 넘지 않고 완료 후 모두 `in_flight=0`, `queued=0`으로 회복해야 한다.
|
||||
|
||||
## 명령
|
||||
|
||||
|
|
@ -140,7 +140,7 @@ Mac Studio의 `http://192.168.2.3:8005/v1` mlx-vlm DiffusionGemma endpoint는
|
|||
- node 로컬 `[node-message]` payload 라인 목록과 edge `[node-*-message]` payload 라인 목록이 run별로 내용/순서까지 동일해야 한다.
|
||||
- edge complete는 같은 run의 마지막 `[node-*-message]` 이후에만 정상이다.
|
||||
- OpenAI-compatible smoke에서 `/healthz`, `/v1/models`, `/v1/responses`가 기대 상태로 응답한다.
|
||||
- dev-corp capacity smoke는 `/v1/responses`와 `/v1/chat/completions` 각각에 provider capacity 총합 + 1개 동시 요청을 보낸다. Edge config에서 기본 후보 capacity `4 + 4 + 5 = 13`을 확정한 경우 Control Plane status의 `provider_snapshots`에서 총 `in_flight=13`, `queued>=1` 관측을 기준으로 한다.
|
||||
- dev-corp capacity smoke는 `/v1/responses`와 `/v1/chat/completions` 각각에 15개 동시 요청을 보낸다. Edge config에서 기본 후보 capacity `4 + 4 + 5 = 13`을 확정한 경우 Control Plane status의 `provider_snapshots`에서 총 `in_flight=13`, `queued>=2` 관측을 기준으로 한다.
|
||||
- capacity smoke 완료 후 대상 provider의 `in_flight=0`, `queued=0` 회복을 확인한다.
|
||||
- Gemma 계열 provider-pool smoke는 thinking enabled 기준이며 reasoning/tool-parser 관련 텍스트가 포함될 수 있다. exact-output match를 기본 판정으로 쓰지 않는다.
|
||||
|
||||
|
|
|
|||
|
|
@ -103,12 +103,12 @@ model:
|
|||
endpoints:
|
||||
- /v1/responses
|
||||
- /v1/chat/completions
|
||||
concurrent_requests: capacity_plus_one
|
||||
concurrent_requests: 15
|
||||
expected_total_in_flight: 13
|
||||
expected_total_in_flight_status: verified_2026_07_06
|
||||
expected_min_queued: 1
|
||||
extended_concurrent_requests: 16
|
||||
extended_expected_min_queued: 3
|
||||
expected_total_in_flight_status: standard_15_concurrency_pending_reverification
|
||||
expected_min_queued: 2
|
||||
previous_capacity_plus_one_concurrent_requests: 14
|
||||
previous_capacity_plus_one_expected_min_queued: 1
|
||||
prompt_policy: long_reasoning_allowed
|
||||
think_policy: enabled_for_provider_pool
|
||||
exact_output_match: false
|
||||
|
|
|
|||
|
|
@ -104,7 +104,7 @@ Mac Studio의 secondary `http://192.168.2.3:8005/v1` endpoint는 기본 Node/pro
|
|||
- dev-corp Control Plane native runtime이 활성화되어 `http://127.0.0.1:18002/edges/dev-corp-edge/status`에서 3개 provider node가 connected로 관측된다.
|
||||
- DGX Spark 01, DGX Spark 02, Mac Studio Node binary는 source ref `5b1255a` 기준으로 재배포되었고 각 host의 `iop-dev-corp-field/iop-node`로 실행된다.
|
||||
- Control Plane `provider_snapshots` 기준 provider 상태는 DGX01 capacity `4`, DGX02 capacity `4`, Mac Studio capacity `5`, 모두 `health=healthy`, `status=available`이다.
|
||||
- `/v1/responses`와 `/v1/chat/completions` 각각 14개 동시 요청에서 peak total `in_flight=13`, `queued=3`을 관측했고, 완료 후 모든 provider가 `in_flight=0`, `queued=0`으로 회복했다.
|
||||
- dev-corp capacity smoke 표준은 `/v1/responses`와 `/v1/chat/completions` 각각 15개 동시 요청이다. provider capacity 합 `13` 기준 peak total `in_flight=13`, `queued>=2`를 관측하고, 완료 후 모든 provider가 `in_flight=0`, `queued=0`으로 회복해야 한다.
|
||||
|
||||
## 명령
|
||||
|
||||
|
|
|
|||
Loading…
Reference in a new issue