chore: archive nightly-large-payload-baseline milestone and add task artifacts
This commit is contained in:
parent
29ea1898bc
commit
fa883ee2aa
6 changed files with 563 additions and 25 deletions
|
|
@ -33,8 +33,8 @@ Proto Socket은 여러 언어와 플랫폼에서 일관되게 동작하는 얇
|
|||
- [언어별 성능 병목 개선](archive/phase/stability-maintenance/milestones/performance-hotspot-optimization.md) - 상태: 완료; 목표: 측정 결과에서 확인된 Dart TCP fixed latency/large payload 및 isolate receive path hardening, TypeScript WS large payload, Kotlin WS latency/slow-mix 검증 모델, TypeScript gateway `worker_threads` overhead 병목을 안정성 hard gate와 단일 mandatory receive path 원칙을 유지하면서 개선하고, Go/Python reference 기준점을 보강한다.
|
||||
- [워크스페이스 포트/환경 표준화](archive/phase/stability-maintenance/milestones/workspace-port-env-standardization.md) - 상태: 완료; 목표: proto-socket이 runtime service port를 소유하지 않는다는 점과 cross-language test runner의 fixed local port 대역을 workspace 표준 예외로 문서화한다.
|
||||
- [변경 기반 테스트 라우팅 정형화](archive/phase/stability-maintenance/milestones/change-aware-test-routing.md) - 상태: 완료; 목표: 마지막 통과 테스트 지점과 현재 변경 내용을 분석해 기능, 속도, 안정성 테스트 중 필요한 검증 범위를 자동 선택하고, 언어별 anchor x5와 야간 장시간 측정을 분리한다.
|
||||
- [야간 대용량 패킷 성능 기준선](milestones/nightly-large-payload-baseline.md) - 상태: [진행중]; 목표: 64KB/1MB payload 성능 baseline과 회귀 판단을 실행 host local time 20:00 이후 야간 window에서 별도 수집해 주간 작업 부하 편차와 분리한다.
|
||||
- [대용량 WS/병렬 전송 후속 최적화](milestones/large-payload-followup-optimization.md) - 상태: [진행중]; 목표: 야간 기준선에서 병목이 유지되는 row를 근거로 TypeScript WS 1MB, WS fixed latency, Kotlin WS 1MB, Dart large-packet guard 후보를 후속 최적화로 구체화한다.
|
||||
- [야간 대용량 패킷 성능 기준선](archive/phase/stability-maintenance/milestones/nightly-large-payload-baseline.md) - 상태: 완료; 목표: 64KB/1MB payload 성능 baseline과 회귀 판단을 실행 host local time 20:00 이후 야간 window에서 별도 수집해 주간 작업 부하 편차와 분리한다.
|
||||
- [대용량 WS/병렬 전송 후속 최적화](milestones/large-payload-followup-optimization.md) - 상태: [진행중]; 목표: TypeScript WS 1MB, TypeScript TCP 1024 tail, Kotlin TCP parallel, Dart large-packet guard 작업 완료 이후 남은 WS fixed latency 후보를 후속 최적화로 구체화한다.
|
||||
|
||||
### 남은 native platform 포팅
|
||||
|
||||
|
|
|
|||
|
|
@ -10,7 +10,7 @@
|
|||
|
||||
## 상태
|
||||
|
||||
[진행중]
|
||||
[완료]
|
||||
|
||||
## 구현 잠금
|
||||
|
||||
|
|
@ -40,7 +40,7 @@
|
|||
|
||||
작업 부하가 낮은 시간대에 같은 profile을 반복해 편차를 줄인다.
|
||||
|
||||
- [ ] [night-full-record] 20:00 이후 `bash agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_performance.sh --full`을 실행해 야간 full performance record를 남긴다. 검증: same-language, cross-language, TypeScript gateway 구성요소가 모두 기록되고 대용량 payload rows가 포함된다. 진행 메모: 2026-06-10 21:18 KST에 시작했으나 Dart same-language full stress 단계가 20분 이상 record 없이 지속되어 중단했다. 2026-06-13/14 야간 full wrapper는 완료됐지만 same-language hard gate 실패가 있어 baseline 완료 근거로 쓰지 않는다.
|
||||
- [x] [night-full-record] 20:00 이후 `bash agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_performance.sh --full`을 실행해 야간 full performance record를 남긴다. 검증: `agent-test/runs/20260614-123328-proto-socket-performance-full.md`가 2026-06-14 21:33:16 KST 이후 시작한 야간 full record이며 overall PASS, same-language/cross-language/TypeScript gateway 구성요소 모두 PASS, same-language 5개 언어 각 34 rows, required skip 0, stability violations 0, 대용량 payload rows 포함으로 기록됐다. 진행 메모: 2026-06-10 21:18 KST에 시작했으나 Dart same-language full stress 단계가 20분 이상 record 없이 지속되어 중단했다. 2026-06-13/14 야간 full wrapper는 완료됐지만 same-language hard gate 실패가 있어 baseline 완료 근거로 쓰지 않는다.
|
||||
- [x] [payload-focused-record] 20:00 이후 `run_stress.sh --full --profile payload` 계열 focused record를 수집해 64KB/1MB TCP/WS rows를 별도로 확인한다. 검증: `agent-test/runs/20260610-124006-proto-socket-stress-full.md`에서 Dart, Go, Kotlin, Python, TypeScript payload rows가 모두 PASS이고 stability violations 0으로 기록됐다.
|
||||
- [x] [repeatability] 필요하면 2회 이상 반복해 p99/throughput 편차를 비교한다. 검증: `agent-test/runs/20260610-124006-proto-socket-stress-full.md`와 `agent-test/runs/20260610-131132-proto-socket-stress-full.md`를 같은 host/runtime/profile의 night records로 비교했다. 모든 64KB/1MB row는 PASS/PASS와 stability violations 0을 유지했고, 편차가 큰 row는 baseline 확정값 대신 watchlist로 남겼다.
|
||||
|
||||
|
|
@ -55,13 +55,16 @@
|
|||
|
||||
## 완료 리뷰
|
||||
|
||||
- 상태: 없음
|
||||
- 요청일: 없음
|
||||
- 완료 근거: 없음
|
||||
- 상태: 승인됨
|
||||
- 요청일: 2026-06-15
|
||||
- 완료 근거:
|
||||
- `agent-test/runs/20260614-123328-proto-socket-performance-full.md`가 야간 full performance 기준을 만족하며 전체 결과값 PASS로 완료됐다.
|
||||
- same-language, cross-language, TypeScript gateway 구성요소가 모두 PASS이고 same-language stability violations는 0이다.
|
||||
- 사용자 요청에 따라 코드레벨 검토 완료 상태에서 방금 야간 full record evidence를 검토했고, 완료/archive 진행이 승인됐다.
|
||||
- 리뷰 필요:
|
||||
- [ ] 사용자가 완료 결과를 확인했다
|
||||
- [ ] archive 이동을 승인했다
|
||||
- 리뷰 코멘트: 없음
|
||||
- [x] 사용자가 완료 결과를 확인했다
|
||||
- [x] archive 이동을 승인했다
|
||||
- 리뷰 코멘트: 2026-06-15 사용자 요청: "방금 작업에 대해 검토하고 마일스톤 완료 해도 될거 같으면 완료시켜". 검토 결과 야간 full performance evidence가 완료 조건을 충족해 Milestone을 완료 처리한다.
|
||||
|
||||
## 범위 제외
|
||||
|
||||
|
|
@ -107,8 +110,14 @@
|
|||
- hard gate 실패 row: TypeScript TCP `parallel clients=1024`, requests 511908/512000, timeout 92, p99 126.875ms, throughput 22134.4rps, 결과 FAIL.
|
||||
- 대용량 payload rows는 full record에 포함됐고 TypeScript TCP/WS 1MB payload는 PASS였지만, same-language hard gate 실패 때문에 full baseline 완료 근거로 쓰지 않는다.
|
||||
|
||||
## 다음 핸드오프
|
||||
## 2026-06-14/15 완료 메모
|
||||
|
||||
- `night-full-record` 완료 판정은 same-language hard gate를 만족하는 야간 full performance record가 다시 생길 때까지 보류한다.
|
||||
- 다음 실행 전 TypeScript TCP parallel 1024 timeout 92건이 재현성 있는 병목인지 먼저 좁힌다.
|
||||
- 이번 마일스톤은 즉시 코드 최적화를 수행하지 않으므로, 수정이 필요하면 후속 `대용량 WS/병렬 전송 후속 최적화` 범위로 넘긴다.
|
||||
- host local time 확인: `2026-06-14 21:33:16 KST +0900`.
|
||||
- full wrapper 실행: `bash agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_performance.sh --full`.
|
||||
- full wrapper 완료 확인: `2026-06-15 03:47:58 KST +0900`.
|
||||
- full wrapper 결과: `agent-test/runs/20260614-123328-proto-socket-performance-full.md`, overall PASS, regression SKIPPED(비교 baseline 없음).
|
||||
- 구성요소 결과: same-language PASS (`agent-test/runs/20260614-123328-proto-socket-stress-full.md`), cross-language PASS (`agent-test/runs/20260614-184040-proto-socket-stress-full-cross.md`), TypeScript gateway PASS (`agent-test/runs/20260614-184719-proto-socket-stress-full.md`).
|
||||
- same-language 결과: Dart/Go/Kotlin/Python/TypeScript 모두 PASS, 각 34 rows, SKIP 0, required skip 0, stability violations 0.
|
||||
- 이전 실패 지점이던 TypeScript TCP `parallel clients=1024,topology=split-process` row는 PASS, timeout 0, p99 75.826ms, throughput 47716.5rps로 기록됐다.
|
||||
- 대용량 payload rows는 TCP/WS 64KB/1MB 전 언어에서 PASS와 stability violations 0을 유지했다.
|
||||
- 이번 마일스톤은 즉시 코드 최적화를 수행하지 않고 야간 기준선 수집/완료 판정까지만 다룬다. 후속 최적화 후보는 활성 `대용량 WS/병렬 전송 후속 최적화` 마일스톤에서 계속 다룬다.
|
||||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
## 목표
|
||||
|
||||
야간 대용량 패킷 기준선에서 병목이 유지되는 row를 근거로, 64KB/1MB WebSocket 및 병렬 전송 성능을 추가 개선한다. 기준선 수집 전에는 구현하지 않고, 후보 범위와 판정 기준을 계획 상태에서 잠금으로 유지한다.
|
||||
야간 대용량 패킷 기준선에서 병목이 유지되는 row를 근거로, 64KB/1MB WebSocket 및 병렬 전송 성능을 추가 개선한다. TypeScript WS 1MB, TypeScript TCP 1024-client tail, Kotlin TCP parallel required skip 해제와 Dart large-packet guard는 완료 근거를 반영했고, 남은 후보는 WS fixed latency로 유지한다.
|
||||
|
||||
## 단계
|
||||
|
||||
|
|
@ -26,7 +26,9 @@
|
|||
## 범위
|
||||
|
||||
- 야간 기준선에서 재현되는 병목 row만 구현 대상으로 삼는다.
|
||||
- TypeScript WS 1MB, WS 계열 fixed latency, TypeScript TCP 1024-client 병렬 tail timeout, Kotlin TCP parallel required skip 해제, Kotlin WS 1MB, Dart large-packet 회귀 방지를 우선 후보로 둔다.
|
||||
- TypeScript WS 1MB, TypeScript TCP 1024-client 병렬 tail timeout, Kotlin TCP parallel required skip 해제는 완료 반영된 후보로 둔다.
|
||||
- 남은 활성 후보는 WS 계열 fixed latency다.
|
||||
- Kotlin WS 1MB는 야간 record에서 안정성 유지가 확인되어 이번 후보 창에서는 별도 구현 대상으로 승격하지 않는다.
|
||||
- stability hard gate는 timeout, nonce mismatch, response type mismatch, FIFO violation, pending leak, queue/gateway backlog leak 0을 유지한다.
|
||||
- 성능 개선은 cross-language matrix와 focused payload/stress record로 검증한다. 야간 full record 완료를 막는 same-language hard gate 실패는 focused stress로 먼저 좁힌 뒤 full record에서 재확인한다.
|
||||
|
||||
|
|
@ -47,9 +49,9 @@
|
|||
- [x] [typescript-ws-1mb-path] TypeScript WS 1MB 병목이 야간에도 유지되면 mask/protobuf/parse queue 경로를 우선 분석한다. 완료 근거: `agent-task/archive/2026/06/m-large-payload-followup-optimization/01_typescript_ws_1mb/complete.log`; 검증: `npm run check`, `npm test -- test/ws.test.ts test/communicator.test.ts`, `run_stress.sh --full --lang typescript --transport ws --profile payload`, `agent-test/runs/20260613-220314-proto-socket-stress-full.md`.
|
||||
- [x] [typescript-tcp-1024-tail-path] TypeScript TCP `parallel clients=1024` timeout tail을 focused stress로 재현하고, write queue 대기, socket write/drain, read parse queue, request timeout 시작점 중 어느 경로가 15초 hard gate를 넘기는지 계측한 뒤 transport/communicator 수정 계획을 작성한다. 완료 근거: `agent-task/archive/2026/06/m-large-payload-followup-optimization/02_typescript_tcp_tail/complete.log`; 검증: `agent-test/runs/20260614-072352-proto-socket-stress-full.md`, `agent-test/runs/20260614-072436-proto-socket-performance-quick.md`.
|
||||
- [x] [kotlin-tcp-parallel-unskip-path] Kotlin TCP `parallel clients>=128` required skip을 해제하기 위해 blocking read thread-per-connection 병목과 bounded read timeout 부재를 분리 분석하고, 128 -> 512 -> 1024 순서로 측정 가능하게 만드는 수정 계획을 작성한다. 완료 근거: `agent-task/archive/2026/06/m-large-payload-followup-optimization/03_kotlin_tcp_parallel/complete.log`; 검증: `cd kotlin && ./gradlew --offline test`, `run_stress.sh --full --lang kotlin --transport tcp --profile parallel`, `agent-test/runs/20260614-082714-proto-socket-stress-full.md`.
|
||||
- [ ] [ws-fixed-latency-path] WS 계열 fixed latency가 야간에도 유지되면 transport별 공통 지연 경로와 언어별 worker/gateway path를 분리해 분석한다. 구현 계획: `agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/PLAN-cloud-G07.md`
|
||||
- [ ] [ws-fixed-latency-path] WS 계열 fixed latency가 야간에도 유지되면 transport별 공통 지연 경로와 언어별 worker/gateway path를 분리해 분석한다. 계획: `agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/PLAN-cloud-G07.md`.
|
||||
- [x] [kotlin-ws-guard] Kotlin WS 1MB는 야간 record에서 개선 유지 여부를 확인하고, 회귀가 보이면 별도 구현 대상으로 승격한다. 검증: `agent-test/runs/20260610-124006-proto-socket-stress-full.md`, `agent-test/runs/20260610-131132-proto-socket-stress-full.md`, `agent-test/runs/20260613-141506-proto-socket-stress-full.md`의 Kotlin WS 1MB rows가 모두 stability PASS이고 queue/backlog leak 없이 유지되어 이번 후보 창에서는 별도 구현 대상으로 승격하지 않는다.
|
||||
- [ ] [dart-large-packet-guard] Dart TCP/WS 1MB는 기존 개선이 유지되는지 감시하고, 회귀가 보이면 guard 또는 path hardening 대상으로 승격한다. 구현 계획: `agent-task/m-large-payload-followup-optimization/05_dart_large_packet_guard/PLAN-local-G05.md`
|
||||
- [x] [dart-large-packet-guard] Dart TCP/WS 1MB는 기존 개선이 유지되는지 감시하고, 회귀가 보이면 guard 또는 path hardening 대상으로 승격한다. 검증: `agent-test/runs/20260614-123328-proto-socket-performance-full.md`에서 Dart TCP 1MB p99 `140.565ms`, throughput `56.4rps`, Dart WS 1MB p99 `149.095ms`, throughput `52.4rps`, timeout/nonce/type/FIFO/pending/queue/gateway violations 0으로 PASS라 별도 guard/hardening 구현 대상으로 승격하지 않는다.
|
||||
|
||||
## 완료 리뷰
|
||||
|
||||
|
|
@ -63,16 +65,16 @@
|
|||
|
||||
## 범위 제외
|
||||
|
||||
- 야간 기준선 없이 코드 최적화에 들어가지 않는다.
|
||||
- 완료된 야간 기준선이나 그 이후의 같은 host/runtime/profile evidence 없이 추가 코드 최적화에 들어가지 않는다.
|
||||
- C#/Swift 포팅, package registry release, 외부 CI/CD runner 연결은 포함하지 않는다.
|
||||
- Go/Python reference path를 불필요하게 변경하지 않는다.
|
||||
|
||||
## 작업 컨텍스트
|
||||
|
||||
- 관련 경로: `agent-roadmap/milestones/nightly-large-payload-baseline.md`, `agent-test/local/proto-socket-performance-baseline.md`, `agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_performance.sh`, `agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh`
|
||||
- 선행 작업: `야간 대용량 패킷 성능 기준선`
|
||||
- 1차 구현 대상: TypeScript WS 1MB.
|
||||
- 추가 hard gate 후보: TypeScript TCP 1024-client 병렬 timeout tail, Kotlin TCP parallel clients>=128 required skip 해제.
|
||||
- 1차 제외/감시: Kotlin WS 1MB와 Dart TCP/WS 1MB는 watchlist, Go/Python 1MB와 TypeScript TCP 1MB payload rows는 reference/비교 대상으로 둔다.
|
||||
- 관련 경로: `agent-roadmap/archive/phase/stability-maintenance/milestones/nightly-large-payload-baseline.md`, `agent-test/local/proto-socket-performance-baseline.md`, `agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_performance.sh`, `agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh`
|
||||
- 선행 작업: `야간 대용량 패킷 성능 기준선` 완료.
|
||||
- 완료된 구현 대상: TypeScript WS 1MB, TypeScript TCP 1024-client 병렬 timeout tail, Kotlin TCP parallel clients>=128 required skip 해제, Dart TCP/WS 1MB large-packet guard.
|
||||
- 남은 후보: WS fixed latency.
|
||||
- 제외/감시: Kotlin WS 1MB는 야간 record에서 안정성 유지가 확인되어 이번 후보 창에서는 별도 구현 대상으로 승격하지 않는다. Dart TCP/WS 1MB는 2026-06-14/15 야간 full record에서 stability PASS가 확인되어 별도 구현 대상으로 승격하지 않는다. Go/Python 1MB와 TypeScript TCP 1MB payload rows는 reference/비교 대상으로 둔다.
|
||||
- 성공 기준: stability hard gate 0을 유지하고, 같은 host/runtime/profile의 focused 또는 quick record에서 대상 row의 p99/throughput이 개선 방향을 보이는지 기록한다. 절대값 고정 합격선은 두지 않는다.
|
||||
- 구현 계획 작성 기준: `candidate-paths`의 큰 작업은 `agent-task/m-large-payload-followup-optimization/` 아래 split task로 작성한다. TypeScript TCP 1024 tail, Kotlin TCP parallel unskip, WS fixed latency, Dart guard는 원인과 위험이 달라 독립 plan으로 유지한다.
|
||||
- 구현 계획 작성 기준: `candidate-paths`의 큰 작업은 `agent-task/m-large-payload-followup-optimization/` 아래 split task로 작성한다. WS fixed latency는 `agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/PLAN-cloud-G07.md`에서 원인 분리 계획으로 유지한다.
|
||||
|
|
|
|||
|
|
@ -0,0 +1,316 @@
|
|||
<!-- task=m-large-payload-followup-optimization/04_ws_fixed_latency plan=0 tag=TEST -->
|
||||
|
||||
# Code Review Reference - TEST
|
||||
|
||||
> **[IMPLEMENTING AGENT — READ FIRST] Filling in this file is the mandatory final step of implementation.**
|
||||
> The task is NOT complete until every implementation-owned section below is filled in.
|
||||
> Complete the `구현 체크리스트`; the final checklist item is mandatory before saving.
|
||||
> Fill implementation-owned sections, then stop with active files in place and report ready for review.
|
||||
> If implementation is blocked by a user-only decision, user-owned external environment prerequisite, or scope conflict, fill `사용자 리뷰 요청` with evidence and stop with active files in place; code-review decides whether to write `USER_REVIEW.md`. Evidence gaps that a follow-up agent can close by rerunning commands or collecting artifacts are normal follow-up issues, not user-review blockers by themselves.
|
||||
> Do not ask the user directly, present choices in chat, or call `request_user_input` during implementation; record the needed decision in `사용자 리뷰 요청` and stop for code-review.
|
||||
> Finalization (`코드리뷰 결과`, log rename, `complete.log`, archive moves, `코드리뷰 전용 체크리스트`) is review-agent-only, even after compaction/resume.
|
||||
> Follow the ownership table at the bottom of this file for which sections you own.
|
||||
|
||||
## 개요
|
||||
|
||||
date=2026-06-15
|
||||
task=m-large-payload-followup-optimization/04_ws_fixed_latency, plan=0, tag=TEST
|
||||
|
||||
## Roadmap Targets
|
||||
|
||||
- Milestone: `agent-roadmap/milestones/large-payload-followup-optimization.md`
|
||||
- Task ids:
|
||||
- `ws-fixed-latency-path`: WS 계열 fixed latency 경로 분리 분석
|
||||
- Completion mode: check-on-pass
|
||||
|
||||
## 이 파일을 읽는 리뷰 에이전트에게
|
||||
|
||||
> **[REVIEW AGENT ONLY]** 아래 종결 절차는 코드리뷰 에이전트 전용이다. 구현 에이전트는 이 섹션을 실행하지 않는다.
|
||||
|
||||
각 항목의 구현을 실제 소스 파일과 대조하고, `검증 결과` 섹션의 출력이 코드와 일치하는지 확인하세요.
|
||||
리뷰 완료는 아래 순서까지 끝난 상태를 의미합니다.
|
||||
|
||||
1. 판정을 append한다.
|
||||
2. `CODE_REVIEW-{review_lane}-GNN.md` → `code_review_{review_lane}_GNN_N.log`, `PLAN-{build_lane}-GNN.md` → `plan_{build_lane}_GNN_M.log`로 아카이브한다.
|
||||
3. PASS이면 `complete.log` 작성 후 active task 디렉터리를 `agent-task/archive/YYYY/MM/{task_name}/`로 이동한다. WARN/FAIL이면 user-review gate를 확인한 뒤 다음 active plan/review 파일 또는 `USER_REVIEW.md`를 작성한다. `USER_REVIEW.md`가 사용자 결정으로 완료/PASS 해소되면 code-review가 `USER_REVIEW.md`를 해소 상태로 갱신하고 `complete.log` 작성 후 archive 이동한다.
|
||||
4. PASS이고 task group이 `m-<milestone-slug>`이면 완료 이벤트 메타데이터를 보고한다. roadmap 상태 체크와 `update-roadmap` 호출은 런타임 책임이다.
|
||||
5. 적용 가능한 `코드리뷰 전용 체크리스트` 항목을 최종 `.log` 위치에서 체크한 뒤 보고한다.
|
||||
|
||||
---
|
||||
|
||||
## 구현 항목별 완료 여부
|
||||
|
||||
| 항목 | 완료 여부 |
|
||||
|------|---------|
|
||||
| [TEST-1] WS fixed-latency evidence 분리 | [x] |
|
||||
|
||||
## 구현 체크리스트
|
||||
|
||||
- [x] 2026-06-14/15 full 성능 record에서 WS fixed-latency 후보 rows를 deterministic awk 출력으로 재확인하고, Kotlin WS 40ms대 plateau/queue backlog와 TypeScript worker_threads gateway tail을 `주요 설계 결정`에 기록한다.
|
||||
- [x] `run_stress.sh --quick --lang dart,go,kotlin,python,typescript --transport ws --profile roundtrip,sustained,parallel,payload`를 실행해 현재 focused WS hard gate가 PASS인지 확인하고 결과 record 경로를 `검증 결과`에 붙인다.
|
||||
- [x] `run_stress.sh --quick --lang typescript --transport ws --profile gateway`를 실행해 TypeScript WS gateway worker path가 same-language WS fixed-latency와 별도 후보인지 기록한다.
|
||||
- [x] 코드 수정 없이 종료할지, 다음 구현 plan으로 승격할 언어/경로가 있는지 `계획 대비 변경 사항` 또는 `주요 설계 결정`에 명시한다.
|
||||
- [x] CODE_REVIEW-*-G??.md의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채운다. 이 항목이 완료되기 전에는 구현이 완료된 것이 아니다.
|
||||
|
||||
## 코드리뷰 전용 체크리스트
|
||||
|
||||
> **[REVIEW AGENT ONLY]** 이 체크리스트는 코드리뷰 에이전트만 사용한다.
|
||||
> 구현 에이전트는 이 섹션을 수정하거나 체크하지 않는다.
|
||||
|
||||
- [x] `코드리뷰 결과`에 `PASS`, `WARN`, `FAIL` 중 하나의 판정을 append한다.
|
||||
- [x] 판정과 `차원별 평가`, Required/Suggested/Nit 분류가 서로 일치한다.
|
||||
- [x] active `CODE_REVIEW-*-G??.md`를 `code_review_{review_lane}_GNN_N.log`로 아카이브한다.
|
||||
- [x] active `PLAN-*-G??.md`를 `plan_{build_lane}_GNN_M.log`로 아카이브한다.
|
||||
- [x] `.gitignore`의 Agent-Ops 관리 block이 `agent-task/**/*.md`와 `agent-task/**/*.log`를 unignore하고 `agent-roadmap/current.md`를 ignore하는지 확인한다.
|
||||
- [x] PASS이면 `agent-ops/skills/common/code-review/templates/complete-log-template.md` 기준으로 `complete.log`를 작성하고 active `.md` 파일을 남기지 않는다.
|
||||
- [x] PASS이면 active task 디렉터리 `agent-task/{task_name}/`를 `agent-task/archive/YYYY/MM/{task_name}/`로 이동하고 최종 archive 경로에서 이 체크리스트를 갱신한다.
|
||||
- [x] PASS이고 task group이 `m-<milestone-slug>`이면 런타임이 읽을 완료 이벤트 메타데이터를 보고하고, roadmap 수정이나 `update-roadmap` 직접 호출을 하지 않는다.
|
||||
- [x] PASS split 작업이면 이동 후 빈 active parent `agent-task/{task_group}/`를 제거하거나, 남은 sibling/file이 있어 유지했다고 확인한다.
|
||||
- [ ] WARN/FAIL이고 user-review gate가 트리거되지 않았으면 다음 active `PLAN-{build_lane}-GNN.md`와 `CODE_REVIEW-{review_lane}-GNN.md`를 작성하고 `complete.log`를 작성하지 않는다.
|
||||
- [ ] USER_REVIEW이면 `agent-ops/skills/common/code-review/templates/user-review-template.md` 기준으로 `USER_REVIEW.md`를 작성하고 active `PLAN-*.md`, `CODE_REVIEW-*.md`, `complete.log`를 남기지 않는다.
|
||||
- [ ] USER_REVIEW가 사용자 결정으로 완료/PASS 해소되면 `USER_REVIEW.md`를 해소 상태로 갱신하고 `complete.log`를 작성한 뒤 task directory를 archive로 이동한다.
|
||||
|
||||
## 계획 대비 변경 사항
|
||||
|
||||
- 계획의 검증 명령을 그대로 실행했다. 대체하거나 생략한 명령은 없다.
|
||||
- 제품 코드는 수정하지 않았다. 이 작업은 evidence/분류 task로 종료하고, 식별된 구현 후보는 아래 `주요 설계 결정`의 follow-up 후보로 남긴다.
|
||||
- 두 focused stress 실행이 생성한 결과 record는 `agent-test/runs/` 아래에 자동 기록되며, 해당 디렉터리는 `.gitignore` 대상이라 git diff에는 나타나지 않는다(`git diff --check` 출력 없음, exit 0).
|
||||
|
||||
## 주요 설계 결정
|
||||
|
||||
WS 계열 fixed-latency는 **공통 transport 문제가 아니라 두 개의 서로 독립적인 언어/경로별 문제**로 분리된다. 같은 WS transport를 쓰는 Dart/Go/Python WS는 plateau나 tail이 없고(quick run violations=0, p99 정상 범위), 두 신호는 각각 Kotlin WS 수신 경로와 TypeScript gateway worker_threads 경로에만 국한된다.
|
||||
|
||||
### 후보 A — Kotlin WS same-language 수신 plateau (별도 follow-up plan 권장)
|
||||
|
||||
- full record(2026-06-14): Kotlin WS roundtrip p99 43.176 / 46.613 / 47.381ms(concurrency=16/64/256)에서 40ms대 plateau, sustained 44~45ms, payload 1KB 43.784ms. roundtrip QueueBacklog 15/63/229로 concurrency에 비례해 증가.
|
||||
- focused quick run에서 동일 패턴 재현: roundtrip concurrency=64 `p50=49.540 p99=51.585`, sustained `p50=41.828 p99=43.211`, parallel `p50=41.732 p99=45.875`, payload 1KB `p50=41.764 p99=43.288`. `wsMaxStaged`가 1→8→50→173으로 concurrency와 함께 증가하고 `wsDropped=0`.
|
||||
- 단서: payload 64KB는 plateau가 사라진다(`p50=3.940 p99=11.711`). 즉 payload 크기가 아니라 WS 수신 staging/batching 타이밍에서 비롯된 고정 floor로 보이며, 작은 메시지 다수일 때 두드러진다. hard gate(violations/backlog leak)는 0이라 PASS지만 latency floor는 별도 최적화 대상이다.
|
||||
|
||||
### 후보 B — TypeScript gateway worker_threads dispatch tail (별도 follow-up plan 권장)
|
||||
|
||||
- full record(2026-06-14): TypeScript gateway WS worker_threads row p99 203.015ms, GatewayBacklog=16. 같은 gateway의 off/on 모드는 2.423 / 3.215ms.
|
||||
- focused gateway quick run에서 재현: `gateway=off p99=4.889`, `gateway=on p99=2.267`, `gateway=worker_threads p50=2.232 p99=239.112` backlog=16. worker_threads 모드에서만 tail과 backlog가 발생.
|
||||
- TypeScript same-language WS(off path)는 fast(roundtrip p99 1.7~19.6ms)이므로, 이 tail은 후보 A의 same-language plateau와 무관한 worker_threads dispatch/round-trip 경로 문제다.
|
||||
|
||||
### 종료 판정
|
||||
|
||||
- 이 subtask는 제품 코드 변경 없이 `ws-fixed-latency-path` 분석 완료로 종료한다.
|
||||
- 다음 구현 단위로 후보 A(Kotlin WS 수신 staging plateau)와 후보 B(TypeScript gateway worker_threads tail)를 각각 별도 follow-up plan으로 승격할 것을 권장한다. 두 경로는 ownership/risk가 달라 한 plan으로 묶지 않는다.
|
||||
|
||||
## 사용자 리뷰 요청
|
||||
|
||||
_기본값은 `없음`이다. 구현 중 사용자 결정, 사용자 소유 외부 환경/secret/서비스 준비, 또는 계획 범위 변경 없이는 안전하게 진행할 수 없으면 아래 항목을 실제 내용으로 교체하고, 구현을 중단한 뒤 active 파일을 그대로 둔 채 리뷰를 요청한다. 구현 에이전트는 사용자에게 직접 질문하거나 선택지를 제시하거나 `request_user_input`을 호출하지 않는다. 후속 에이전트가 명령 재실행이나 산출물 수집으로 해소할 수 있는 검증 증거 공백만으로는 사용자 리뷰 요청을 작성하지 않는다._
|
||||
|
||||
- 상태: 없음
|
||||
- 사유 유형: 없음
|
||||
- 결정 필요: 없음
|
||||
- 차단 근거: 없음
|
||||
- 실행한 검증/명령: 없음
|
||||
- 자동 후속 불가 이유: 없음
|
||||
- 재개 조건: 없음
|
||||
|
||||
## 리뷰어를 위한 체크포인트
|
||||
|
||||
- 기존 full record와 새 focused quick record가 같은 row schema로 해석됐는지 확인한다.
|
||||
- 제품 코드 수정이 없거나, 범위를 벗어난 수정이 `계획 대비 변경 사항`에 명확히 기록됐는지 확인한다.
|
||||
- Kotlin WS same-language plateau와 TypeScript worker_threads gateway tail이 별도 후보인지 검토한다.
|
||||
- PASS이면 `Roadmap Targets`의 `ws-fixed-latency-path`만 완료 이벤트 대상으로 보고한다.
|
||||
|
||||
## 검증 결과
|
||||
|
||||
_구현 에이전트가 각 중간 검증 및 최종 검증 명령 실행 후 출력을 여기에 붙여 넣는다._
|
||||
|
||||
필수 규칙:
|
||||
- 검증 명령은 고정된 계약이다. 임의로 대체하지 않는다.
|
||||
- 대체가 필요하면 `계획 대비 변경 사항`에 이유와 대체 명령을 기록한다.
|
||||
- `검증 결과`에는 실제 stdout/stderr를 붙여 넣는다.
|
||||
- 사용자 리뷰 요청으로 명령을 끝까지 실행하지 못했다면 `사용자 리뷰 요청`에 실행한 명령, 실제 출력, 미실행 명령의 사유를 기록한다.
|
||||
- mobile/UI hang, timeout, 또는 2분 무진행은 blind retry를 중단하고 focused rerun 명령과 screenshot/window/UI-tree evidence path를 남기며, 불가능하면 정확한 사유를 남긴다.
|
||||
|
||||
### TEST-1 중간 검증
|
||||
```
|
||||
$ awk -F'|' 'function trim(s){gsub(/^[[:space:]]+|[[:space:]]+$/,"",s); return s} BEGIN{print "| Profile | Axis | Language | p99(ms) | QueueBacklog | GatewayBacklog | Gateway | Result |"; print "|---|---|---|---:|---:|---:|---|---|"} /^\|/ && $2 !~ /Profile|---/ {profile=trim($2); axis=trim($3); lang=trim($4); transport=trim($5); if (transport=="ws" && (profile=="roundtrip" || profile=="sustained" || profile=="parallel" || profile=="payload" || profile=="gateway")) print "| " profile " | " axis " | " lang " | " trim($12) " | " trim($18) " | " trim($19) " | " trim($20) " | " trim($22) " |"}' agent-test/runs/20260614-123328-proto-socket-performance-full.md
|
||||
| Profile | Axis | Language | p99(ms) | QueueBacklog | GatewayBacklog | Gateway | Result |
|
||||
|---|---|---|---:|---:|---:|---|---|
|
||||
| roundtrip | concurrency=1 | Dart | 8.061 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=16 | Dart | 6.681 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=64 | Dart | 5.872 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=256 | Dart | 9.487 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=30000ms | Dart | 0.920 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=300000ms | Dart | 1.010 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=1800000ms | Dart | 1.036 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=16 | Dart | 17.478 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=128 | Dart | 74.386 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=512 | Dart | 253.210 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=1024 | Dart | 469.257 | 0 | 0 | off | PASS |
|
||||
| payload | payload=1KB | Dart | 0.709 | 0 | 0 | off | PASS |
|
||||
| payload | payload=64KB | Dart | 15.143 | 0 | 0 | off | PASS |
|
||||
| payload | payload=1MB | Dart | 149.095 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=1 | Go | 0.106 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=16 | Go | 0.425 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=64 | Go | 0.988 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=256 | Go | 6.869 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=30000ms | Go | 0.914 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=300000ms | Go | 0.997 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=1800000ms | Go | 0.957 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=16 | Go | 3.731 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=128 | Go | 17.575 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=512 | Go | 53.282 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=1024 | Go | 171.927 | 0 | 0 | off | PASS |
|
||||
| payload | payload=1KB | Go | 0.334 | 0 | 0 | off | PASS |
|
||||
| payload | payload=64KB | Go | 6.227 | 0 | 0 | off | PASS |
|
||||
| payload | payload=1MB | Go | 29.750 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=1 | Kotlin | 17.264 | 1 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=16 | Kotlin | 43.176 | 15 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=64 | Kotlin | 46.613 | 63 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=256 | Kotlin | 47.381 | 229 | 0 | off | PASS |
|
||||
| sustained | duration=30000ms | Kotlin | 45.290 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=300000ms | Kotlin | 44.614 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=1800000ms | Kotlin | 44.200 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=16 | Kotlin | 46.593 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=128 | Kotlin | 88.834 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=512 | Kotlin | 329.852 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=1024 | Kotlin | 818.698 | 0 | 0 | off | PASS |
|
||||
| payload | payload=1KB | Kotlin | 43.784 | 7 | 0 | off | PASS |
|
||||
| payload | payload=64KB | Kotlin | 54.163 | 2 | 0 | off | PASS |
|
||||
| payload | payload=1MB | Kotlin | 115.146 | 1 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=1 | Python | 0.363 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=16 | Python | 2.184 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=64 | Python | 7.504 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=256 | Python | 63.102 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=30000ms | Python | 1.920 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=300000ms | Python | 1.818 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=1800000ms | Python | 1.836 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=16 | Python | 17.920 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=128 | Python | 134.564 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=512 | Python | 696.386 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=1024 | Python | 1842.699 | 0 | 0 | off | PASS |
|
||||
| payload | payload=1KB | Python | 1.168 | 0 | 0 | off | PASS |
|
||||
| payload | payload=64KB | Python | 9.583 | 0 | 0 | off | PASS |
|
||||
| payload | payload=1MB | Python | 63.603 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=1 | TypeScript | 0.715 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=16 | TypeScript | 1.720 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=64 | TypeScript | 18.208 | 0 | 0 | off | PASS |
|
||||
| roundtrip | concurrency=256 | TypeScript | 14.345 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=30000ms | TypeScript | 1.620 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=300000ms | TypeScript | 1.972 | 0 | 0 | off | PASS |
|
||||
| sustained | duration=1800000ms | TypeScript | 3.092 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=16 | TypeScript | 14.072 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=128 | TypeScript | 53.400 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=512 | TypeScript | 80.489 | 0 | 0 | off | PASS |
|
||||
| parallel | clients=1024 | TypeScript | 151.270 | 0 | 0 | off | PASS |
|
||||
| payload | payload=1KB | TypeScript | 0.575 | 0 | 0 | off | PASS |
|
||||
| payload | payload=64KB | TypeScript | 8.897 | 0 | 0 | off | PASS |
|
||||
| payload | payload=1MB | TypeScript | 60.773 | 0 | 0 | off | PASS |
|
||||
| gateway | transport=ws concurrency=16 | TypeScript | 2.423 | 0 | 0 | off | PASS |
|
||||
| gateway | transport=ws concurrency=16 | TypeScript | 3.215 | 0 | 0 | on | PASS |
|
||||
| gateway | transport=ws concurrency=16 | TypeScript | 203.015 | 0 | 16 | worker_threads | PASS |
|
||||
(exit 0)
|
||||
```
|
||||
판정: WS same-language rows에서 Kotlin만 roundtrip 43~47ms / sustained 44~45ms plateau와 QueueBacklog(15/63/229)를 보이고, TypeScript gateway worker_threads row만 p99 203.015ms / GatewayBacklog 16을 보인다. Dart/Go/Python WS는 plateau/tail 없음. 두 신호는 별도 후보로 분리된다.
|
||||
|
||||
### 최종 검증
|
||||
```
|
||||
$ bash agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh --quick --lang dart,go,kotlin,python,typescript --transport ws --profile roundtrip,sustained,parallel,payload
|
||||
RUN stress lang=dart mode=quick transports=ws profiles=roundtrip,sustained,parallel,payload
|
||||
...
|
||||
DONE dart: PASS (rows=8 skips=0 required_skips=0 violations=0)
|
||||
RUN stress lang=go mode=quick transports=ws profiles=roundtrip,sustained,parallel,payload
|
||||
...
|
||||
DONE go: PASS (rows=8 skips=0 required_skips=0 violations=0)
|
||||
RUN stress lang=kotlin mode=quick transports=ws profiles=roundtrip,sustained,parallel,payload
|
||||
...
|
||||
[roundtrip] transport=ws concurrency=64 wsCopyMs=0.073 wsMaxStaged=50 wsDropped=0 wsReceived=128
|
||||
DIAG fixed-latency profile=roundtrip transport=ws p50=49.540 p99=51.585
|
||||
[roundtrip] transport=ws concurrency=256 wsCopyMs=0.196 wsMaxStaged=173 wsDropped=0 wsReceived=512
|
||||
DIAG fixed-latency profile=roundtrip transport=ws p50=61.743 p99=78.145
|
||||
DIAG fixed-latency profile=sustained transport=ws p50=41.828 p99=43.211
|
||||
DIAG fixed-latency profile=parallel transport=ws p50=41.732 p99=45.875
|
||||
[payload] transport=ws size=1KB wsCopyMs=0.029 wsMaxStaged=3 wsDropped=0 wsReceived=20 peakMemMb=45.8
|
||||
DIAG fixed-latency profile=payload transport=ws p50=41.764 p99=43.288
|
||||
DIAG fixed-latency profile=payload transport=ws p50=3.940 p99=11.711 # 64KB: plateau 사라짐
|
||||
DONE kotlin: PASS (rows=8 skips=0 required_skips=0 violations=0)
|
||||
RUN stress lang=python mode=quick transports=ws profiles=roundtrip,sustained,parallel,payload
|
||||
...
|
||||
DONE python: PASS (rows=8 skips=0 required_skips=0 violations=0)
|
||||
RUN stress lang=typescript mode=quick transports=ws profiles=roundtrip,sustained,parallel,payload
|
||||
...
|
||||
DIAG fixed-latency profile=roundtrip transport=ws gateway=off p50=16.461 p99=19.576
|
||||
DONE typescript: PASS (rows=8 skips=0 required_skips=0 violations=0)
|
||||
|
||||
=== stress 측정 결과 (언어별 요약) ===
|
||||
| 언어 | 결과 | ROW | SKIP(전체) | SKIP(required) | stability_violations | 비고 |
|
||||
|---|---|---:|---:|---:|---:|---|
|
||||
| dart | PASS | 8 | 0 | 0 | 0 | |
|
||||
| go | PASS | 8 | 0 | 0 | 0 | |
|
||||
| kotlin | PASS | 8 | 0 | 0 | 0 | |
|
||||
| python | PASS | 8 | 0 | 0 | 0 | |
|
||||
| typescript | PASS | 8 | 0 | 0 | 0 | |
|
||||
|
||||
전체 결과값: PASS
|
||||
결과 기록 파일: `agent-test/runs/20260614-224355-proto-socket-stress-quick.md`
|
||||
(exit 0)
|
||||
|
||||
$ bash agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh --quick --lang typescript --transport ws --profile gateway
|
||||
RUN stress lang=typescript mode=quick transports=ws profiles=gateway
|
||||
INFO stress harness language=TypeScript mode=quick transports=ws profiles=gateway typeName=TestData
|
||||
[gateway] mode=quick frames=500
|
||||
DIAG fixed-latency profile=gateway transport=frame-ingest gateway=off p50=0.000 p99=0.000
|
||||
[gateway] mode=off dispatched=500 backlog=0 residual=0 violations=0
|
||||
DIAG fixed-latency profile=gateway transport=frame-ingest gateway=on p50=0.000 p99=0.000
|
||||
[gateway] mode=on dispatched=500 backlog=0 residual=0 violations=0
|
||||
DIAG fixed-latency profile=gateway transport=frame-ingest gateway=worker_threads p50=0.000 p99=0.000
|
||||
[gateway] mode=worker_threads dispatched=500 backlog=500 residual=0 violations=0
|
||||
DIAG fixed-latency profile=gateway transport=ws gateway=off p50=1.785 p99=4.889
|
||||
[gateway] transport=ws mode=off requests=64 backlog=0 residual=0 violations=0
|
||||
DIAG fixed-latency profile=gateway transport=ws gateway=on p50=1.886 p99=2.267
|
||||
[gateway] transport=ws mode=on requests=64 backlog=0 residual=0 violations=0
|
||||
DIAG fixed-latency profile=gateway transport=ws gateway=worker_threads p50=2.232 p99=239.112
|
||||
[gateway] transport=ws mode=worker_threads requests=64 backlog=16 residual=0 violations=0
|
||||
DONE typescript: PASS (rows=6 skips=0 required_skips=0 violations=0)
|
||||
|
||||
=== stress 측정 결과 (언어별 요약) ===
|
||||
| 언어 | 결과 | ROW | SKIP(전체) | SKIP(required) | stability_violations | 비고 |
|
||||
|---|---|---:|---:|---:|---:|---|
|
||||
| typescript | PASS | 6 | 0 | 0 | 0 | |
|
||||
|
||||
전체 결과값: PASS
|
||||
결과 기록 파일: `agent-test/runs/20260614-224424-proto-socket-stress-quick.md`
|
||||
(exit 0)
|
||||
|
||||
$ git diff --check
|
||||
(출력 없음, exit 0)
|
||||
```
|
||||
판정: focused WS quick(5개 언어 × 4 profile)과 TypeScript WS gateway quick 모두 overall PASS, hard gate violations=0. quick run에서도 Kotlin WS 40ms대 plateau(`wsMaxStaged` concurrency 비례 증가, 64KB에서 소멸)와 TypeScript worker_threads gateway p99 239.112ms / backlog 16이 재현되어 full record 분류와 일치한다.
|
||||
|
||||
---
|
||||
|
||||
> **[IMPLEMENTING AGENT — BEFORE SAVING] Have you filled in every implementation-owned section: completion table, implementation checklist, changes from plan, design decisions, and verification output?**
|
||||
> If anything is blank, go back and fill it in before saving this file.
|
||||
> Leave review-agent-only sections unchanged.
|
||||
|
||||
## 코드리뷰 결과
|
||||
|
||||
### 종합 판정
|
||||
|
||||
PASS
|
||||
|
||||
### 차원별 평가
|
||||
|
||||
| 차원 | 평가 | 근거 |
|
||||
|------|------|------|
|
||||
| Correctness | Pass | full record awk 재분류와 focused quick records가 Kotlin WS plateau 및 TypeScript worker_threads gateway tail을 서로 다른 후보로 일관되게 보여준다. |
|
||||
| Completeness | Pass | 계획의 awk 검증, WS focused quick, TypeScript gateway quick, 제품 코드 무수정 종료 판단이 모두 기록됐다. |
|
||||
| Test coverage | Pass | 제품 코드 변경 없는 evidence task라 새 테스트는 불필요하며, 요구된 stress/performance record 기반 검증이 수행됐다. |
|
||||
| API contract | Pass | 제품/API/프로토콜 파일 변경이 없고 외부 계약 영향이 없다. |
|
||||
| Code quality | Pass | source change가 없고 review artifact의 구현 소유 섹션이 채워져 있다. |
|
||||
| Plan deviation | Pass | 계획된 검증 명령을 그대로 사용했고, 코드 수정 없이 분석 완료로 종료한다는 범위와 일치한다. |
|
||||
| Verification trust | Pass | awk 명령을 재실행했고 `agent-test/runs/20260614-224355-proto-socket-stress-quick.md`, `agent-test/runs/20260614-224424-proto-socket-stress-quick.md`, `git diff --check` 결과를 대조했다. |
|
||||
|
||||
### 발견된 문제
|
||||
|
||||
없음
|
||||
|
||||
### 다음 단계
|
||||
|
||||
PASS: `complete.log`를 작성하고 active task directory를 `agent-task/archive/2026/06/m-large-payload-followup-optimization/04_ws_fixed_latency_1/`로 이동했다. `m-large-payload-followup-optimization` 완료 이벤트 메타데이터를 보고하되, roadmap 수정은 code-review에서 수행하지 않는다.
|
||||
|
|
@ -0,0 +1,43 @@
|
|||
# Complete - m-large-payload-followup-optimization/04_ws_fixed_latency
|
||||
|
||||
## 완료 일시
|
||||
|
||||
2026-06-15
|
||||
|
||||
## 요약
|
||||
|
||||
WS fixed-latency evidence 분리 task를 1회 리뷰 루프로 PASS 종결했다.
|
||||
|
||||
## 루프 이력
|
||||
|
||||
| Plan | Review | Verdict | 메모 |
|
||||
|------|--------|---------|------|
|
||||
| `plan_cloud_G07_0.log` | `code_review_cloud_G07_0.log` | PASS | Kotlin WS same-language plateau와 TypeScript gateway worker_threads tail을 별도 follow-up 후보로 분리했고, focused stress hard gate는 PASS로 확인됐다. |
|
||||
|
||||
## 구현/정리 내용
|
||||
|
||||
- 제품 코드는 수정하지 않고 기존 full performance record와 focused quick stress records를 대조해 WS fixed-latency 후보를 분리했다.
|
||||
- Kotlin WS small-message same-language staging plateau와 TypeScript WS gateway worker_threads dispatch tail을 서로 다른 구현 후보로 기록했다.
|
||||
- active `PLAN-cloud-G07.md`와 `CODE_REVIEW-cloud-G07.md`를 각각 `plan_cloud_G07_0.log`, `code_review_cloud_G07_0.log`로 아카이브했다.
|
||||
|
||||
## 최종 검증
|
||||
|
||||
- `awk -F'|' 'function trim(s){gsub(/^[[:space:]]+|[[:space:]]+$/,"",s); return s} BEGIN{print "| Profile | Axis | Language | p99(ms) | QueueBacklog | GatewayBacklog | Gateway | Result |"; print "|---|---|---|---:|---:|---:|---|---|"} /^\|/ && $2 !~ /Profile|---/ {profile=trim($2); axis=trim($3); lang=trim($4); transport=trim($5); if (transport=="ws" && (profile=="roundtrip" || profile=="sustained" || profile=="parallel" || profile=="payload" || profile=="gateway")) print "| " profile " | " axis " | " lang " | " trim($12) " | " trim($18) " | " trim($19) " | " trim($20) " | " trim($22) " |"}' agent-test/runs/20260614-123328-proto-socket-performance-full.md` - PASS; Kotlin WS 40ms대 plateau 및 TypeScript worker_threads gateway p99 203.015ms row가 재확인됐다.
|
||||
- `bash agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh --quick --lang dart,go,kotlin,python,typescript --transport ws --profile roundtrip,sustained,parallel,payload` - PASS; 결과 record=`agent-test/runs/20260614-224355-proto-socket-stress-quick.md`, 전체 결과값 PASS.
|
||||
- `bash agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh --quick --lang typescript --transport ws --profile gateway` - PASS; 결과 record=`agent-test/runs/20260614-224424-proto-socket-stress-quick.md`, 전체 결과값 PASS.
|
||||
- `git diff --check` - PASS; 출력 없음.
|
||||
|
||||
## Roadmap Completion
|
||||
|
||||
- Milestone: `agent-roadmap/milestones/large-payload-followup-optimization.md`
|
||||
- Completed task ids:
|
||||
- `ws-fixed-latency-path`: PASS; evidence=`agent-task/archive/2026/06/m-large-payload-followup-optimization/04_ws_fixed_latency_1/plan_cloud_G07_0.log`, `agent-task/archive/2026/06/m-large-payload-followup-optimization/04_ws_fixed_latency_1/code_review_cloud_G07_0.log`; verification=`agent-test/runs/20260614-224355-proto-socket-stress-quick.md`, `agent-test/runs/20260614-224424-proto-socket-stress-quick.md`
|
||||
- Not completed task ids: 없음
|
||||
|
||||
## 잔여 Nit
|
||||
|
||||
- 없음
|
||||
|
||||
## 후속 작업
|
||||
|
||||
- 없음
|
||||
|
|
@ -0,0 +1,168 @@
|
|||
<!-- task=m-large-payload-followup-optimization/04_ws_fixed_latency plan=0 tag=TEST -->
|
||||
|
||||
# Plan - TEST
|
||||
|
||||
## 이 파일을 읽는 구현 에이전트에게
|
||||
|
||||
`CODE_REVIEW-cloud-G07.md`의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채우는 것이 이 작업의 필수 마지막 단계다. 검증 명령을 실행하고 실제 stdout/stderr와 결과 record 경로를 붙인 뒤, active 파일은 그대로 두고 리뷰 준비를 보고한다. 최종 판정, 로그 아카이브, `complete.log` 작성, task directory archive 이동은 code-review-skill 전용이다.
|
||||
|
||||
구현 중 사용자만 결정할 수 있는 범위 변경, 사용자 소유 외부 환경 prerequisite, 또는 계획 범위 충돌이 있으면 active review stub의 `사용자 리뷰 요청` 섹션에 정확한 결정 사항과 근거를 기록하고 code-review로 넘긴다. 구현 에이전트는 사용자에게 직접 질문하거나, 채팅 선택지를 제시하거나, `request_user_input`을 호출하거나, `USER_REVIEW.md`/`complete.log`를 만들지 않는다. 후속 에이전트가 명령 재실행이나 산출물 수집으로 해소할 수 있는 증거 공백은 사용자 리뷰 요청이 아니다.
|
||||
|
||||
## 배경
|
||||
|
||||
야간 full 성능 record는 전체 PASS였지만, WS 계열에는 서로 다른 모양의 fixed-latency 신호가 남아 있다. Kotlin WS same-language rows는 40ms대 plateau와 일부 queue backlog가 보이고, TypeScript gateway worker_threads path는 TCP/WS 모두 p99 190ms 이상 tail을 보인다. 이 작업은 바로 제품 코드를 고치지 않고, WS 공통 transport 문제인지 언어별 worker/gateway 문제인지 분리해 다음 구현 단위를 정한다.
|
||||
|
||||
## 사용자 리뷰 요청 흐름
|
||||
|
||||
구현 중 blocker는 `CODE_REVIEW-cloud-G07.md`의 `사용자 리뷰 요청` 섹션에 기록한다. 이 섹션은 `agent-ops/skills/common/_templates/implementation-user-review-request-section.md`에서 복사된 형식이며, 구현 에이전트의 직접 사용자 질문은 금지된다. code-review가 요청의 타당성을 검증하고 실제 `USER_REVIEW.md` 작성 여부를 결정한다.
|
||||
|
||||
## Roadmap Targets
|
||||
|
||||
- Milestone: `agent-roadmap/milestones/large-payload-followup-optimization.md`
|
||||
- Task ids:
|
||||
- `ws-fixed-latency-path`: WS 계열 fixed latency 경로 분리 분석
|
||||
- Completion mode: check-on-pass
|
||||
|
||||
## 분석 결과
|
||||
|
||||
### 읽은 파일
|
||||
|
||||
- `agent-ops/skills/common/plan/SKILL.md`
|
||||
- `agent-ops/skills/common/update-roadmap/SKILL.md`
|
||||
- `agent-ops/skills/common/_templates/implementation-user-review-request-section.md`
|
||||
- `.gitignore`
|
||||
- `agent-test/local/rules.md`
|
||||
- `agent-test/local/proto-socket-performance-baseline.md`
|
||||
- `agent-ops/rules/project/domain/dart/rules.md`
|
||||
- `agent-roadmap/current.md`
|
||||
- `agent-roadmap/ROADMAP.md`
|
||||
- `agent-roadmap/milestones/large-payload-followup-optimization.md`
|
||||
- `agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh`
|
||||
- `agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_performance.sh`
|
||||
- `agent-test/runs/20260614-123328-proto-socket-performance-full.md`
|
||||
|
||||
### 테스트 환경 규칙
|
||||
|
||||
- 선택한 `test_env`: `local`.
|
||||
- `agent-test/local/rules.md`는 존재하며 읽었다. 성능/latency/payload 판단은 `proto-socket-performance-baseline` profile로 라우팅한다.
|
||||
- 읽은 profile: `agent-test/local/proto-socket-performance-baseline.md`.
|
||||
- 적용 명령: 특정 병목 축은 `run_stress.sh --quick --lang <lang> --transport <tcp|ws> --profile <profile>`로 좁힌다. 성능 row의 hard gate는 timeout, nonce mismatch, response type mismatch, FIFO violation, pending leak, queue/gateway backlog leak 0이다.
|
||||
- full 야간 baseline 재실행은 이 계획의 필수 검증이 아니다. 기존 2026-06-14/15 full record를 원인 분리 근거로 쓰고, 구현 에이전트는 focused quick WS/gateway 검증만 실행한다.
|
||||
|
||||
### 테스트 커버리지 공백
|
||||
|
||||
- 제품 동작 변경은 없다. 새 단위 테스트를 작성하지 않는다.
|
||||
- 기존 stress/performance harness는 WS same-language rows와 TypeScript gateway rows를 기록하지만, fixed-latency 원인을 자동 분류하는 pass/fail threshold는 없다. 구현 에이전트가 deterministic awk 출력과 focused quick record를 근거로 분류를 `CODE_REVIEW-cloud-G07.md`에 남긴다.
|
||||
|
||||
### 심볼 참조
|
||||
|
||||
- 없음. renamed/removed symbol이 없다.
|
||||
|
||||
### 분할 판단
|
||||
|
||||
- split decision policy를 먼저 평가했다.
|
||||
- 이 작업은 기존 milestone split group `agent-task/m-large-payload-followup-optimization/`의 네 번째 subtask다.
|
||||
- 선택한 subtask directory는 `04_ws_fixed_latency`이며 dependency prefix가 없으므로 predecessor `complete.log` 확인이 필요 없다.
|
||||
- 제품 코드 수정, Kotlin WS 수정, TypeScript gateway 수정은 서로 다른 ownership/risk이므로 이 계획에서 분리한다. 이 subtask는 원인 분리와 후속 plan 후보 지정만 다루는 단일 evidence task라 추가 split 없이 한 plan이 더 안전하다.
|
||||
|
||||
### 범위 결정 근거
|
||||
|
||||
- Kotlin WS 구현, TypeScript gateway implementation, Dart/Go/Python reference path는 수정하지 않는다.
|
||||
- `agent-test/runs/20260614-123328-proto-socket-performance-full.md`에서 Dart TCP 1MB와 Dart WS 1MB가 모두 stability PASS라 Dart large-packet guard는 별도 plan으로 만들지 않는다.
|
||||
- 이 계획의 PASS는 `ws-fixed-latency-path` 분석 완료만 의미한다. 구현이 필요한 구체 경로가 식별되면 새 follow-up plan으로 분리한다.
|
||||
|
||||
### 빌드 등급
|
||||
|
||||
- `cloud-G07`: cross-language 성능 record, terminal benchmark wrapper, stdout/stderr parsing, gateway tail 분류가 중심이고 제품 코드 변경보다 증거 신뢰도가 중요하다.
|
||||
|
||||
## 구현 체크리스트
|
||||
|
||||
- [ ] 2026-06-14/15 full 성능 record에서 WS fixed-latency 후보 rows를 deterministic awk 출력으로 재확인하고, Kotlin WS 40ms대 plateau/queue backlog와 TypeScript worker_threads gateway tail을 `주요 설계 결정`에 기록한다.
|
||||
- [ ] `run_stress.sh --quick --lang dart,go,kotlin,python,typescript --transport ws --profile roundtrip,sustained,parallel,payload`를 실행해 현재 focused WS hard gate가 PASS인지 확인하고 결과 record 경로를 `검증 결과`에 붙인다.
|
||||
- [ ] `run_stress.sh --quick --lang typescript --transport ws --profile gateway`를 실행해 TypeScript WS gateway worker path가 same-language WS fixed-latency와 별도 후보인지 기록한다.
|
||||
- [ ] 코드 수정 없이 종료할지, 다음 구현 plan으로 승격할 언어/경로가 있는지 `계획 대비 변경 사항` 또는 `주요 설계 결정`에 명시한다.
|
||||
- [ ] CODE_REVIEW-*-G??.md의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채운다. 이 항목이 완료되기 전에는 구현이 완료된 것이 아니다.
|
||||
|
||||
### [TEST-1] WS fixed-latency evidence 분리
|
||||
|
||||
#### 문제
|
||||
|
||||
- Milestone의 `ws-fixed-latency-path`는 WS 계열 fixed latency가 야간에도 유지될 때 transport 공통 경로와 언어별 worker/gateway path를 분리하도록 남아 있다: `agent-roadmap/milestones/large-payload-followup-optimization.md:52`.
|
||||
- 2026-06-14/15 full record에서 Kotlin WS same-language rows는 roundtrip/sustained/payload에서 p50/p99가 40ms대에 몰리는 구간이 있다: `agent-test/runs/20260614-123328-proto-socket-performance-full.md:130`, `agent-test/runs/20260614-123328-proto-socket-performance-full.md:137`, `agent-test/runs/20260614-123328-proto-socket-performance-full.md:144`.
|
||||
- 같은 record에서 TypeScript gateway worker_threads path는 TCP/WS 모두 p99 tail이 190ms 이상으로 별도 gateway 후보처럼 보인다: `agent-test/runs/20260614-123328-proto-socket-performance-full.md:482`, `agent-test/runs/20260614-123328-proto-socket-performance-full.md:488`.
|
||||
- `run_stress.sh`는 focused `--lang`, `--transport`, `--profile` 옵션과 hard gate 정의를 제공한다: `agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh:6`, `agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh:44`.
|
||||
|
||||
#### 해결 방법
|
||||
|
||||
제품 코드 변경 없이 evidence task로 완료한다. 구현 에이전트는 기존 full record를 deterministic awk로 재분류하고, quick focused WS 및 TypeScript gateway record를 새로 생성해 다음 구현 후보를 하나 이상으로 좁힌다.
|
||||
|
||||
Before:
|
||||
|
||||
```text
|
||||
agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/CODE_REVIEW-cloud-G07.md:77
|
||||
## 주요 설계 결정
|
||||
|
||||
agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/CODE_REVIEW-cloud-G07.md:79
|
||||
_구현 에이전트가 주요 설계 결정 사항을 기록한다._
|
||||
|
||||
agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/CODE_REVIEW-cloud-G07.md:100
|
||||
## 검증 결과
|
||||
|
||||
agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/CODE_REVIEW-cloud-G07.md:102
|
||||
_구현 에이전트가 각 중간 검증 및 최종 검증 명령 실행 후 출력을 여기에 붙여 넣는다._
|
||||
```
|
||||
|
||||
After:
|
||||
|
||||
```text
|
||||
agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/CODE_REVIEW-cloud-G07.md
|
||||
- `주요 설계 결정`: Kotlin WS same-language plateau 여부, TypeScript worker_threads gateway tail 여부, WS 공통 transport 문제인지 언어별 follow-up인지 판정.
|
||||
- `검증 결과`: awk 출력, focused WS quick record 경로, TypeScript gateway quick record 경로, hard gate 결과.
|
||||
```
|
||||
|
||||
#### 수정 파일 및 체크리스트
|
||||
|
||||
- `agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/CODE_REVIEW-cloud-G07.md`
|
||||
- [ ] `TEST-1 중간 검증`에 awk 출력 전체를 붙인다.
|
||||
- [ ] `최종 검증`에 focused WS quick record와 TypeScript gateway quick record 출력 전체 또는 충분한 stdout/stderr와 record 경로를 붙인다.
|
||||
- [ ] `주요 설계 결정`에 다음 follow-up 후보를 기록한다.
|
||||
|
||||
#### 테스트 작성
|
||||
|
||||
- 새 테스트 작성은 생략한다. 제품 코드 변경이 없고, 기존 stress harness가 같은 row schema로 WS/gateway latency, hard gate counters, record path를 기록한다.
|
||||
|
||||
#### 중간 검증
|
||||
|
||||
```bash
|
||||
awk -F'|' 'function trim(s){gsub(/^[[:space:]]+|[[:space:]]+$/,"",s); return s} BEGIN{print "| Profile | Axis | Language | p99(ms) | QueueBacklog | GatewayBacklog | Gateway | Result |"; print "|---|---|---|---:|---:|---:|---|---|"} /^\|/ && $2 !~ /Profile|---/ {profile=trim($2); axis=trim($3); lang=trim($4); transport=trim($5); if (transport=="ws" && (profile=="roundtrip" || profile=="sustained" || profile=="parallel" || profile=="payload" || profile=="gateway")) print "| " profile " | " axis " | " lang " | " trim($12) " | " trim($18) " | " trim($19) " | " trim($20) " | " trim($22) " |"}' agent-test/runs/20260614-123328-proto-socket-performance-full.md
|
||||
```
|
||||
|
||||
Expected: command exits 0 and prints WS same-language/gateway rows from the full record. Kotlin WS plateau rows and TypeScript worker_threads gateway tail must be visible if still present in the record.
|
||||
|
||||
## 수정 파일 요약
|
||||
|
||||
| 파일 | 항목 |
|
||||
|------|------|
|
||||
| `agent-task/m-large-payload-followup-optimization/04_ws_fixed_latency/CODE_REVIEW-cloud-G07.md` | TEST-1 |
|
||||
|
||||
## 최종 검증
|
||||
|
||||
```bash
|
||||
bash agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh --quick --lang dart,go,kotlin,python,typescript --transport ws --profile roundtrip,sustained,parallel,payload
|
||||
```
|
||||
|
||||
Expected: exit 0, overall `PASS`, result record under `agent-test/runs/*-proto-socket-stress-quick.md`.
|
||||
|
||||
```bash
|
||||
bash agent-ops/skills/project/run-proto-socket-test-matrix/scripts/run_stress.sh --quick --lang typescript --transport ws --profile gateway
|
||||
```
|
||||
|
||||
Expected: exit 0, overall `PASS`, result record under `agent-test/runs/*-proto-socket-stress-quick.md`.
|
||||
|
||||
```bash
|
||||
git diff --check
|
||||
```
|
||||
|
||||
Expected: no output and exit 0.
|
||||
|
||||
모든 코드 변경 완료 후 반드시 `CODE_REVIEW-*-G??.md`의 구현 에이전트 소유 섹션을 채운다. 이 파일 작성이 구현의 마지막 단계다.
|
||||
Loading…
Reference in a new issue