docs(test): 간소화 후 Gemini 벤치를 기록한다

This commit is contained in:
toki 2026-08-15 12:38:54 +09:00
parent 40c1ae4958
commit 3a5f5754c5

View file

@ -159,3 +159,15 @@ B07 — A: 모든 필수 selector와 exact meta를 충족해 40; B: 대형 hero
따라서 현재 증거는 IOP provider 실행 자체의 실패보다 caller/edge 응답 정규화 경계의 문제가 우세함을 가리킨다. 특히 preset은 OpenCode·Codex 2/2가 exact source를 반환하고 Claude Code 0/2만 최종 source projection에 실패했다. 속도는 단일 표본의 외부 elapsed로만 보고 모델 우위로 일반화하지 않는다. 품질 점수도 고정 rubric의 해당 산출물 점수일 뿐 모델의 통계적 서열이 아니다.
재측정 과정에서 별도로 확인한 benchmark 측 결함은 OpenCode direct의 잘못된 Gemini-native SDK, controller stdin 소비와 잔존 producer, 공용 workspace 재사용, Codex CA 환경 누락, Mac Chrome의 가짜 390px crop이다. 이 실행들은 전부 유효 표본에서 제외하고 ignored `agent-test/runs/bench-lite-05/{preflight-failures,invalidated}`에 원인별로 보존했다. 별도 하네스는 만들지 않았다.
## Runtime 의미 검증 축소 후 단일 재측정
Worker 바인딩을 `ornith-fast`로 복원하고 중복 Plan/Review 의미 검증을 제거한 Edge source `40c1ae49`에서 OpenCode → Gemini execution preset을 무경합으로 정확히 한 번 실행했다. Selector/Reviewer는 `gemini-3.6-flash` high, Worker는 `ornith-fast`였다.
| 상태 | request sent UTC | terminal received UTC | 외부 elapsed | caller usage | 산출물 | 품질 |
|---|---|---|---:|---|---|---:|
| 실행 성공, terminal source는 workspace source보다 마지막 LF 1바이트 짧음 | 03:30:25.929946Z | 03:32:02.271216Z | 96.24초 | input 877, output 446 | workspace SHA-256 `d70ca399…`; marker/fence 각 1회; request artifact directory cleanup 0개 잔존 | 96/100 |
실행 전후 4개 Node와 8개 provider가 모두 `in_flight=0`, `queued=0`이었고 `ornith-fast` provider는 healthy/capacity 1로 회복했다. OpenCode는 write 1회와 read 4회를 포함한 모든 tool event를 completed로 종료했으며 error event와 stderr는 0건이었다. terminal fence의 HTML은 workspace source와 내용이 같고 마지막 newline만 누락되어 byte-exact 응답 계약 차이로 별도 기록했다.
고정 rubric의 단일 평가 결과는 `A 40 / B 20 / C 18 / D 18 = 96`이다. 완전한 단일 HTML, 내부 CSS, 무외부자산·무JavaScript, exact meta, semantic landmark, CTA 2개, feature 3개, service/status 3개와 실제 390px reflow를 충족했다. 의미 있는 CTA와 문자 상태 label은 명확하지만 별도 `focus-visible` 설계가 없어 C에서 2점, 완성도는 높지만 비교적 전형적인 dark dashboard 시각 언어라 D에서 2점을 감점했다. desktop `1440×900` SHA-256은 `bc6cd6f2…`, CDP device-metrics mobile `390×844` SHA-256은 `d778537f…`다. Mac Chrome의 최초 window-size mobile crop은 측정 결함으로 제외했고 모델은 재호출하지 않았다.