docs(test): Luna hybrid 벤치를 기록한다
This commit is contained in:
parent
3a5f5754c5
commit
4a08d587a9
1 changed files with 12 additions and 0 deletions
|
|
@ -171,3 +171,15 @@ Worker 바인딩을 `ornith-fast`로 복원하고 중복 Plan/Review 의미 검
|
|||
실행 전후 4개 Node와 8개 provider가 모두 `in_flight=0`, `queued=0`이었고 `ornith-fast` provider는 healthy/capacity 1로 회복했다. OpenCode는 write 1회와 read 4회를 포함한 모든 tool event를 completed로 종료했으며 error event와 stderr는 0건이었다. terminal fence의 HTML은 workspace source와 내용이 같고 마지막 newline만 누락되어 byte-exact 응답 계약 차이로 별도 기록했다.
|
||||
|
||||
고정 rubric의 단일 평가 결과는 `A 40 / B 20 / C 18 / D 18 = 96`이다. 완전한 단일 HTML, 내부 CSS, 무외부자산·무JavaScript, exact meta, semantic landmark, CTA 2개, feature 3개, service/status 3개와 실제 390px reflow를 충족했다. 의미 있는 CTA와 문자 상태 label은 명확하지만 별도 `focus-visible` 설계가 없어 C에서 2점, 완성도는 높지만 비교적 전형적인 dark dashboard 시각 언어라 D에서 2점을 감점했다. desktop `1440×900` SHA-256은 `bc6cd6f2…`, CDP device-metrics mobile `390×844` SHA-256은 `d778537f…`다. Mac Chrome의 최초 window-size mobile crop은 측정 결함으로 제외했고 모델은 재호출하지 않았다.
|
||||
|
||||
## GPT 모델만 교체한 단일 측정
|
||||
|
||||
위 Gemini 측정과 같은 OpenCode caller, 고정 요청, 빈 workspace, 단독 실행 조건을 유지하고 execution preset의 Selector/Reviewer만 `gpt-5.6-luna` xhigh로 교체했다. Worker는 같은 `ornith-fast`였다. 실행 직전의 `gpt-5.6-terra` high preset은 이 비교의 사용자 지정값이 아니어서 config refresh로 교정했고, 모델은 한 번만 호출했다.
|
||||
|
||||
| 상태 | request sent UTC | terminal event UTC | 시간 근거 | caller usage | 산출물 | 품질 |
|
||||
|---|---|---|---|---|---|---:|
|
||||
| 산출물·terminal source 성공, terminal source는 workspace source보다 마지막 LF 1바이트 짧음 | 미수집 | 03:45:44.717Z | 첫 OpenCode event→terminal event 106.698초; run artifact 생성→terminal은 약 129초이며 외부 elapsed로 사용하지 않음 | input 4,782, output 2,648 | workspace SHA-256 `2c7b96bf…`; marker/fence 각 1회; request artifact directory cleanup 0개 잔존 | 96/100 |
|
||||
|
||||
실행 전후 4개 Node와 전체 provider가 모두 `in_flight=0`, `queued=0`이었다. OpenCode event는 `step_start` 21건, `step_finish` 21건, `tool_use` 27건, `text` 5건이었고 모든 tool event가 completed로 끝났으며 error event와 stderr는 0건이었다. 외부 래퍼가 terminal event 후 `timing.txt`를 남기지 못해 exact request 시각과 monotonic elapsed는 추정하지 않고 미수집으로 두었다.
|
||||
|
||||
고정 rubric의 단일 평가 결과는 `A 40 / B 20 / C 18 / D 18 = 96`이다. 모든 명시 요구와 desktop/mobile reflow를 충족했고 390×844에서 clipping은 없었다. 별도 `focus-visible` 설계가 없어 C에서 2점, 완성도는 높지만 전형적인 dark dashboard 시각 언어라 D에서 2점을 감점했다. desktop `1440×900` SHA-256은 `187ccecb…`, CDP device-metrics mobile `390×844` SHA-256은 `c2e193b9…`다.
|
||||
|
|
|
|||
Loading…
Reference in a new issue