From 4a08d587a9bdc8664580e78f2b1012880384dcbf Mon Sep 17 00:00:00 2001 From: toki Date: Sat, 15 Aug 2026 12:50:54 +0900 Subject: [PATCH] =?UTF-8?q?docs(test):=20Luna=20hybrid=20=EB=B2=A4?= =?UTF-8?q?=EC=B9=98=EB=A5=BC=20=EA=B8=B0=EB=A1=9D=ED=95=9C=EB=8B=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- agent-test/dev/iop-thin-agent-model-comparison.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) diff --git a/agent-test/dev/iop-thin-agent-model-comparison.md b/agent-test/dev/iop-thin-agent-model-comparison.md index 5f708954..bb404f26 100644 --- a/agent-test/dev/iop-thin-agent-model-comparison.md +++ b/agent-test/dev/iop-thin-agent-model-comparison.md @@ -171,3 +171,15 @@ Worker 바인딩을 `ornith-fast`로 복원하고 중복 Plan/Review 의미 검 실행 전후 4개 Node와 8개 provider가 모두 `in_flight=0`, `queued=0`이었고 `ornith-fast` provider는 healthy/capacity 1로 회복했다. OpenCode는 write 1회와 read 4회를 포함한 모든 tool event를 completed로 종료했으며 error event와 stderr는 0건이었다. terminal fence의 HTML은 workspace source와 내용이 같고 마지막 newline만 누락되어 byte-exact 응답 계약 차이로 별도 기록했다. 고정 rubric의 단일 평가 결과는 `A 40 / B 20 / C 18 / D 18 = 96`이다. 완전한 단일 HTML, 내부 CSS, 무외부자산·무JavaScript, exact meta, semantic landmark, CTA 2개, feature 3개, service/status 3개와 실제 390px reflow를 충족했다. 의미 있는 CTA와 문자 상태 label은 명확하지만 별도 `focus-visible` 설계가 없어 C에서 2점, 완성도는 높지만 비교적 전형적인 dark dashboard 시각 언어라 D에서 2점을 감점했다. desktop `1440×900` SHA-256은 `bc6cd6f2…`, CDP device-metrics mobile `390×844` SHA-256은 `d778537f…`다. Mac Chrome의 최초 window-size mobile crop은 측정 결함으로 제외했고 모델은 재호출하지 않았다. + +## GPT 모델만 교체한 단일 측정 + +위 Gemini 측정과 같은 OpenCode caller, 고정 요청, 빈 workspace, 단독 실행 조건을 유지하고 execution preset의 Selector/Reviewer만 `gpt-5.6-luna` xhigh로 교체했다. Worker는 같은 `ornith-fast`였다. 실행 직전의 `gpt-5.6-terra` high preset은 이 비교의 사용자 지정값이 아니어서 config refresh로 교정했고, 모델은 한 번만 호출했다. + +| 상태 | request sent UTC | terminal event UTC | 시간 근거 | caller usage | 산출물 | 품질 | +|---|---|---|---|---|---|---:| +| 산출물·terminal source 성공, terminal source는 workspace source보다 마지막 LF 1바이트 짧음 | 미수집 | 03:45:44.717Z | 첫 OpenCode event→terminal event 106.698초; run artifact 생성→terminal은 약 129초이며 외부 elapsed로 사용하지 않음 | input 4,782, output 2,648 | workspace SHA-256 `2c7b96bf…`; marker/fence 각 1회; request artifact directory cleanup 0개 잔존 | 96/100 | + +실행 전후 4개 Node와 전체 provider가 모두 `in_flight=0`, `queued=0`이었다. OpenCode event는 `step_start` 21건, `step_finish` 21건, `tool_use` 27건, `text` 5건이었고 모든 tool event가 completed로 끝났으며 error event와 stderr는 0건이었다. 외부 래퍼가 terminal event 후 `timing.txt`를 남기지 못해 exact request 시각과 monotonic elapsed는 추정하지 않고 미수집으로 두었다. + +고정 rubric의 단일 평가 결과는 `A 40 / B 20 / C 18 / D 18 = 96`이다. 모든 명시 요구와 desktop/mobile reflow를 충족했고 390×844에서 clipping은 없었다. 별도 `focus-visible` 설계가 없어 C에서 2점, 완성도는 높지만 전형적인 dark dashboard 시각 언어라 D에서 2점을 감점했다. desktop `1440×900` SHA-256은 `187ccecb…`, CDP device-metrics mobile `390×844` SHA-256은 `c2e193b9…`다.