toki/iop
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

docs(test): Claude GPT Luna direct 비교를 기록한다

Browse source
This commit is contained in:
toki 2026-08-15 13:18:32 +09:00
parent d3a5dd1708
commit c257488d18
1 changed files with 15 additions and 10 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

25
agent-test/dev/iop-thin-agent-model-comparison.md
View file

@ -188,14 +188,14 @@ Worker 바인딩을 `ornith-fast`로 복원하고 중복 Plan/Review 의미 검
기존 4개 대분류의 동점이 너무 자주 발생해, 요구·계약, 시맨틱·구현, 반응형·레이아웃, 사용성·접근성, 시각 완성도의 5개 영역을 각각 4개 5점 항목으로 나눈다. 각 항목은 0~5 정수를 사용하며 품질 점수에 시간·usage·route는 섞지 않는다.
| 영역 | 5점 항목 4개 | OpenCode→Gemini hybrid | OpenCode→GPT hybrid | Claude Code→Claude Sonnet 5 direct | Claude Code→Gemini 3.6 Flash high direct |
|---|---|---:|---:|---:|---:|
| 요구·계약 /20 | 요구 완전성, 금지 요소, terminal 계약, 콘텐츠 정확성 | 19 | 19 | 19 | 19 |
| 시맨틱·구현 /20 | landmark, heading, component 의미, 유지보수성 | 17 | 18 | 19 | 17 |
| 반응형·레이아웃 /20 | desktop, mobile, overflow, 적응형 기법 | 19 | 18 | 20 | 19 |
| 사용성·접근성 /20 | CTA, navigation, non-color status, keyboard focus | 17 | 17 | 18 | 17 |
| 시각 완성도 /20 | 정보 위계, palette, component 결속, 독자성 | 19 | 18 | 19 | 20 |
| **총점 /100** | | **91** | **90** | **95** | **92** |
| 영역 | 5점 항목 4개 | OpenCode→Gemini hybrid | OpenCode→GPT hybrid | Claude Code→Claude Sonnet 5 direct | Claude Code→Gemini 3.6 Flash high direct | Claude Code→GPT 5.6 Luna xhigh direct |
|---|---|---:|---:|---:|---:|---:|
| 요구·계약 /20 | 요구 완전성, 금지 요소, terminal 계약, 콘텐츠 정확성 | 19 | 19 | 19 | 19 | 19 |
| 시맨틱·구현 /20 | landmark, heading, component 의미, 유지보수성 | 17 | 18 | 19 | 17 | 19 |
| 반응형·레이아웃 /20 | desktop, mobile, overflow, 적응형 기법 | 19 | 18 | 20 | 19 | 20 |
| 사용성·접근성 /20 | CTA, navigation, non-color status, keyboard focus | 17 | 17 | 18 | 17 | 20 |
| 시각 완성도 /20 | 정보 위계, palette, component 결속, 독자성 | 19 | 18 | 19 | 20 | 20 |
| **총점 /100** | | **91** | **90** | **95** | **92** | **98** |
### 시간 비교
@ -205,13 +205,18 @@ Worker 바인딩을 `ornith-fast`로 복원하고 중복 Plan/Review 의미 검
| OpenCode→GPT hybrid | 미수집 | terminal event 03:45:44.717Z | 확정 불가 | 첫 event→terminal 106.698초 | 속도 순위 제외; run artifact→terminal은 약 129초 |
| Claude Code→Claude Sonnet 5 direct | 04:00:26.922993Z | terminal artifact 04:01:47.445726Z | 정확 후처리 미수집 | **79.498 / 79.363초** | artifact clock 차이 80.52초는 보조 근거 |
| Claude Code→Gemini 3.6 Flash high direct | 04:06:43.386744Z | 04:08:43.271996Z | **119.784초** | 118.488 / 118.308초 | exact 외부 monotonic clock |
| Claude Code→GPT 5.6 Luna xhigh direct | 04:14:33.265205Z | 04:15:27.630717Z | **54.266초** | 53.271 / 53.141초 | exact 외부 monotonic clock |
시간은 모든 경로에 대해 보존하되, exact 외부 elapsed가 없는 표본을 대체 지표로 추정해 순위화하지 않는다. caller/API duration과 event/artifact clock은 외부 elapsed와 구분한다.
Claude Code→Claude Sonnet 5 direct는 단독·무경합으로 정확히 한 번 실행했다. caller가 보고한 duration은 79.498초, API duration은 79.363초, 3 turns였고 usage는 input 5, cache create 14,780, cache read 10,388, output 11,281이었다. 외부 래퍼의 receive 시각 후처리가 남지 않아 exact 외부 elapsed는 확정하지 않았다. terminal artifact mtime은 `04:01:47.445726Z`이고 요청 전송 기록 `04:00:26.922993Z`와의 차이는 80.52초지만 보조 근거로만 둔다.
산출물은 필수 HTML, meta, landmark, CTA, feature 3개, 문자 상태 label 3개와 720px breakpoint를 모두 충족했다. workspace SHA-256은 `521aa519…`이며 terminal fence는 마지막 LF 1바이트만 짧었다. `aria-label`, decorative icon의 `aria-hidden`, nav/footer list, `clamp()` 타이포그래피와 desktop/mobile component reflow는 네 산출물 중 가장 완성도가 높았다. 다만 명시적 `focus-visible`이 없고 시각 언어는 비교적 전형적인 dark SaaS dashboard여서 만점은 아니다. desktop/mobile SHA-256은 `819bf442…`/`b4e7bc6a…`다.
산출물은 필수 HTML, meta, landmark, CTA, feature 3개, 문자 상태 label 3개와 720px breakpoint를 모두 충족했다. workspace SHA-256은 `521aa519…`이며 terminal fence는 마지막 LF 1바이트만 짧었다. `aria-label`, decorative icon의 `aria-hidden`, nav/footer list, `clamp()` 타이포그래피와 desktop/mobile component reflow는 다섯 산출물 중에서도 높은 수준이었다. 다만 명시적 `focus-visible`이 없고 시각 언어는 비교적 전형적인 dark SaaS dashboard여서 만점은 아니다. desktop/mobile SHA-256은 `819bf442…`/`b4e7bc6a…`다.
Claude Code→Gemini 3.6 Flash high direct도 같은 caller·고정 요청·빈 workspace에서 무경합으로 한 번만 실행했다. 외부 monotonic elapsed는 119.784초, caller duration/API duration은 118.488/118.308초, 4 turns였다. usage는 input 55,334, output 11,430이고 caller 보고 비용은 `$0.56242`였다. 전후 4개 Node와 전체 provider는 `in_flight=0`, `queued=0`이었고 error event·stderr는 0건이었다.
산출물은 필수 요구와 720px desktop/mobile reflow를 모두 충족했다. workspace SHA-256은 `cc103b13…`이고 terminal fence는 마지막 LF 1바이트만 짧었다. 히어로, 지표 strip, enterprise feature 카드의 시각 위계와 cyan/blue palette 결속은 네 산출물 중 가장 강했다. 반면 nav·feature·status의 list/article 의미 구조, `aria-label`/`aria-hidden`, 명시적 `focus-visible`이 없어 시맨틱과 접근성은 Sonnet 5 direct보다 낮았다. desktop/mobile SHA-256은 `22a35f8a…`/`17895fa5…`다.
산출물은 필수 요구와 720px desktop/mobile reflow를 모두 충족했다. workspace SHA-256은 `cc103b13…`이고 terminal fence는 마지막 LF 1바이트만 짧었다. 히어로, 지표 strip, enterprise feature 카드의 시각 위계와 cyan/blue palette 결속은 높은 완성도를 보였다. 반면 nav·feature·status의 list/article 의미 구조, `aria-label`/`aria-hidden`, 명시적 `focus-visible`이 없어 시맨틱과 접근성은 Sonnet 5 direct보다 낮았다. desktop/mobile SHA-256은 `22a35f8a…`/`17895fa5…`다.
Claude Code→GPT 5.6 Luna xhigh direct도 같은 caller·고정 요청·빈 workspace에서 무경합으로 한 번만 실행했다. 외부 monotonic elapsed는 54.266초, caller duration/API duration은 53.271/53.141초, 5 turns였다. usage는 input 29,145, output 11,343이고 caller 보고 비용은 `$0.4293`이었다. 전후 4개 Node와 전체 provider는 `in_flight=0`, `queued=0`이었고 error event·stderr는 0건이었다.
산출물은 필수 요구와 720px desktop/mobile reflow를 모두 충족했다. workspace SHA-256은 `eda34997…`이고 terminal fence는 마지막 LF 1바이트만 짧었다. landmark·section의 ARIA 연결, decorative element의 `aria-hidden`, feature `article`, 명시적 `focus-visible`, `clamp()` 타이포그래피, orbit telemetry 시각화와 mobile reflow가 모두 명확했다. nav/service를 list 요소로 표현하지 않은 점과 terminal LF 차이만 감점했다. desktop/mobile SHA-256은 `373e61df…`/`04788e87…`다.