diff --git a/agent-test/dev/iop-thin-agent-model-comparison.md b/agent-test/dev/iop-thin-agent-model-comparison.md index 214869ed..de354279 100644 --- a/agent-test/dev/iop-thin-agent-model-comparison.md +++ b/agent-test/dev/iop-thin-agent-model-comparison.md @@ -188,15 +188,19 @@ Worker 바인딩을 `ornith-fast`로 복원하고 중복 Plan/Review 의미 검 기존 4개 대분류의 동점이 너무 자주 발생해, 요구·계약, 시맨틱·구현, 반응형·레이아웃, 사용성·접근성, 시각 완성도의 5개 영역을 각각 4개 5점 항목으로 나눈다. 각 항목은 0~5 정수를 사용하며 품질 점수에 시간·usage·route는 섞지 않는다. -| 영역 | 5점 항목 4개 | OpenCode→Gemini hybrid | OpenCode→GPT hybrid | Claude Code→Claude Sonnet 5 direct | -|---|---|---:|---:|---:| -| 요구·계약 /20 | 요구 완전성, 금지 요소, terminal 계약, 콘텐츠 정확성 | 19 | 19 | 19 | -| 시맨틱·구현 /20 | landmark, heading, component 의미, 유지보수성 | 17 | 18 | 19 | -| 반응형·레이아웃 /20 | desktop, mobile, overflow, 적응형 기법 | 19 | 18 | 20 | -| 사용성·접근성 /20 | CTA, navigation, non-color status, keyboard focus | 17 | 17 | 18 | -| 시각 완성도 /20 | 정보 위계, palette, component 결속, 독자성 | 19 | 18 | 19 | -| **총점 /100** | | **91** | **90** | **95** | +| 영역 | 5점 항목 4개 | OpenCode→Gemini hybrid | OpenCode→GPT hybrid | Claude Code→Claude Sonnet 5 direct | Claude Code→Gemini 3.6 Flash high direct | +|---|---|---:|---:|---:|---:| +| 요구·계약 /20 | 요구 완전성, 금지 요소, terminal 계약, 콘텐츠 정확성 | 19 | 19 | 19 | 19 | +| 시맨틱·구현 /20 | landmark, heading, component 의미, 유지보수성 | 17 | 18 | 19 | 17 | +| 반응형·레이아웃 /20 | desktop, mobile, overflow, 적응형 기법 | 19 | 18 | 20 | 19 | +| 사용성·접근성 /20 | CTA, navigation, non-color status, keyboard focus | 17 | 17 | 18 | 17 | +| 시각 완성도 /20 | 정보 위계, palette, component 결속, 독자성 | 19 | 18 | 19 | 20 | +| **총점 /100** | | **91** | **90** | **95** | **92** | Claude Code→Claude Sonnet 5 direct는 단독·무경합으로 정확히 한 번 실행했다. caller가 보고한 duration은 79.498초, API duration은 79.363초, 3 turns였고 usage는 input 5, cache create 14,780, cache read 10,388, output 11,281이었다. 외부 래퍼의 receive 시각 후처리가 남지 않아 exact 외부 elapsed는 확정하지 않았다. terminal artifact mtime은 `04:01:47.445726Z`이고 요청 전송 기록 `04:00:26.922993Z`와의 차이는 80.52초지만 보조 근거로만 둔다. -산출물은 필수 HTML, meta, landmark, CTA, feature 3개, 문자 상태 label 3개와 720px breakpoint를 모두 충족했다. workspace SHA-256은 `521aa519…`이며 terminal fence는 마지막 LF 1바이트만 짧었다. `aria-label`, decorative icon의 `aria-hidden`, nav/footer list, `clamp()` 타이포그래피와 desktop/mobile component reflow는 세 산출물 중 가장 완성도가 높았다. 다만 명시적 `focus-visible`이 없고 시각 언어는 비교적 전형적인 dark SaaS dashboard여서 만점은 아니다. desktop/mobile SHA-256은 `819bf442…`/`b4e7bc6a…`다. +산출물은 필수 HTML, meta, landmark, CTA, feature 3개, 문자 상태 label 3개와 720px breakpoint를 모두 충족했다. workspace SHA-256은 `521aa519…`이며 terminal fence는 마지막 LF 1바이트만 짧었다. `aria-label`, decorative icon의 `aria-hidden`, nav/footer list, `clamp()` 타이포그래피와 desktop/mobile component reflow는 네 산출물 중 가장 완성도가 높았다. 다만 명시적 `focus-visible`이 없고 시각 언어는 비교적 전형적인 dark SaaS dashboard여서 만점은 아니다. desktop/mobile SHA-256은 `819bf442…`/`b4e7bc6a…`다. + +Claude Code→Gemini 3.6 Flash high direct도 같은 caller·고정 요청·빈 workspace에서 무경합으로 한 번만 실행했다. 외부 monotonic elapsed는 119.784초, caller duration/API duration은 118.488/118.308초, 4 turns였다. usage는 input 55,334, output 11,430이고 caller 보고 비용은 `$0.56242`였다. 전후 4개 Node와 전체 provider는 `in_flight=0`, `queued=0`이었고 error event·stderr는 0건이었다. + +산출물은 필수 요구와 720px desktop/mobile reflow를 모두 충족했다. workspace SHA-256은 `cc103b13…`이고 terminal fence는 마지막 LF 1바이트만 짧었다. 히어로, 지표 strip, enterprise feature 카드의 시각 위계와 cyan/blue palette 결속은 네 산출물 중 가장 강했다. 반면 nav·feature·status의 list/article 의미 구조, `aria-label`/`aria-hidden`, 명시적 `focus-visible`이 없어 시맨틱과 접근성은 Sonnet 5 direct보다 낮았다. desktop/mobile SHA-256은 `22a35f8a…`/`17895fa5…`다.