docs(test): Sonnet direct 비교를 기록한다
This commit is contained in:
parent
4a08d587a9
commit
225bf919bd
1 changed files with 17 additions and 0 deletions
|
|
@ -183,3 +183,20 @@ Worker 바인딩을 `ornith-fast`로 복원하고 중복 Plan/Review 의미 검
|
|||
실행 전후 4개 Node와 전체 provider가 모두 `in_flight=0`, `queued=0`이었다. OpenCode event는 `step_start` 21건, `step_finish` 21건, `tool_use` 27건, `text` 5건이었고 모든 tool event가 completed로 끝났으며 error event와 stderr는 0건이었다. 외부 래퍼가 terminal event 후 `timing.txt`를 남기지 못해 exact request 시각과 monotonic elapsed는 추정하지 않고 미수집으로 두었다.
|
||||
|
||||
고정 rubric의 단일 평가 결과는 `A 40 / B 20 / C 18 / D 18 = 96`이다. 모든 명시 요구와 desktop/mobile reflow를 충족했고 390×844에서 clipping은 없었다. 별도 `focus-visible` 설계가 없어 C에서 2점, 완성도는 높지만 전형적인 dark dashboard 시각 언어라 D에서 2점을 감점했다. desktop `1440×900` SHA-256은 `187ccecb…`, CDP device-metrics mobile `390×844` SHA-256은 `c2e193b9…`다.
|
||||
|
||||
## 세분화 품질 비교
|
||||
|
||||
기존 4개 대분류의 동점이 너무 자주 발생해, 요구·계약, 시맨틱·구현, 반응형·레이아웃, 사용성·접근성, 시각 완성도의 5개 영역을 각각 4개 5점 항목으로 나눈다. 각 항목은 0~5 정수를 사용하며 품질 점수에 시간·usage·route는 섞지 않는다.
|
||||
|
||||
| 영역 | 5점 항목 4개 | OpenCode→Gemini hybrid | OpenCode→GPT hybrid | Claude Code→Claude Sonnet 5 direct |
|
||||
|---|---|---:|---:|---:|
|
||||
| 요구·계약 /20 | 요구 완전성, 금지 요소, terminal 계약, 콘텐츠 정확성 | 19 | 19 | 19 |
|
||||
| 시맨틱·구현 /20 | landmark, heading, component 의미, 유지보수성 | 17 | 18 | 19 |
|
||||
| 반응형·레이아웃 /20 | desktop, mobile, overflow, 적응형 기법 | 19 | 18 | 20 |
|
||||
| 사용성·접근성 /20 | CTA, navigation, non-color status, keyboard focus | 17 | 17 | 18 |
|
||||
| 시각 완성도 /20 | 정보 위계, palette, component 결속, 독자성 | 19 | 18 | 19 |
|
||||
| **총점 /100** | | **91** | **90** | **95** |
|
||||
|
||||
Claude Code→Claude Sonnet 5 direct는 단독·무경합으로 정확히 한 번 실행했다. caller가 보고한 duration은 79.498초, API duration은 79.363초, 3 turns였고 usage는 input 5, cache create 14,780, cache read 10,388, output 11,281이었다. 외부 래퍼의 receive 시각 후처리가 남지 않아 exact 외부 elapsed는 확정하지 않았다. terminal artifact mtime은 `04:01:47.445726Z`이고 요청 전송 기록 `04:00:26.922993Z`와의 차이는 80.52초지만 보조 근거로만 둔다.
|
||||
|
||||
산출물은 필수 HTML, meta, landmark, CTA, feature 3개, 문자 상태 label 3개와 720px breakpoint를 모두 충족했다. workspace SHA-256은 `521aa519…`이며 terminal fence는 마지막 LF 1바이트만 짧었다. `aria-label`, decorative icon의 `aria-hidden`, nav/footer list, `clamp()` 타이포그래피와 desktop/mobile component reflow는 세 산출물 중 가장 완성도가 높았다. 다만 명시적 `focus-visible`이 없고 시각 언어는 비교적 전형적인 dark SaaS dashboard여서 만점은 아니다. desktop/mobile SHA-256은 `819bf442…`/`b4e7bc6a…`다.
|
||||
|
|
|
|||
Loading…
Reference in a new issue