iop/agent-test/dev/iop-thin-agent-model-comparison.md

IOP 초경량 Agent 모델 비교

목적

검증을 마친 9개 caller/model/route 조합에 같은 HTML 구현 요청을 정확히 한 번씩 실행해 성공 여부, 경과 시간, caller가 직접 제공한 usage와 짧은 관찰만 비교한다. 별도 benchmark script, runner, manifest, retry, resume, browser gate 또는 자동 채점은 사용하지 않는다.

고정 요청

아래 문장을 모든 조합에 그대로 사용한다.

Create a polished single-file responsive landing page in index.html for “Orbit Ops”, a fictional AI operations dashboard. Use no external assets, frameworks, or JavaScript. Include a semantic header, main, and footer; a hero with a title and two calls to action; three feature cards; and a system-status panel with three services and visible status labels. Put all CSS in a <style> element and make the layout adapt at 720px or below. Include exactly once <meta name="iop-bench" content="BENCH_LITE_01">. Write the file, read it back, and then finish with BENCH_LITE_01_DONE.

실행 규칙

• 각 조합은 빈 임시 workspace에서 정확히 한 번만 실행한다.
• 실패도 결과이며 같은 측정에서 retry, resume, recovery 또는 대체 실행을 하지 않는다.
• direct 경로는 caller workspace의 index.html과 terminal marker를 확인한다.
• execution preset은 Edge private workspace cleanup 계약을 유지하므로 caller-visible terminal marker를 확인하고 산출물 경로는 비공개 workspace(정리됨)으로 기록한다.
• usage는 caller가 직접 제공한 값만 기록하고 없으면 미제공으로 둔다.
• 기존 원격 SOPS token과 command-scoped managed CA만 사용하며 별도 benchmark token이나 전역 CA override를 만들지 않는다.
• 이 세션의 execution preset Work는 live ornith:35b 바인딩을 사용한다. tracked runtime 설정은 변경하지 않는다.

결과

경로	상태	경과 시간	caller usage	산출물/terminal evidence	짧은 관찰
Claude Code → Claude direct	미실행	미측정	미제공	미확인	—
Claude Code → Gemini direct	미실행	미측정	미제공	미확인	—
OpenCode → Gemini direct	미실행	미측정	미제공	미확인	—
Claude Code → GPT direct	미실행	미측정	미제공	미확인	—
Codex → GPT direct	미실행	미측정	미제공	미확인	—
Claude Code → Gemini execution preset	미실행	미측정	미제공	미확인	—
OpenCode → Gemini execution preset	미실행	미측정	미제공	미확인	—
Claude Code → GPT execution preset	미실행	미측정	미제공	미확인	—
Codex → GPT execution preset	미실행	미측정	미제공	미확인	—

결론

9개 단일 시도가 끝난 뒤 성공 결과만 짧게 비교한다. 실패와 미제공 usage를 0점으로 바꾸거나 반복 실행·통계·순위로 일반화하지 않는다.