toki
16b7aba95a
9개 경로의 종료 감사를 통과했으므로 완료 상태와 SDD를 아카이브하고, 하네스 없는 초경량 비교를 바로 시작할 수 있게 고정 요청과 9행 결과표를 준비한다.
39 lines
3 KiB
Markdown
39 lines
3 KiB
Markdown
# IOP 초경량 Agent 모델 비교
|
|
|
|
## 목적
|
|
|
|
검증을 마친 9개 caller/model/route 조합에 같은 HTML 구현 요청을 정확히 한 번씩 실행해 성공 여부, 경과 시간, caller가 직접 제공한 usage와 짧은 관찰만 비교한다. 별도 benchmark script, runner, manifest, retry, resume, browser gate 또는 자동 채점은 사용하지 않는다.
|
|
|
|
## 고정 요청
|
|
|
|
아래 문장을 모든 조합에 그대로 사용한다.
|
|
|
|
> Create a polished single-file responsive landing page in `index.html` for “Orbit Ops”, a fictional AI operations dashboard. Use no external assets, frameworks, or JavaScript. Include a semantic header, main, and footer; a hero with a title and two calls to action; three feature cards; and a system-status panel with three services and visible status labels. Put all CSS in a `<style>` element and make the layout adapt at 720px or below. Include exactly once `<meta name="iop-bench" content="BENCH_LITE_01">`. Write the file, read it back, and then finish with `BENCH_LITE_01_DONE`.
|
|
|
|
## 실행 규칙
|
|
|
|
- 각 조합은 빈 임시 workspace에서 정확히 한 번만 실행한다.
|
|
- 실패도 결과이며 같은 측정에서 retry, resume, recovery 또는 대체 실행을 하지 않는다.
|
|
- direct 경로는 caller workspace의 `index.html`과 terminal marker를 확인한다.
|
|
- execution preset은 Edge private workspace cleanup 계약을 유지하므로 caller-visible terminal marker를 확인하고 산출물 경로는 `비공개 workspace(정리됨)`으로 기록한다.
|
|
- usage는 caller가 직접 제공한 값만 기록하고 없으면 `미제공`으로 둔다.
|
|
- 기존 원격 SOPS token과 command-scoped managed CA만 사용하며 별도 benchmark token이나 전역 CA override를 만들지 않는다.
|
|
- 이 세션의 execution preset Work는 live `ornith:35b` 바인딩을 사용한다. tracked runtime 설정은 변경하지 않는다.
|
|
|
|
## 결과
|
|
|
|
| 경로 | 상태 | 경과 시간 | caller usage | 산출물/terminal evidence | 짧은 관찰 |
|
|
|---|---|---:|---|---|---|
|
|
| Claude Code → Claude direct | 미실행 | 미측정 | 미제공 | 미확인 | — |
|
|
| Claude Code → Gemini direct | 미실행 | 미측정 | 미제공 | 미확인 | — |
|
|
| OpenCode → Gemini direct | 미실행 | 미측정 | 미제공 | 미확인 | — |
|
|
| Claude Code → GPT direct | 미실행 | 미측정 | 미제공 | 미확인 | — |
|
|
| Codex → GPT direct | 미실행 | 미측정 | 미제공 | 미확인 | — |
|
|
| Claude Code → Gemini execution preset | 미실행 | 미측정 | 미제공 | 미확인 | — |
|
|
| OpenCode → Gemini execution preset | 미실행 | 미측정 | 미제공 | 미확인 | — |
|
|
| Claude Code → GPT execution preset | 미실행 | 미측정 | 미제공 | 미확인 | — |
|
|
| Codex → GPT execution preset | 미실행 | 미측정 | 미제공 | 미확인 | — |
|
|
|
|
## 결론
|
|
|
|
9개 단일 시도가 끝난 뒤 성공 결과만 짧게 비교한다. 실패와 미제공 usage를 0점으로 바꾸거나 반복 실행·통계·순위로 일반화하지 않는다.
|