iop/agent-roadmap/phase/knowledge-tool-optimization-extension/milestones/knowledge-tool-validation-optimization.md

6.2 KiB

Milestone: [route-02] 단계 호출과 검증 최적화 MVP

위치

목표

요청 난이도와 작업 특성에 맞춰 analysis directive, generation, verification을 분리할 수 있는 request-local 단계 호출 실행 형태를 스케치한다. 이 마일스톤은 폐기된 범용 단계 호출 아이디어를 단순히 되살리는 것이 아니라, IOP Hot Path One-shot 실행 경로의 micro-plan/review를 일반화해 후속 Edge 하이브리드 라우터가 선택할 수 있는 올바른 실행 profile로 정의한다. 각 단계는 같은 요청의 bounded lifecycle 안에서 끝나며, durable Plan/Review artifact나 workflow 상태를 만들지 않는다.

상태

[스케치]

승격 조건

  • analysis directive, generation, verification의 MVP 역할과 단계 생략 조건을 확정한다.
  • tool call/schema 강제와 output validation의 최소 책임 경계를 결정한다.
  • 검증 실패 시 어느 단계로 회귀할지와 요청 전체 retry·latency budget을 결정한다.
  • execution_shape와 stage binding을 Edge가 명시하고 Node가 그대로 실행하는 계약을 확정한다.
  • Hot Path profile과 staged profile이 공유할 decision/stage evidence 최소 schema를 확정한다.
  • API/config/event schema 구현으로 승격할 때 필수 SDD를 작성·승인한다.

구현 잠금

  • 상태: 잠금
  • SDD: 불필요
  • SDD 문서: 없음
  • SDD 사유: 현재는 request-local 단계 역할과 하이브리드 라우팅 연결을 바로잡는 스케치다. 실행 shape, stage binding, validation/retry 계약 구현으로 승격할 때 SDD가 필요하다.
  • 잠금 해제 조건: 아래 체크리스트
    • 승격 조건의 미정 항목이 해소되어 있다.
    • Hot Path에서 재사용할 계약과 이 마일스톤에서 일반화할 계약이 분리되어 있다.
    • 구현 가능한 MVP와 후속 profile 확장 범위가 분리되어 있다.
    • 필요한 SDD가 작성·승인되어 있다.
  • 결정 필요: 아래 체크리스트
    • analysis/generation/verification 각 단계의 입력·출력과 생략 가능 조건을 결정한다.
    • runtime schema 강제를 Edge validator, Node adapter, 별도 validation stage 중 어디에서 시작할지 결정한다.
    • validation failure 시 generation correction, analysis 재생성, terminal failure 중 허용할 경로와 최대 횟수를 결정한다.
    • 명시적 client profile 선택을 허용할지, Edge route decision만 허용할지, 둘을 허용하면 우선순위를 어떻게 둘지 결정한다.

범위

  • 한 IOP 요청 안에서만 유지되는 analysis directive, generation, verification의 bounded stage contract
  • 단순 요청에서는 analysis/review 단계를 생략하고 필요한 요청에만 단계 호출을 적용하는 execution profile
  • 각 stage에 대한 Edge의 명시적 adapter/target/capability binding과 Node의 실행-only 책임
  • validation failure 시 bounded correction, 이전 단계 회귀, fallback, terminal failure 정책
  • tool call/schema 강제와 output validation의 적용 지점 및 stage evidence
  • Hot Path의 direct/guided-local profile과 호환되는 공통 decision/stage envelope

기능

Epic: [stage-validate] Request-local Staged Validation Profile

단계 호출과 검증을 Edge 하이브리드 라우터가 안전하게 선택할 수 있는 실행 profile로 구체화하는 산출물을 묶는다.

  • [role-split] analysis directive, generation, verification의 입력·출력·생략 조건과 transient 책임 경계가 정리되어 있다.
  • [schema-policy] tool call과 runtime schema 강제의 최소 적용 지점과 실패 evidence가 정리되어 있다.
  • [retry-route] validation failure 시 correction, 이전 단계 회귀, fallback과 terminal failure가 요청 전체 budget 안에서 정리되어 있다.
  • [shape-contract] Edge가 execution shape와 stage별 adapter/target을 확정하고 Node가 이를 재판정 없이 실행하는 계약 후보가 정리되어 있다.
  • [mvp-review] Hot Path 공통 부분, staged profile 고유 부분, 후속 하이브리드 라우터 연결 범위를 사용자가 검토했다.

완료 리뷰

  • 상태: 없음
  • 요청일: 없음
  • 완료 근거: 스케치 Milestone이며 기능 Task가 아직 충족되지 않았다.
  • 리뷰 필요:
    • 사용자가 완료 결과를 확인했다
    • archive 이동을 승인했다
  • 리뷰 코멘트: 없음

범위 제외

  • durable Plan/Review 문서, task graph, 승인 상태, 중단 후 재개, background workflow
  • 외부 workflow product와의 호출, 상태, 계약, artifact 또는 lifecycle 공유
  • local routing model 학습·RAG index·shadow/canary 운영 전환
  • 장기 기억/RAG update loop 구현
  • 누적 요청 컨텍스트 구성·압축과 target별 token budget 최적화
  • 모든 route를 model이 최종 결정하거나 Node가 execution shape를 자율 판정하는 설계

작업 컨텍스트

  • 관련 경로: apps/edge, apps/node, packages/go/policy, proto/iop, OpenAI-Compatible API Contract
  • 표준선(선택): 이 마일스톤의 plan/review는 하나의 요청 안에서만 존재하는 analysis directive와 verification stage다. durable artifact나 workflow process와 개념·상태·계약을 공유하지 않는다.
  • 표준선(선택): Edge가 요청 사실, hard gate와 route policy에 따라 execution shape 및 stage별 adapter/target을 확정한다. Node는 전달받은 stage를 실행·취소하고 상태·usage를 보고한다.
  • 표준선(선택): 외부 client의 명시적 profile 선택을 지원하더라도 최종 허용 여부와 stage binding은 Edge arbiter가 결정한다.
  • 선행 작업: IOP Hot Path One-shot 실행 경로
  • 후속 작업: OpenAI-compatible 하이브리드 요청 수준·실행 형태 라우팅, RAG 기반 Local Routing Model 운영 전환
  • 확인 필요: 구현 잠금 > 결정 필요