appsok/agent-ops/skills/common/create-test/SKILL.md

9.9 KiB

name version description
create-test 1.1.4 agent-test 환경 rules.md와 도메인/검증 시나리오별 테스트 rule 문서를 생성하거나 구조적 blank/skeleton baseline을 보완하는 스킬

create-test

목적

agent-test/<env>/rules.mdagent-test/<env>/<test-profile>.md를 템플릿 기준으로 생성하거나 구조적 blank/skeleton 상태에서 baseline으로 보완한다. 공통 진입점은 얇게 유지하고, 실제 테스트 기준은 환경/도메인/검증 시나리오별 문서에 둔다.

test-case는 기존 호출과의 호환을 위한 alias이며, 새 문서 기준 이름은 test-profile이다.

언제 호출할지

  • 새 테스트 환경을 추가할 때
  • 특정 환경의 rules.md가 없을 때
  • 특정 환경의 rules.md가 비어 있거나 템플릿 뼈대만 있어 baseline 보완이 필요할 때
  • 새 도메인/검증 시나리오별 테스트 문서와 라우팅을 추가할 때
  • init-agent-ops 후 local 테스트 환경 보완이 필요할 때

입력

  • env: local, dev, qa, prod 중 하나 (필수)
  • test-profile: 도메인/검증 시나리오별 테스트 문서 이름, kebab-case (선택)
  • test-case: test-profile의 호환 alias (선택)
  • domain: 대상 도메인 이름, kebab-case (선택)
  • verification-type: smoke, unit, integration, e2e, model, migration, manual, full-cycle 중 하나 (선택)
  • scope: 검증 대상 또는 변경 범위 설명 (선택)

핵심 규칙

  • 도메인 매핑이나 domain rule에서 도메인이 하나 이상 확인되면, 누락된 agent-test/<env>/<domain>-smoke.md를 도메인별로 항상 생성한다.
  • 명시 test-profile은 추가 생성 대상이다. 명시 대상만 만들고 도메인 baseline을 생략하지 않는다.
  • 도메인이 하나도 확인되지 않을 때만 agent-test/<env>/project-smoke.md를 fallback baseline으로 만든다.
  • env rules는 빈 파일, 제목/frontmatter만 있는 파일, 필수 섹션 누락, 또는 ## 라우팅에 실제 profile 경로가 없으면 구조적 blank/skeleton으로 본다.
  • test-profile 문서는 빈 파일, 제목/frontmatter만 있는 파일, 필수 섹션 누락, 또는 적용 범위/분류/명령/필수 검증/판정 기준 섹션 자체가 없으면 구조적 blank/skeleton으로 본다.
  • 필수 섹션은 있고 일부 값이 비어 있거나 <확인 필요>인 상태는 구조적 blank/skeleton이 아니다. 이 경우 structured-incomplete로 보고 확인된 구체 값과 미확인 항목을 결과에 남긴다.
  • 구조적 blank/skeleton env rules나 profile은 기존 완성 문서가 아니라 baseline 보완 대상으로 본다. 확인된 구체 값은 보존하고, 빠진 필수 섹션과 baseline 라우팅만 채운다.

먼저 확인할 것

  • agent-ops/rules/common/rules.md의 스킬 규칙과 테스트 규칙이 분리되어 있는지 확인한다.
  • agent-ops/skills/common/router.mdcreate-test 라우팅이 있는지 확인한다.
  • agent-ops/rules/project/rules.md가 있으면 도메인 매핑 테이블을 확인한다.
  • agent-ops/rules/project/domain/ 하위 domain rule 목록을 확인한다.
  • 테스트 명령 확인을 위해 프로젝트의 대표 설정 파일을 가볍게 확인한다. 예: package.json, Makefile, pyproject.toml, go.mod, Cargo.toml, docker-compose*.yml, .github/workflows/**.
  • agent-ops/rules/common/_templates/test-env-rules-template.md를 읽는다.
  • agent-ops/rules/common/_templates/test-case-rule-template.md를 읽는다.
  • 프로젝트에 agent-test/_templates/env-rules-template.md 또는 agent-test/_templates/test-profile-template.md가 있으면 해당 프로젝트 템플릿을 공통 템플릿보다 우선한다.
  • agent-test/<env>/rules.md 존재 여부를 확인한다.
  • agent-test/<env>/rules.md가 있으면 읽고 missing / blank-skeleton / structured-incomplete / usable 중 하나로 분류한다.
  • 도메인 baseline과 추가 생성 대상 agent-test/<env>/*.md의 존재 여부를 확인하고, 있으면 blank-skeleton / structured-incomplete / usable 중 하나로 분류한다.

실행 절차

  1. 환경 rules 생성

    • agent-test/<env>/rules.md가 없으면 프로젝트 agent-test/_templates/env-rules-template.md가 있을 때는 그 형식으로 만들고, 없으면 공통 test-env-rules-template.md 형식으로 만든다.
    • agent-test/<env>/rules.md가 구조적 blank/skeleton이면 기존 구체 값을 보존한 채 빠진 frontmatter, 정독 필수 문구, 필수 섹션, baseline 라우팅 영역만 보완한다.
    • usable한 기존 env rules는 덮어쓰지 않고 라우팅 추가가 필요한 경우에만 최소 수정한다.
    • 제목은 # <env> 테스트 규칙으로 쓴다.
    • 제목 바로 아래 정독 필수 문구를 유지한다.
    • last_rule_updated_at은 생성/보완일 YYYY-MM-DD로 쓴다.
  2. 생성 대상 확정

    • test-case가 있고 test-profile이 없으면 test-profile로 취급한다.
    • 도메인 매핑 테이블과 agent-ops/rules/project/domain/*/rules.md에서 확인된 전체 도메인 목록을 만든다.
    • 확인된 도메인이 있으면 전체 도메인의 <domain>-smoke 문서를 생성 대상으로 삼는다. 개수가 많아도 생략하지 않는다.
    • 확인된 도메인이 없으면 project-smoke 문서 1개를 fallback baseline으로 생성 대상으로 삼는다.
    • test-profile이 있으면 baseline 생성 대상에 해당 문서 1개를 추가한다.
    • test-profile이 없고 domain이 있으면 <domain>-<verification-type> 형식의 문서를 추가한다. verification-type이 없으면 smoke를 기본값으로 둔다.
    • test-profiledomain이 모두 없고 scope가 특정 검증 시나리오를 가리키면, 해당 도메인의 <domain>-<verification-type> 문서를 baseline 외 추가 생성 대상으로 둘 수 있다.
    • 도메인은 새로 발명하지 않는다. 도메인 매핑이나 domain rule에서 확인되지 않은 이름은 project-wide로 기록한다.
  3. 도메인/검증 시나리오별 문서 생성

    • 생성 대상 문서가 없으면 프로젝트 agent-test/_templates/test-profile-template.md가 있을 때는 그 형식으로 만들고, 없으면 공통 test-case-rule-template.md 형식으로 만든다.
    • 대상 문서가 이미 있고 usable하면 덮어쓰지 않는다.
    • 대상 문서가 구조적 blank/skeleton이면 기존 구체 값을 보존한 채 빠진 frontmatter와 필수 섹션을 보완한다.
    • frontmatter에는 test_profile, domain, verification_type, last_rule_updated_at을 채운다.
    • 파일명은 kebab-case로 쓴다.
    • 실제 확인된 환경, 명령, 판정 기준만 채운다.
    • 불확실한 값은 비워 두거나 <확인 필요>로 둔다.
    • 테스트 코드를 생성하는 스킬이 아니라 테스트 판단 기준 문서를 생성하는 스킬임을 유지한다.
  4. 라우팅 갱신

    • 새 환경을 만들었고 agent-ops/rules/common/rules.md에 해당 env 라인이 없으면 # 테스트 규칙에 한 줄을 추가한다.
    • 생성하거나 보완한 test-profile 문서는 agent-test/<env>/rules.md## 라우팅에 한 줄씩 추가한다.
    • 이미 같은 profile로 향하는 라우팅이 있으면 중복 추가하지 않고 설명만 필요할 때 최소 보정한다.
    • 라우팅 설명은 <domain 또는 project-wide> / <verification-type> / <scope 요약> 형식으로 쓴다.
    • 도메인/검증 시나리오별 문서에서 다른 테스트 문서로 라우팅하지 않는다.
    • 공통룰에서 스킬 최종 진입까지의 경로는 rules.md -> router.md -> create-test/SKILL.md로 유지한다.
  5. local 추적 제외

    • envlocal이면 .gitignoreagent-test/local/agent-test/runs/가 있는지 확인하고 없으면 추가한다.
  6. 결과 보고

    • 생성한 파일
    • 추가한 라우팅
    • 자동 생성 기준: 도메인 baseline / 명시 입력 / scope 매칭 / project-smoke fallback
    • 구조적 blank/skeleton 보완 대상
    • 비워 둔 확인 필요 항목

실행 결과 검증

  • 생성 파일이 해당 템플릿의 필수 섹션을 포함하는가
  • rules.md -> router.md -> create-test/SKILL.md 경로가 끊기지 않는가
  • agent-test/<env>/rules.md가 3홉을 넘는 라우팅을 만들지 않는가
  • 새 도메인/검증 시나리오별 문서가 env rules의 라우팅에 연결되었는가
  • 확인된 모든 도메인에 <domain>-smoke 문서가 생성되었는가
  • 도메인이 없을 때 project-smoke fallback 문서가 생성되었는가
  • 생성/보완 대상에 섹션 누락이나 라우팅 없는 구조적 blank/skeleton 파일이 남아 있지 않고, 불확실한 값은 <확인 필요>로 보고되었는가
  • local 생성 시 .gitignore에 local 경로가 반영되었는가
  • 검증 실패 시: 누락된 파일/섹션/라우팅만 보완한다.

출력 형식

## 생성 완료

- 환경: <env>
- 환경 rules: agent-test/<env>/rules.md
- 테스트 profiles: <agent-test/<env>/<test-profile>.md 목록>
- 라우팅 추가: <내용>
- 자동 생성 기준: <도메인 baseline | 명시 입력 | scope 매칭 | project-smoke fallback>
- 구조적 blank/skeleton 보완: <파일 목록 또는 없음>
- 확인 필요: <항목 또는 없음>

금지 사항

  • usable한 기존 테스트 문서를 덮어쓰지 않는다.
  • 구조적 blank/skeleton 보완 시에도 확인된 구체 환경값, 명령, 판정 기준을 추측으로 교체하지 않는다.
  • 도메인/검증 시나리오별 문서에서 추가 테스트 문서로 라우팅하지 않는다.
  • 도메인 매핑이나 domain rule에 없는 도메인을 확정값처럼 만들지 않는다.
  • 확인되지 않은 host, port, token, endpoint를 추측해 쓰지 않는다.
  • secret, token, 개인 endpoint 원문을 tracked 파일에 기록하지 않는다.