9.9 KiB
9.9 KiB
| name | version | description |
|---|---|---|
| create-test | 1.1.4 | agent-test 환경 rules.md와 도메인/검증 시나리오별 테스트 rule 문서를 생성하거나 구조적 blank/skeleton baseline을 보완하는 스킬 |
create-test
목적
agent-test/<env>/rules.md와 agent-test/<env>/<test-profile>.md를 템플릿 기준으로 생성하거나 구조적 blank/skeleton 상태에서 baseline으로 보완한다.
공통 진입점은 얇게 유지하고, 실제 테스트 기준은 환경/도메인/검증 시나리오별 문서에 둔다.
test-case는 기존 호출과의 호환을 위한 alias이며, 새 문서 기준 이름은 test-profile이다.
언제 호출할지
- 새 테스트 환경을 추가할 때
- 특정 환경의
rules.md가 없을 때 - 특정 환경의
rules.md가 비어 있거나 템플릿 뼈대만 있어 baseline 보완이 필요할 때 - 새 도메인/검증 시나리오별 테스트 문서와 라우팅을 추가할 때
init-agent-ops후 local 테스트 환경 보완이 필요할 때
입력
env:local,dev,qa,prod중 하나 (필수)test-profile: 도메인/검증 시나리오별 테스트 문서 이름, kebab-case (선택)test-case:test-profile의 호환 alias (선택)domain: 대상 도메인 이름, kebab-case (선택)verification-type:smoke,unit,integration,e2e,model,migration,manual,full-cycle중 하나 (선택)scope: 검증 대상 또는 변경 범위 설명 (선택)
핵심 규칙
- 도메인 매핑이나 domain rule에서 도메인이 하나 이상 확인되면, 누락된
agent-test/<env>/<domain>-smoke.md를 도메인별로 항상 생성한다. - 명시
test-profile은 추가 생성 대상이다. 명시 대상만 만들고 도메인 baseline을 생략하지 않는다. - 도메인이 하나도 확인되지 않을 때만
agent-test/<env>/project-smoke.md를 fallback baseline으로 만든다. - env rules는 빈 파일, 제목/frontmatter만 있는 파일, 필수 섹션 누락, 또는
## 라우팅에 실제 profile 경로가 없으면 구조적 blank/skeleton으로 본다. - test-profile 문서는 빈 파일, 제목/frontmatter만 있는 파일, 필수 섹션 누락, 또는 적용 범위/분류/명령/필수 검증/판정 기준 섹션 자체가 없으면 구조적 blank/skeleton으로 본다.
- 필수 섹션은 있고 일부 값이 비어 있거나
<확인 필요>인 상태는 구조적 blank/skeleton이 아니다. 이 경우 structured-incomplete로 보고 확인된 구체 값과 미확인 항목을 결과에 남긴다. - 구조적 blank/skeleton env rules나 profile은 기존 완성 문서가 아니라 baseline 보완 대상으로 본다. 확인된 구체 값은 보존하고, 빠진 필수 섹션과 baseline 라우팅만 채운다.
먼저 확인할 것
agent-ops/rules/common/rules.md의 스킬 규칙과 테스트 규칙이 분리되어 있는지 확인한다.agent-ops/skills/common/router.md에create-test라우팅이 있는지 확인한다.agent-ops/rules/project/rules.md가 있으면 도메인 매핑 테이블을 확인한다.agent-ops/rules/project/domain/하위 domain rule 목록을 확인한다.- 테스트 명령 확인을 위해 프로젝트의 대표 설정 파일을 가볍게 확인한다. 예:
package.json,Makefile,pyproject.toml,go.mod,Cargo.toml,docker-compose*.yml,.github/workflows/**. agent-ops/rules/common/_templates/test-env-rules-template.md를 읽는다.agent-ops/rules/common/_templates/test-case-rule-template.md를 읽는다.- 프로젝트에
agent-test/_templates/env-rules-template.md또는agent-test/_templates/test-profile-template.md가 있으면 해당 프로젝트 템플릿을 공통 템플릿보다 우선한다. agent-test/<env>/rules.md존재 여부를 확인한다.agent-test/<env>/rules.md가 있으면 읽고 missing / blank-skeleton / structured-incomplete / usable 중 하나로 분류한다.- 도메인 baseline과 추가 생성 대상
agent-test/<env>/*.md의 존재 여부를 확인하고, 있으면 blank-skeleton / structured-incomplete / usable 중 하나로 분류한다.
실행 절차
-
환경 rules 생성
agent-test/<env>/rules.md가 없으면 프로젝트agent-test/_templates/env-rules-template.md가 있을 때는 그 형식으로 만들고, 없으면 공통test-env-rules-template.md형식으로 만든다.agent-test/<env>/rules.md가 구조적 blank/skeleton이면 기존 구체 값을 보존한 채 빠진 frontmatter, 정독 필수 문구, 필수 섹션, baseline 라우팅 영역만 보완한다.- usable한 기존 env rules는 덮어쓰지 않고 라우팅 추가가 필요한 경우에만 최소 수정한다.
- 제목은
# <env> 테스트 규칙으로 쓴다. - 제목 바로 아래 정독 필수 문구를 유지한다.
last_rule_updated_at은 생성/보완일YYYY-MM-DD로 쓴다.
-
생성 대상 확정
test-case가 있고test-profile이 없으면test-profile로 취급한다.- 도메인 매핑 테이블과
agent-ops/rules/project/domain/*/rules.md에서 확인된 전체 도메인 목록을 만든다. - 확인된 도메인이 있으면 전체 도메인의
<domain>-smoke문서를 생성 대상으로 삼는다. 개수가 많아도 생략하지 않는다. - 확인된 도메인이 없으면
project-smoke문서 1개를 fallback baseline으로 생성 대상으로 삼는다. test-profile이 있으면 baseline 생성 대상에 해당 문서 1개를 추가한다.test-profile이 없고domain이 있으면<domain>-<verification-type>형식의 문서를 추가한다.verification-type이 없으면smoke를 기본값으로 둔다.test-profile과domain이 모두 없고scope가 특정 검증 시나리오를 가리키면, 해당 도메인의<domain>-<verification-type>문서를 baseline 외 추가 생성 대상으로 둘 수 있다.- 도메인은 새로 발명하지 않는다. 도메인 매핑이나 domain rule에서 확인되지 않은 이름은
project-wide로 기록한다.
-
도메인/검증 시나리오별 문서 생성
- 생성 대상 문서가 없으면 프로젝트
agent-test/_templates/test-profile-template.md가 있을 때는 그 형식으로 만들고, 없으면 공통test-case-rule-template.md형식으로 만든다. - 대상 문서가 이미 있고 usable하면 덮어쓰지 않는다.
- 대상 문서가 구조적 blank/skeleton이면 기존 구체 값을 보존한 채 빠진 frontmatter와 필수 섹션을 보완한다.
- frontmatter에는
test_profile,domain,verification_type,last_rule_updated_at을 채운다. - 파일명은 kebab-case로 쓴다.
- 실제 확인된 환경, 명령, 판정 기준만 채운다.
- 불확실한 값은 비워 두거나
<확인 필요>로 둔다. - 테스트 코드를 생성하는 스킬이 아니라 테스트 판단 기준 문서를 생성하는 스킬임을 유지한다.
- 생성 대상 문서가 없으면 프로젝트
-
라우팅 갱신
- 새 환경을 만들었고
agent-ops/rules/common/rules.md에 해당 env 라인이 없으면# 테스트 규칙에 한 줄을 추가한다. - 생성하거나 보완한
test-profile문서는agent-test/<env>/rules.md의## 라우팅에 한 줄씩 추가한다. - 이미 같은 profile로 향하는 라우팅이 있으면 중복 추가하지 않고 설명만 필요할 때 최소 보정한다.
- 라우팅 설명은
<domain 또는 project-wide> / <verification-type> / <scope 요약>형식으로 쓴다. - 도메인/검증 시나리오별 문서에서 다른 테스트 문서로 라우팅하지 않는다.
- 공통룰에서 스킬 최종 진입까지의 경로는
rules.md->router.md->create-test/SKILL.md로 유지한다.
- 새 환경을 만들었고
-
local 추적 제외
env가local이면.gitignore에agent-test/local/과agent-test/runs/가 있는지 확인하고 없으면 추가한다.
-
결과 보고
- 생성한 파일
- 추가한 라우팅
- 자동 생성 기준: 도메인 baseline / 명시 입력 / scope 매칭 / project-smoke fallback
- 구조적 blank/skeleton 보완 대상
- 비워 둔 확인 필요 항목
실행 결과 검증
- 생성 파일이 해당 템플릿의 필수 섹션을 포함하는가
rules.md->router.md->create-test/SKILL.md경로가 끊기지 않는가agent-test/<env>/rules.md가 3홉을 넘는 라우팅을 만들지 않는가- 새 도메인/검증 시나리오별 문서가 env rules의 라우팅에 연결되었는가
- 확인된 모든 도메인에
<domain>-smoke문서가 생성되었는가 - 도메인이 없을 때
project-smokefallback 문서가 생성되었는가 - 생성/보완 대상에 섹션 누락이나 라우팅 없는 구조적 blank/skeleton 파일이 남아 있지 않고, 불확실한 값은
<확인 필요>로 보고되었는가 - local 생성 시
.gitignore에 local 경로가 반영되었는가 - 검증 실패 시: 누락된 파일/섹션/라우팅만 보완한다.
출력 형식
## 생성 완료
- 환경: <env>
- 환경 rules: agent-test/<env>/rules.md
- 테스트 profiles: <agent-test/<env>/<test-profile>.md 목록>
- 라우팅 추가: <내용>
- 자동 생성 기준: <도메인 baseline | 명시 입력 | scope 매칭 | project-smoke fallback>
- 구조적 blank/skeleton 보완: <파일 목록 또는 없음>
- 확인 필요: <항목 또는 없음>
금지 사항
- usable한 기존 테스트 문서를 덮어쓰지 않는다.
- 구조적 blank/skeleton 보완 시에도 확인된 구체 환경값, 명령, 판정 기준을 추측으로 교체하지 않는다.
- 도메인/검증 시나리오별 문서에서 추가 테스트 문서로 라우팅하지 않는다.
- 도메인 매핑이나 domain rule에 없는 도메인을 확정값처럼 만들지 않는다.
- 확인되지 않은 host, port, token, endpoint를 추측해 쓰지 않는다.
- secret, token, 개인 endpoint 원문을 tracked 파일에 기록하지 않는다.