137 lines
9.5 KiB
Markdown
137 lines
9.5 KiB
Markdown
---
|
|
name: create-test
|
|
version: 1.1.4
|
|
description: agent-test 환경 rules.md와 도메인/검증 시나리오별 테스트 rule 문서를 생성하거나 구조적 blank/skeleton baseline을 보완하는 스킬
|
|
---
|
|
|
|
# create-test
|
|
|
|
## 목적
|
|
|
|
`agent-test/<env>/rules.md`와 `agent-test/<env>/<test-profile>.md`를 템플릿 기준으로 생성하거나 구조적 blank/skeleton 상태에서 baseline으로 보완한다.
|
|
공통 진입점은 얇게 유지하고, 실제 테스트 기준은 환경/도메인/검증 시나리오별 문서에 둔다.
|
|
|
|
`test-case`는 기존 호출과의 호환을 위한 alias이며, 새 문서 기준 이름은 `test-profile`이다.
|
|
|
|
## 언제 호출할지
|
|
|
|
- 새 테스트 환경을 추가할 때
|
|
- 특정 환경의 `rules.md`가 없을 때
|
|
- 특정 환경의 `rules.md`가 비어 있거나 템플릿 뼈대만 있어 baseline 보완이 필요할 때
|
|
- 새 도메인/검증 시나리오별 테스트 문서와 라우팅을 추가할 때
|
|
- `init-agent-ops` 후 local 테스트 환경 보완이 필요할 때
|
|
|
|
## 입력
|
|
|
|
- `env`: `local`, `dev`, `qa`, `prod` 중 하나 (필수)
|
|
- `test-profile`: 도메인/검증 시나리오별 테스트 문서 이름, kebab-case (선택)
|
|
- `test-case`: `test-profile`의 호환 alias (선택)
|
|
- `domain`: 대상 도메인 이름, kebab-case (선택)
|
|
- `verification-type`: `smoke`, `unit`, `integration`, `e2e`, `model`, `migration`, `manual`, `full-cycle` 중 하나 (선택)
|
|
- `scope`: 검증 대상 또는 변경 범위 설명 (선택)
|
|
|
|
## 핵심 규칙
|
|
|
|
- 도메인 매핑이나 domain rule에서 도메인이 하나 이상 확인되면, 누락된 `agent-test/<env>/<domain>-smoke.md`를 도메인별로 항상 생성한다.
|
|
- 명시 `test-profile`은 추가 생성 대상이다. 명시 대상만 만들고 도메인 baseline을 생략하지 않는다.
|
|
- 도메인이 하나도 확인되지 않을 때만 `agent-test/<env>/project-smoke.md`를 fallback baseline으로 만든다.
|
|
- env rules는 빈 파일, 제목/frontmatter만 있는 파일, 필수 섹션 누락, 또는 `## 라우팅`에 실제 profile 경로가 없으면 구조적 blank/skeleton으로 본다.
|
|
- test-profile 문서는 빈 파일, 제목/frontmatter만 있는 파일, 필수 섹션 누락, 또는 적용 범위/분류/명령/필수 검증/판정 기준 섹션 자체가 없으면 구조적 blank/skeleton으로 본다.
|
|
- 필수 섹션은 있고 일부 값이 비어 있거나 `<확인 필요>`인 상태는 구조적 blank/skeleton이 아니다. 이 경우 structured-incomplete로 보고 확인된 구체 값과 미확인 항목을 결과에 남긴다.
|
|
- 구조적 blank/skeleton env rules나 profile은 기존 완성 문서가 아니라 baseline 보완 대상으로 본다. 확인된 구체 값은 보존하고, 빠진 필수 섹션과 baseline 라우팅만 채운다.
|
|
|
|
## 먼저 확인할 것
|
|
|
|
- [ ] `agent-ops/rules/common/rules.md`의 스킬 규칙과 테스트 규칙이 분리되어 있는지 확인한다.
|
|
- [ ] `agent-ops/skills/common/router.md`에 `create-test` 라우팅이 있는지 확인한다.
|
|
- [ ] `agent-ops/rules/project/rules.md`가 있으면 도메인 매핑 테이블을 확인한다.
|
|
- [ ] `agent-ops/rules/project/domain/` 하위 domain rule 목록을 확인한다.
|
|
- [ ] 테스트 명령 확인을 위해 프로젝트의 대표 설정 파일을 가볍게 확인한다. 예: `package.json`, `Makefile`, `pyproject.toml`, `go.mod`, `Cargo.toml`, `docker-compose*.yml`, `.github/workflows/**`.
|
|
- [ ] `agent-ops/rules/common/_templates/test-env-rules-template.md`를 읽는다.
|
|
- [ ] `agent-ops/rules/common/_templates/test-case-rule-template.md`를 읽는다.
|
|
- [ ] `agent-test/<env>/rules.md` 존재 여부를 확인한다.
|
|
- [ ] `agent-test/<env>/rules.md`가 있으면 읽고 missing / blank-skeleton / structured-incomplete / usable 중 하나로 분류한다.
|
|
- [ ] 도메인 baseline과 추가 생성 대상 `agent-test/<env>/*.md`의 존재 여부를 확인하고, 있으면 blank-skeleton / structured-incomplete / usable 중 하나로 분류한다.
|
|
|
|
## 실행 절차
|
|
|
|
1. **환경 rules 생성**
|
|
- `agent-test/<env>/rules.md`가 없으면 `test-env-rules-template.md` 형식으로 만든다.
|
|
- `agent-test/<env>/rules.md`가 구조적 blank/skeleton이면 기존 구체 값을 보존한 채 빠진 frontmatter, 정독 필수 문구, 필수 섹션, baseline 라우팅 영역만 보완한다.
|
|
- usable한 기존 env rules는 덮어쓰지 않고 라우팅 추가가 필요한 경우에만 최소 수정한다.
|
|
- 제목은 `# <env> 테스트 규칙`으로 쓴다.
|
|
- 제목 바로 아래 정독 필수 문구를 유지한다.
|
|
- `last_rule_updated_at`은 생성/보완일 `YYYY-MM-DD`로 쓴다.
|
|
|
|
2. **생성 대상 확정**
|
|
- `test-case`가 있고 `test-profile`이 없으면 `test-profile`로 취급한다.
|
|
- 도메인 매핑 테이블과 `agent-ops/rules/project/domain/*/rules.md`에서 확인된 전체 도메인 목록을 만든다.
|
|
- 확인된 도메인이 있으면 전체 도메인의 `<domain>-smoke` 문서를 생성 대상으로 삼는다. 개수가 많아도 생략하지 않는다.
|
|
- 확인된 도메인이 없으면 `project-smoke` 문서 1개를 fallback baseline으로 생성 대상으로 삼는다.
|
|
- `test-profile`이 있으면 baseline 생성 대상에 해당 문서 1개를 추가한다.
|
|
- `test-profile`이 없고 `domain`이 있으면 `<domain>-<verification-type>` 형식의 문서를 추가한다. `verification-type`이 없으면 `smoke`를 기본값으로 둔다.
|
|
- `test-profile`과 `domain`이 모두 없고 `scope`가 특정 검증 시나리오를 가리키면, 해당 도메인의 `<domain>-<verification-type>` 문서를 baseline 외 추가 생성 대상으로 둘 수 있다.
|
|
- 도메인은 새로 발명하지 않는다. 도메인 매핑이나 domain rule에서 확인되지 않은 이름은 `project-wide`로 기록한다.
|
|
|
|
3. **도메인/검증 시나리오별 문서 생성**
|
|
- 생성 대상 문서가 없으면 `agent-test/<env>/<test-profile>.md`를 `test-case-rule-template.md` 형식으로 만든다.
|
|
- 대상 문서가 이미 있고 usable하면 덮어쓰지 않는다.
|
|
- 대상 문서가 구조적 blank/skeleton이면 기존 구체 값을 보존한 채 빠진 frontmatter와 필수 섹션을 보완한다.
|
|
- frontmatter에는 `test_profile`, `domain`, `verification_type`, `last_rule_updated_at`을 채운다.
|
|
- 파일명은 kebab-case로 쓴다.
|
|
- 실제 확인된 환경, 명령, 판정 기준만 채운다.
|
|
- 불확실한 값은 비워 두거나 `<확인 필요>`로 둔다.
|
|
- 테스트 코드를 생성하는 스킬이 아니라 테스트 판단 기준 문서를 생성하는 스킬임을 유지한다.
|
|
|
|
4. **라우팅 갱신**
|
|
- 새 환경을 만들었고 `agent-ops/rules/common/rules.md`에 해당 env 라인이 없으면 `# 테스트 규칙`에 한 줄을 추가한다.
|
|
- 생성하거나 보완한 `test-profile` 문서는 `agent-test/<env>/rules.md`의 `## 라우팅`에 한 줄씩 추가한다.
|
|
- 이미 같은 profile로 향하는 라우팅이 있으면 중복 추가하지 않고 설명만 필요할 때 최소 보정한다.
|
|
- 라우팅 설명은 `<domain 또는 project-wide> / <verification-type> / <scope 요약>` 형식으로 쓴다.
|
|
- 도메인/검증 시나리오별 문서에서 다른 테스트 문서로 라우팅하지 않는다.
|
|
- 공통룰에서 스킬 최종 진입까지의 경로는 `rules.md` -> `router.md` -> `create-test/SKILL.md`로 유지한다.
|
|
|
|
5. **local 추적 제외**
|
|
- `env`가 `local`이면 `.gitignore`에 `agent-test/local/`과 `agent-test/runs/`가 있는지 확인하고 없으면 추가한다.
|
|
|
|
6. **결과 보고**
|
|
- 생성한 파일
|
|
- 추가한 라우팅
|
|
- 자동 생성 기준: 도메인 baseline / 명시 입력 / scope 매칭 / project-smoke fallback
|
|
- 구조적 blank/skeleton 보완 대상
|
|
- 비워 둔 확인 필요 항목
|
|
|
|
## 실행 결과 검증
|
|
|
|
- [ ] 생성 파일이 해당 템플릿의 필수 섹션을 포함하는가
|
|
- [ ] `rules.md` -> `router.md` -> `create-test/SKILL.md` 경로가 끊기지 않는가
|
|
- [ ] `agent-test/<env>/rules.md`가 3홉을 넘는 라우팅을 만들지 않는가
|
|
- [ ] 새 도메인/검증 시나리오별 문서가 env rules의 라우팅에 연결되었는가
|
|
- [ ] 확인된 모든 도메인에 `<domain>-smoke` 문서가 생성되었는가
|
|
- [ ] 도메인이 없을 때 `project-smoke` fallback 문서가 생성되었는가
|
|
- [ ] 생성/보완 대상에 섹션 누락이나 라우팅 없는 구조적 blank/skeleton 파일이 남아 있지 않고, 불확실한 값은 `<확인 필요>`로 보고되었는가
|
|
- [ ] local 생성 시 `.gitignore`에 local 경로가 반영되었는가
|
|
- 검증 실패 시: 누락된 파일/섹션/라우팅만 보완한다.
|
|
|
|
## 출력 형식
|
|
|
|
```md
|
|
## 생성 완료
|
|
|
|
- 환경: <env>
|
|
- 환경 rules: agent-test/<env>/rules.md
|
|
- 테스트 profiles: <agent-test/<env>/<test-profile>.md 목록>
|
|
- 라우팅 추가: <내용>
|
|
- 자동 생성 기준: <도메인 baseline | 명시 입력 | scope 매칭 | project-smoke fallback>
|
|
- 구조적 blank/skeleton 보완: <파일 목록 또는 없음>
|
|
- 확인 필요: <항목 또는 없음>
|
|
```
|
|
|
|
## 금지 사항
|
|
|
|
- usable한 기존 테스트 문서를 덮어쓰지 않는다.
|
|
- 구조적 blank/skeleton 보완 시에도 확인된 구체 환경값, 명령, 판정 기준을 추측으로 교체하지 않는다.
|
|
- 도메인/검증 시나리오별 문서에서 추가 테스트 문서로 라우팅하지 않는다.
|
|
- 도메인 매핑이나 domain rule에 없는 도메인을 확정값처럼 만들지 않는다.
|
|
- 확인되지 않은 host, port, token, endpoint를 추측해 쓰지 않는다.
|
|
- secret, token, 개인 endpoint 원문을 tracked 파일에 기록하지 않는다.
|