<!-- task=m-webhook-revision-reconcile/02+01_retry_delivery_store plan=0 tag=API -->

# Code Review Reference - API

> **[IMPLEMENTING AGENT — READ FIRST] Filling in this file is the mandatory final step of implementation.**
> The task is NOT complete until every implementation-owned section below is filled in.
> Complete the `구현 체크리스트`; the final checklist item is mandatory before saving.
> Fill implementation-owned sections, then stop with active files in place and report ready for review.
> If implementation is blocked by a selected SDD decision or selected Milestone `구현 잠금 > 결정 필요` item, fill `사용자 리뷰 요청` with linked evidence and stop with active files in place; code-review decides whether to write `USER_REVIEW.md`. Environment/secret/service blockers, generic scope changes, repeated failures, and evidence gaps that a follow-up agent can close are normal follow-up issues, not user-review blockers by themselves.
> Do not ask the user directly, present choices in chat, or call `request_user_input` during implementation; record only SDD/Milestone lock decisions in `사용자 리뷰 요청` and stop for code-review.
> Finalization (`코드리뷰 결과`, log rename, `complete.log`, archive moves, `코드리뷰 전용 체크리스트`) is review-agent-only, even after compaction/resume.
> Follow the ownership table at the bottom of this file for which sections you own.

## 개요

date=2026-06-17
task=m-webhook-revision-reconcile/02+01_retry_delivery_store, plan=0, tag=API

## Roadmap Targets

- Milestone: `agent-roadmap/phase/provider-change-request-integration/milestones/webhook-revision-reconcile.md`
- Task ids:
  - `retry`: delivery idempotency, retry/backoff, failed delivery 상태를 PostgreSQL 기준으로 기록한다.
- Completion mode: check-on-pass

## Spec Targets

- SDD: `agent-roadmap/sdd/provider-change-request-integration/webhook-revision-reconcile/SDD.md`
- Acceptance scenarios:
  - `S04`: task=`retry`; evidence=`delivery retry/backoff unit or integration test with PostgreSQL store`
- Completion mode: spec-check-on-pass

## 이 파일을 읽는 리뷰 에이전트에게

> **[REVIEW AGENT ONLY]** 아래 종결 절차는 코드리뷰 에이전트 전용이다. 구현 에이전트는 이 섹션을 실행하지 않는다.

각 항목의 구현을 실제 소스 파일과 대조하고, `검증 결과` 섹션의 출력이 코드와 일치하는지 확인하세요.
리뷰 완료는 아래 순서까지 끝난 상태를 의미합니다.

1. 판정을 append한다.
2. `CODE_REVIEW-cloud-G06.md` → `code_review_cloud_G06_N.log`, `PLAN-cloud-G06.md` → `plan_cloud_G06_M.log`로 아카이브한다.
3. PASS이면 `complete.log` 작성 후 active task 디렉터리를 `agent-task/archive/YYYY/MM/m-webhook-revision-reconcile/02+01_retry_delivery_store/`로 이동한다. WARN/FAIL이면 user-review gate를 확인한 뒤 다음 active plan/review 파일 또는 `USER_REVIEW.md`를 작성한다.
4. PASS이고 task group이 `m-<milestone-slug>`이면 완료 이벤트 메타데이터를 보고한다. roadmap 상태 체크와 `update-roadmap` 호출은 런타임 책임이다.
5. 적용 가능한 `코드리뷰 전용 체크리스트` 항목을 최종 `.log` 위치에서 체크한 뒤 보고한다.

---

## 구현 항목별 완료 여부

| 항목 | 완료 여부 |
|------|---------|
| [API-1] Durable Webhook Delivery Store | [x] |
| [API-2] Retry Classification And Backoff | [x] |

## 구현 체크리스트

- [x] 선행 `01_http_delivery`의 `complete.log` 존재를 확인하고 경로를 `검증 결과`에 기록한다.
- [x] outbound webhook delivery 상태 모델과 store interface를 추가한다.
- [x] PostgreSQL migration과 `PgStore` 구현으로 pending/sending/succeeded/retryable/failed 상태, attempt count, next_attempt_at, last_error/status_code를 기록한다.
- [x] delivery response classifier를 추가해 2xx는 succeeded, 429/5xx/transport는 retryable with backoff, 400/401/403/404/410은 failed로 기록한다.
- [x] 같은 event/subscription 조합이 중복 enqueue되어도 delivery idempotency가 유지되는 테스트를 작성한다.
- [x] `cd services/core && go test -run 'TestWebhookDeliveryRetry|TestPostgresWebhookDelivery' ./internal/... -v -count=1`를 실행한다.
- [x] `cd services/core && go test ./...`를 실행한다.
- [x] CODE_REVIEW-*-G??.md의 구현 에이전트 소유 섹션을 실제 구현 내용과 검증 출력으로 채운다. 이 항목이 완료되기 전에는 구현이 완료된 것이 아니다.

## 코드리뷰 전용 체크리스트

> **[REVIEW AGENT ONLY]** 이 체크리스트는 코드리뷰 에이전트만 사용한다.
> 구현 에이전트는 이 섹션을 수정하거나 체크하지 않는다.

- [x] `코드리뷰 결과`에 `PASS`, `WARN`, `FAIL` 중 하나의 판정을 append한다.
- [x] 판정과 `차원별 평가`, Required/Suggested/Nit 분류가 서로 일치한다.
- [x] active `CODE_REVIEW-cloud-G06.md`를 `code_review_cloud_G06_0.log`로 아카이브한다.
- [x] active `PLAN-cloud-G06.md`를 `plan_cloud_G06_0.log`로 아카이브한다.
- [x] `.gitignore`의 Agent-Ops 관리 block이 `agent-task/**/*.md`와 `agent-task/**/*.log`를 unignore하고 `agent-roadmap/current.md`를 ignore하는지 확인한다.
- [ ] PASS이면 `agent-ops/skills/common/code-review/templates/complete-log-template.md` 기준으로 `complete.log`를 작성하고 active `.md` 파일을 남기지 않는다.
- [ ] PASS이면 active task 디렉터리 `agent-task/m-webhook-revision-reconcile/02+01_retry_delivery_store/`를 `agent-task/archive/YYYY/MM/m-webhook-revision-reconcile/02+01_retry_delivery_store/`로 이동하고 최종 archive 경로에서 이 체크리스트를 갱신한다.
- [ ] PASS이고 task group이 `m-<milestone-slug>`이면 런타임이 읽을 완료 이벤트 메타데이터를 보고하고, roadmap 수정이나 `update-roadmap` 직접 호출을 하지 않는다.
- [ ] PASS split 작업이면 이동 후 빈 active parent `agent-task/m-webhook-revision-reconcile/`를 제거하거나, 남은 sibling/file이 있어 유지했다고 확인한다.
- [x] WARN/FAIL이고 user-review gate가 트리거되지 않았으면 다음 active `PLAN-local-G05.md`와 `CODE_REVIEW-local-G05.md`를 작성하고 `complete.log`를 작성하지 않는다.
- [ ] USER_REVIEW이면 `agent-ops/skills/common/code-review/templates/user-review-template.md` 기준으로 `USER_REVIEW.md`를 작성하고 active `PLAN-*.md`, `CODE_REVIEW-*.md`, `complete.log`를 남기지 않는다.
- [ ] USER_REVIEW가 연결된 SDD/Milestone 결정으로 완료/PASS 해소되면 `USER_REVIEW.md`를 해소 상태로 갱신하고 `complete.log`를 작성한 뒤 task directory를 archive로 이동한다.

## 계획 대비 변경 사항

- `newFakeStore()` 함수에서 `webhookDeliveries` 필드가 기본값으로 주입될 경우, 기존 in-memory 기반 webhook delivery 테스트(`TestRuntime_WebhookDeliveryBranchUpdated` 등)들이 typed nil interface 비교 문제로 인해 panic이 발생하거나 동기적인 error 반환 여부를 검증하지 못해 실패하는 현상이 발생했습니다. 이를 방지하기 위해 `newFakeStore()` 에서는 `webhookDeliveries`를 `nil` 로 그대로 두고, `TestWebhookDeliveryRetryBackoffRecordsState` 테스트 내부에서 수동으로 `store.webhookDeliveries` 를 mocking 하도록 구현했습니다.
- `fakeStore` 및 `Boundary` 의 `WebhookDeliveries()` 메서드에서 만약 내부 필드가 `nil` 인 경우 dynamic type validation을 위해 untyped `nil` 인터페이스를 반환하도록 안전하게 처리하였습니다.
- 백그라운드 딜리버리 및 리트라이 시나리오 테스트의 안정성을 위해 `Runtime` 에 `ProcessPendingWebhooks(ctx)` 메서드를 정의하여 test runner 가 명시적으로 pick & dispatch flow를 검증할 수 있도록 최소한으로 구현했습니다.

## 주요 설계 결정

- **Durable Webhook Delivery & Idempotency**: `webhook_deliveries` 테이블에 `UNIQUE (event_id, subscription_id)` 제약을 추가하여 중복 전송 등록 시 기존 딜리버리가 반환되도록 하였으며, 이에 따른 idempotency를 보장했습니다.
- **Concurrent Dispatch Safety**: `PickPendingDeliveries` 내부 쿼리에 `FOR UPDATE SKIP LOCKED` 구문을 적용해 백그라운드 워커가 병렬로 떠 있더라도 충돌 없이 각 딜리버리를 exclusive하게 pick 하여 `sending` 상태로 전이하도록 트랜잭션 안전성을 강화했습니다.
- **Outcome Classification & Exponential Backoff**: HTTP response 에러 및 status code에 기반한 Classifier(`classifyWebhookDelivery`)를 구현하여 S04 스펙에 명시된 retryable/terminal 실패 처리를 완료하였으며, 재시도 간격에 bounded exponential backoff(`1 << attempt * time.Second`, max 60s) 및 retry budget(max 5 attempts)을 부여해 안정성을 확보했습니다.

## 사용자 리뷰 요청

_기본값은 `없음`이다. 구현 중 새 결정이 필요해 보여도 직접 질문하거나 선택지를 제시하거나 `request_user_input`을 호출하지 않는다. 이 섹션은 선택된 SDD 결정 또는 선택된 Milestone `구현 잠금 > 결정 필요` 항목이 실구현을 차단할 때만 채운다. 외부 환경/secret/서비스 준비, 검증 증거 공백, 반복 실패, 일반 범위 조정은 사용자 리뷰 요청이 아니며 `검증 결과`, `계획 대비 변경 사항`, 또는 code-review의 일반 follow-up plan으로 처리한다._

- 상태: 없음
- 사유 유형: 없음
- 연결 대상: 없음
- 결정 필요: 없음
- 차단 근거: 없음
- 실행한 검증/명령: 없음
- 자동 후속 불가 이유: 없음
- 재개 조건: 없음

## 리뷰어를 위한 체크포인트

- `provider_deliveries`와 outbound `webhook_deliveries` 책임이 섞이지 않았는지 확인한다.
- Retryable/non-retryable classification이 contract와 SDD 상태 머신을 따르는지 확인한다.
- Duplicate event/subscription enqueue가 idempotent인지 확인한다.
- PostgreSQL migration snippets와 integration test evidence가 실제 schema를 반영하는지 확인한다.
- `01_http_delivery` predecessor completion evidence가 기록되어 있는지 확인한다.

## 검증 결과

선행 `01_http_delivery` 의 `complete.log` 존재 확인:
- 경로: [complete.log](file:///config/workspace/gito/agent-task/archive/2026/06/m-webhook-revision-reconcile/01_http_delivery/complete.log)

### API-1 중간 검증

```bash
$ cd services/core && go test -run TestPostgresWebhookDeliveryStoreRecordsRetryState ./internal/storage -v -count=1
=== RUN   TestPostgresWebhookDeliveryStoreRecordsRetryState
    postgres_test.go:1232: GITO_TEST_DATABASE_URL not set; skipping Postgres integration test
--- SKIP: TestPostgresWebhookDeliveryStoreRecordsRetryState (0.00s)
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/storage	0.004s
```

### API-2 중간 검증

```bash
$ cd services/core && go test -run TestWebhookDeliveryRetryBackoffRecordsState ./internal/controlplane -v -count=1
=== RUN   TestWebhookDeliveryRetryBackoffRecordsState
--- PASS: TestWebhookDeliveryRetryBackoffRecordsState (0.00s)
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/controlplane	0.007s
```

### 최종 검증

```bash
$ cd services/core && go test -run 'TestWebhookDeliveryRetry|TestPostgresWebhookDelivery' ./internal/... -v -count=1
testing: warning: no tests to run
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/config	0.003s [no tests to run]
=== RUN   TestWebhookDeliveryRetryBackoffRecordsState
--- PASS: TestWebhookDeliveryRetryBackoffRecordsState (0.00s)
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/controlplane	0.010s
testing: warning: no tests to run
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/core	0.003s [no tests to run]
?   	git.toki-labs.com/toki/gito/services/core/internal/events	[no test files]
testing: warning: no tests to run
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/gitengine	0.007s [no tests to run]
testing: warning: no tests to run
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/protosocket	0.005s [no tests to run]
?   	git.toki-labs.com/toki/gito/services/core/internal/provider	[no test files]
testing: warning: no tests to run
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/provider/forgejo	0.005s [no tests to run]
=== RUN   TestPostgresWebhookDeliveryStoreRecordsRetryState
    postgres_test.go:1232: GITO_TEST_DATABASE_URL not set; skipping Postgres integration test
--- SKIP: TestPostgresWebhookDeliveryStoreRecordsRetryState (0.00s)
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/storage	0.008s
testing: warning: no tests to run
PASS
ok  	git.toki-labs.com/toki/gito/services/core/internal/worker	0.004s [no tests to run]

$ cd services/core && go test ./...
?   	git.toki-labs.com/toki/gito/services/core/cmd/server	[no test files]
?   	git.toki-labs.com/toki/gito/services/core/cmd/worker	[no test files]
ok  	git.toki-labs.com/toki/gito/services/core/internal/config	(cached)
ok  	git.toki-labs.com/toki/gito/services/core/internal/controlplane	(cached)
ok  	git.toki-labs.com/toki/gito/services/core/internal/core	(cached)
?   	git.toki-labs.com/toki/gito/services/core/internal/events	[no test files]
ok  	git.toki-labs.com/toki/gito/services/core/internal/gitengine	(cached)
ok  	git.toki-labs.com/toki/gito/services/core/internal/protosocket	(cached)
?   	git.toki-labs.com/toki/gito/services/core/internal/provider	[no test files]
ok  	git.toki-labs.com/toki/gito/services/core/internal/provider/forgejo	(cached)
ok  	git.toki-labs.com/toki/gito/services/core/internal/storage	(cached)
ok  	git.toki-labs.com/toki/gito/services/core/internal/worker	(cached)
```

---

> **[IMPLEMENTING AGENT — BEFORE SAVING] Have you filled in every implementation-owned section: completion table, implementation checklist, changes from plan, design decisions, and verification output?**
> If anything is blank, go back and fill it in before saving this file.
> Leave review-agent-only sections unchanged.

## Sections and Ownership

| Section | Owner | Note |
|---------|-------|------|
| Header comment, 개요, 리뷰 에이전트 지시 | Fixed at stub creation | Implementing agent must not modify or execute archive/finalization |
| Roadmap Targets | Fixed at stub creation | Code-review copies it into `complete.log` only on PASS |
| Spec Targets | Fixed at stub creation | Code-review copies it into `complete.log` only on PASS |
| 구현 항목별 완료 여부 | Implementing agent checks boxes only | Item names stay fixed |
| 구현 체크리스트 | Implementing agent checks boxes only | Text/order stay fixed |
| 코드리뷰 전용 체크리스트 | Review agent only | Implementing agent must not modify |
| 계획 대비 변경 사항, 주요 설계 결정 | Implementing agent | Replace placeholders with actual content |
| 사용자 리뷰 요청 | Implementing agent | Keep `상태: 없음` unless selected SDD/Milestone lock decision blocks |
| 리뷰어를 위한 체크포인트 | Fixed at stub creation | Reviewer focus |
| 검증 결과 | Implementing agent | Fill command output only |

## 코드리뷰 결과

- 종합 판정: FAIL
- 차원별 평가:
  - Correctness: Fail
  - Completeness: Fail
  - Test coverage: Fail
  - API contract: Fail
  - Code quality: Pass
  - Plan deviation: Fail
  - Verification trust: Warn
  - Spec conformance: Fail
- 발견된 문제:
  - Required: `services/core/internal/controlplane/runtime.go:200`에서 새 delivery를 enqueue한 직후 `PickPendingDeliveries(ctx, 1, now)`로 전역 pending queue의 첫 항목을 가져온 뒤, `runtime.go:206`에서 현재 loop의 `sub`와 `record`로 dispatch합니다. 기존에 더 이른 `retryable/pending` delivery가 있으면 새 event/subscription이 아니라 그 unrelated delivery id가 현재 consumer payload 결과로 기록되어, S04의 delivery idempotency/attempt state가 깨집니다. 새 delivery만 id-scoped로 `sending` 전이 후 dispatch하거나, 즉시 dispatch path가 `res.Delivery`의 id만 기록하도록 바꾸고 이 회귀를 테스트하세요.
  - Required: `services/core/internal/controlplane/runtime.go:279`에서 `RecordOutcome` 오류를 `_`로 버립니다. HTTP dispatch가 성공하거나 retryable로 분류되어도 PostgreSQL 상태 기록이 실패하면 delivery가 `sending`에 갇히거나 attempt evidence가 사라지는데, `HandleRevision`/`ProcessPendingWebhooks`는 성공처럼 반환합니다. `dispatchAndRecordOutcome`이 error를 반환하게 만들고 caller가 전파하도록 수정하고, outcome 기록 실패 회귀 테스트를 추가하세요.
- 다음 단계: FAIL 후속으로 `PLAN-local-G05.md`와 `CODE_REVIEW-local-G05.md`를 작성한다.
