1. 죽은 주장
"악조건 증강으로 야간 +418% 회복" — 실야간에서 사망
| 검출기 (FWW 도메인 학습) | 합성 테스트 | 합성 야간 | 실주간불 (held-out) | 실야간불 (held-out) |
|---|---|---|---|---|
| baseline | 0.263 | 0.047 | 0.012 | 0.0001 |
| + 악조건 합성증강 | 0.256 | 0.244 | 0.015 | 0.0010 |
판정: 기각. "+418% 회복"은 학습·시험이 같은 합성 열화 연산자를 공유한 순환검증 안에서만 성립했다. 실제 야간 화재(held-out 3클립)에서는 baseline도 증강 모델도 사실상 0. 근본 원인은 야간 이전에 교차 도메인 전이 붕괴(실주간조차 0.012)다. 이 수치는 어떤 제안서·세일즈에도 사용하지 않는다.
단, 연기(smoke)는 예외적으로 교차 전이됨: 실주간연기 mAP50 0.516 (화염과 분리 취급). 악조건 증강은 연기 전이를 오히려 해침(0.516→0.229).
2. 살아남은 주장 — 그리고 더 정직한 대체 수치
도메인 적응 학습이면, 실제 야간 화재도 잡힌다
| 시나리오 | 실야간불 mAP50 | 비고 |
|---|---|---|
| 타 도메인 학습(전이 기대) | 0.0001 | 붕괴 — "범용 단일 검출기"는 허구 |
| 타 도메인 + 합성 악조건증강 | 0.0010 | 합성증강은 도메인 갭을 못 메움 |
| 해당 도메인 학습 (clip-disjoint 검증) | 0.840 | 야간 클립 1개 완전 제외 학습 → 그 클립으로 시험 |
판정: 채택. 실제 야간 화재 검출은 현장 도메인 데이터로 적응 학습하면 가능하다(mAP50 0.84). 이것이 우리가 파는 것과 정확히 일치한다 — 범용 모델 판매가 아니라 현장별 적응 + 실측 검증 서비스. 한계 명시: held-out 야간 1클립(56프레임)·1시드 — 파일럿에서 다클립 재검증 필요.
3. 오탐 게이트 — 표본 10배로 재검증
VLM 오탐게이트: −92% 주장이 N=305에서 재현됐다
| 측정 | 기존 (표본 부족) | 재검증 |
|---|---|---|
| 오탐 기각률 (정상영상 오탐 크롭) | 27/29 (93%) | 279/305 = 91.5% (3시드 union, conf 0.05) |
| 실화재 유지율 — 주간 (held-out 도메인) | — | 75/75 = 100% |
| 실연기 유지율 — 주간 (held-out 도메인) | — | 80/80 = 100% |
| 실화재 유지율 — 야간 (held-out 도메인) | — | 74/85 = 87.1% |
판정: 조건부 채택. 오탐 기각 91.5%는 10배 표본에서 재현 — 세일즈 사용 가능(단 "훈련장 정상영상 기준" 명시). 게이트가 처음 보는 도메인의 주간 실화재·실연기는 100% 유지. 비용도 공개한다: 야간 화염의 12.9%를 "orange light/sunset"으로 오인 기각 — 야간 운용 시 게이트 임계·프롬프트 조정이 필요한 지점. 잔존 오탐 26건은 전부 소방호스 물분사·연무를 연기로 판정한 사례.
4. 후속 개선 — 야간 오인의 해결 (구조판별 프롬프트)
"orange light 닮았다고 기각하지 말고, 화염의 구조를 보라"
3장의 야간 비용(12.9% 오인 기각)을 잡기 위해, 판별 기준을 명시한 구조판별 프롬프트(화염=밝은 코어+불규칙 flickering 경계+주변 조명 vs 램프=정형·대칭 halo·정상광)를 설계하고 동일 4개 크롭셋 545개 전체에서 재측정했다.
| 구성 | 오탐 기각 (N=305) | 주간불 유지 | 야간불 유지 | 연기 유지 |
|---|---|---|---|---|
| 기존 프롬프트 | 91.5% | 100% | 87.1% | 100% |
| 구조판별 프롬프트 | 96.1% | 100% | 100% | 100% |
판정: 전역 승격. 구조판별 기준이 모든 지표를 동시에 개선했다 — 야간 오인 11건 전부 구제(손실 0) + 오탐 기각도 91.5→96.1%(물분사 오인 절반 감소). 트레이드오프 없는 순수 개선이라 야간 전용 라우팅 없이 기본 프롬프트로 채택. 정직 단서: 프롬프트 선택을 동일 평가셋에서 했으므로(선택 편향 가능) 신규 held-out·파일럿에서 재확증을 전제로 한다.
5. 재검증 후 세일즈 사용 가능 수치 (확정)
| 주장 | 수치 | 상태 |
|---|---|---|
| 화재 오탐 게이트 기각률 (구조판별) | 96.1% (N=305) | ✅ 사용 가능 (재확증 전제) |
| 게이트 실화재·연기 유지 — 주간+야간 전체 | 100% (240/240) | ✅ 사용 가능 (재확증 전제) |
| 실야간 화재 — 도메인 적응 학습 | mAP50 0.84 (clip-disjoint) | ✅ 표본 명시 조건부 |
| 연기 교차도메인 전이 | 0.52 | ✅ 사용 가능 |
| "야간 +418% 회복" | — | ❌ 영구 폐기 (실야간 미전이) |
| 절대 mAP 단독 광고 | — | ❌ 금지 (기존 원칙 유지) |
측정: AI-Hub 058 실촬영(주간불 150·야간불 169·주간연기 160, clip-disjoint), FWW 학습 6체크포인트(3시드×2armo), 게이트=Cosmos-Reason2 FIRE/SMOKE/FALSE. 재검증 스크립트·JSON은 저장소에 보존.
immersivecast · measure-first — 자기 수치를 스스로 기각할 수 있어야 정직성이 자산이 된다