화재 검출 — 도메인 일반화 격차 & 3D 합성의 자리

01질문과 반전

measure-first: 가정을 데이터로 깨는 것부터.

지금까지 화재 합성 사다리 — cut-paste(실패, real 미달) → 물리 v2(marginal, 불꽃 −0.03) — 는 모두 2D 합성으로는 발광·볼류메트릭 불꽃을 못 채운다고 가리켰다. 다음 후보로 AI Hub 058 "화재영상 3D 객체 데이터 생성"을 "완성된 3D 화재 시뮬"로 기대하고 받았다.

반전(정직): 058을 열어보니 라벨이 달린 「화재영상 이미지데이터」 116,938장은 3D 렌더가 아니라 실제 화재 영상이었다 — NIST 실화재 시험(그래프 오버레이), 실외 야간/주간 실화재(소방관·119), 실연기. 3D 콘텐츠(LiDAR·FBX 실내공간·객체)는 별도이고 화재 라벨이 없다. 즉 058은 합성영상이 아니라 3D 렌더를 하기 위한 씬 재료를 준 것.

따라서 "058 = 3D 합성 정답" 가정은 폐기. 대신 두 가지를 얻었다: (a) 089과 다른 제2 실화재셋 → 교차 도메인 일반화 측정, (b) 진짜 3D 화재 합성이 Isaac에서 가능함을 보여주는 실건물 3D 자산.

02058은 무엇인가 — 실화재 footage + 3D 씬 자산

라벨 존재 = 실사 116,938장 / 3D 콘텐츠 = 화재라벨 없는 씬 재료.

058 조건별 실화재 샘플 — 058 「화재영상 이미지데이터」 — 조건별 실제 화재 프레임(GT bbox: 주황=불꽃, 회색=연기). 실내 = NIST 실화재 시험, 실외 야간/주간 = 실제 현장, 연기 = 옥외 실연기. **3D 렌더가 아님.**

라벨 있는 것 (실사)

화재영상 이미지데이터 116,938장불꽃/연기 bbox실내·실외·야간·주간

라벨 없는 3D 자산 (씬 재료)

LiDAR e57 스캔FBX 실내공간(제주호텔·선한병원·이마트…)3D 객체모델

Isaac 결정 확증: 표면 결함은 cut-paste로 충분(Isaac 불필요)였지만, 화재는 발광·볼류메트릭이라 2D 합성이 부족하고 — 058이 마침 실건물을 3D 스캔한 씬을 제공한다. 진짜 3D 화재 합성 = 이 FBX 공간에 물리 불을 배치·렌더·auto-label 하는 Isaac 파이프라인. 058은 그 재료가 실존함을 증명(→ 다음 스텝).

03교차 도메인 일반화 매트릭스

각 학습셋(도메인)을 두 held-out(clip-disjoint) 테스트 모두에서 평가 · YOLOv8n · 3-seed 평균 mAP50.

089 vs 058 도메인 비교 — 089(화재감시, 옥외 주간)과 058(NIST 실내·야외 야간/주간·연기)은 같은 "화재"지만 수집 환경이 다르다 — 배포 현장에서 늘 마주치는 상황.

학습 \ 테스트	089 test	058 test
089 단독 (200장)	0.263	0.094
058 단독 (635장)	0.000	0.394
089+058 혼합 (835장)	0.266	0.398

초록 = in-domain(같은 도메인 평가). 3-seed 평균. 각 셀은 held-out clip(프레임 누수 없음).

핵심 — 양방향 전이 붕괴: 089 학습 검출기는 089 test 0.263 → 058 test 0.094로 −64%. 역방향은 더 극단적 — 058 학습 검출기는 058 test 0.394이지만 089 test에서 0.0002(불꽃 AP 0.000·연기 0.000, 3-seed 모두 ≈0) — 사실상 완전 실패. 같은 "화재"라도 수집 도메인이 다르면 검출기가 전이되지 않는다 — 단일 데이터셋 벤치마크는 배포 성능을 전혀 보장하지 않는다.

그러나 혼합 학습(089+058)은 두 도메인 모두를 풀강도로 지킨다: 089 test 0.266(089단독 0.263 유지), 058 test 0.398(058단독 0.394 유지, 089단독 대비 +30%p). 트레이드오프 없이 두 도메인을 다 얻는다 → 다양한 실데이터 혼합이 일반화의 1차 지렛대임을 확인.

04함의 — 왜 이 숫자가 사업 근거인가

단일셋 벤치마크는 배포를 과대평가한다. 089만 보면 0.27이지만 다른 현장(058)에선 0.09. RFP가 요구하는 "현장 강건성"은 교차 도메인 수치로만 증명된다 — 우리는 그 격차를 정량화하는 프로토콜을 갖췄다.
다양한 실데이터 + 도메인 랜덤화가 1차 해법. 혼합이 두 도메인을 지킴 → 데이터 다양성이 즉효. 야간·저시정 등 악조건 증강(크랙에서 검증)과 결합.
2D 합성의 천장이 명확 → 3D 합성이 다음. cut-paste·물리 v2 모두 실데이터 미달. 발광·연기 볼류메트릭은 Isaac 물리 렌더가 답이고, 058이 그 씬 자산(실건물 3D 스캔)을 이미 준다. 실계약/수요 확정 시 발동할 구체 경로.

05방법 & 정직성 노트

데이터: 089 fire_r200(200 train/120 val), 058 fire_058train(635)/fire_058test(297) — 543GB 멀티파트 아카이브에서 7z include-list로 조건별 균형 subset 추출, clip-disjoint 층화 분할(프레임 누수 0 검증).
안 한 것(정직): 진짜 3D 화재 렌더(Isaac FBX 로드→물리불→auto-label)는 아직 안 함 — 058은 그 재료가 존재함을 보였을 뿐. 절대성능이 아니라 도메인 격차·혼합 효과를 측정.
재현: aihub_fire058_to_yolo.py · fire_xdomain.py · combine_datasets.py · run_fire_xdomain.sh. 스택 일반화 전체 맥락은 화재 스택 일반화 리포트.

NeMo AI 학습 솔루션 · 이상탐지 플랫폼 · 화재 버티컬 · 2026-07-06 · brain 리포트 서버