균열 검출 데이터엔진

데이터엔진

이김

선별 > 전량, 절반 데이터

게이트

예측 적중

학습 전 CLIP만으로

오탐 방어

−42%

recall 보존

악조건 합성

구현

Isaac 고유가치

검출-인지형 선별이 전량 증강을 이긴다

실 균열 300장(부족 상황)에 합성(cut-paste)을 더한다. 전량(naive) vs 게이트 선별(curated). 게이트는 CLIP 도메인갭이 작고 다양한 합성만 고른다.

real 300 부족

0.105

+ naive 전량 2000

0.141

+ curated 선별 1000

0.146

real 2000 상한 참조

0.180

curated 0.146 > naive 0.141 — 합성 절반(1000 vs 2000)으로 더 높은 mAP50 + 최고 recall(0.205). 3-seed 일관. 기존 chair 실험(0.244 vs 0.214, 절반데이터)이 균열에 재현됐다.

선별예산 K-sweep · 세로축 확대 0.135–0.148

K=500 800장

0.142

K=1000 1300장

0.146

K=1500 1634장

0.141

전량 2000 2300장

0.141

선별예산 곡선이 K≈1000(풀의 절반)에서 정점 — 합성을 더 넣는다고 낫지 않다. 게이트 기본 예산이 최적 근처(완만하나 3-seed 일관).

게이트는 "합성이 쓸모있는지"를 학습 전에 예측한다

가장 중요한 발견. 게이트의 도메인갭 신호는 단순 선별기가 아니라 합성 소스 품질 진단기다. 두 소스에 걸었더니 판정 이유가 정반대였고, 실제 학습이 그대로 검증했다.

합성 소스	gap_mean	rel_reduction	게이트	실제 학습결과
cut-paste (실 픽셀)	0.071	+0.10	저gap · 유용	0.105 → 0.146 ✓
Isaac 절차합성	0.124	−0.012	고gap · SKIP	0.105 → 0.107 ✗

고gap Isaac 합성은 눈엔 그럴듯해도 학습에 거의 무익(0.107 ≈ real 0.105)했다. 게이트는 이를 GPU 학습 없이 CLIP 임베딩만으로 사전 예측했다. → 배포 파이프라인에서 "합성에 자원 태우기 전 자동 필터".

Hard-negative 합성으로 오탐 42% 감소

현장 균열검출 실패 1위 = 오탐(이음부·거푸집줄을 균열로 오인). Isaac이 자동라벨된 이음부(joint) confuser를 생성 → 학습에 negative로 투입. 무균열 confuser 250장에서 오탐율 측정.

−42%오탐율 (conf 0.25: 60.8% → 35.2%)

A: crack만

60.8%

B: +joint

35.2%

crack 검출 훼손 없음 — B의 crack_test mAP50 0.112 ≥ A 0.107, recall 0.170 ≥ 0.159. RFP "오탐 30~50%↓" 타깃 명중.

이음부 joint confuser — 균열처럼 보이지만 라벨 없음 — **hard-negative:** 어두운 직선 이음부. 균열과 최유사하나 **"균열 아님"**으로 라벨 — 검출기가 오탐을 학습으로 방어.

악조건 합성 — Isaac이 유일하게 이기는 판

cut-paste(실 사진)로는 만들 수 없는 조건. 촬영 어렵거나 위험한 터널 암부·젖음·역광·모션블러를 자동 픽셀라벨과 함께 대량 생성. 정상 레퍼런스 gap이 아니라 악조건 실셋으로 검증할 영역.

터널 저조도 프레임 — **저조도(터널):** 조도 급감 — 실촬영 어려운 조건을 합성으로.

브랜칭 균열 · 경도 haze — **분기 균열 + haze:** 안개·거리·각도 도메인 랜덤화.

합성 파이프라인 & 픽셀정확 자동라벨

균열을 V홈 지오메트리로 생성(평면 데칼은 반사로 실패 → 자기그림자 홈이 정답) + 실 PBR 콘크리트 텍스처. Isaac semantic segmentation이 균열 형상을 픽셀단위 자동라벨 → 사람 라벨링(극악)을 0으로.

합성 균열(좌) 과 자동라벨 오버레이(우) — 좌: 합성 렌더(사실적 콘크리트 + 어두운 균열). 우: 자동 생성 라벨(빨강)이 균열선을 정확히 추종. 미세 hairline 일부 누락은 허용 범위.

기반 작업: node52 native Isaac SimulationApp() 조기종료 버그(Blackwell torch/nccl) 근본원인 규명·가역수정 → 렌더 파이프라인 확보.

★

실데이터 검증 — AI Hub 도로터널 (공개 52.5만장)

PoC의 "프록시" 한계를 실 공공데이터로 메움. AI Hub SOC 균열(71769) 도로터널의 실 균열·이음부·그림자로 3대 주장 재검증(CIFS→YOLO-seg 변환→게이트 선별→학습). 절대 mAP는 낮음(1920×1080 hairline을 imgsz448 → 배포는 타일링 필요); 상대 비교가 논지.

실 터널 균열 원본과 자동라벨 — **실 도로터널 균열** (좌 원본 | 우 자동 라벨). 타일 이음부·그림자·케이블 공존하나 라벨은 **균열만** — (A)오탐·(B)검증 재료가 한 장에.

① 데이터엔진 — 합성이 실 터널 희소균열을 메움

real 300 부족

0.012

+ 합성(cut-paste) 선별=전량

0.035

real 2000 상한

0.066

합성이 실 터널 균열 2.8배↑ (0.012→0.035). 게이트 SKIP 예측 정확 — curated≈naive를 절반 합성으로. 데이터엔진 핵심이 실데이터에서도 성립.

② 오탐방어 — 실 이음부/그림자에서

−81%실 이음부/그림자 오탐율 (25.5% → 4.9%, conf 0.25)

균열만

25.5%

+실 negatives

4.9%

균열 recall 보존(0.097 vs 0.106). 합성 −42%보다 강함 — 실 negatives가 실 confuser에 완벽 전이.

실 터널 crack-free confuser — **실 crack-free 터널:** 이음부(철근)·그림자·백태. 균열 라벨 0 → 여기서 검출 = 오탐.

③ 악조건 강건성 — 실 이미지 degrade 통제

주간만

0.037

+악조건 증강

0.042

악조건 증강 → 악조건 강건성 +13% mAP(+8% recall). (터널 "야간"은 조명 탓 실 악조건 아님을 밝기측정으로 확인 → degrade 통제실험으로. 진짜 악조건은 드론/악천후 실촬영 필요.)

★

확장 검증 — 교량 드론 · 하수관로 · 해상도

AI Hub 3개 공개데이터로 검증 확대. 교량(드론 Mavic3, 512 네이티브), 하수관로(라벨된 이음부), 해상도(타일링). 시설별 도메인·해상도가 배포에 결정적임이 드러남.

드론 교량 균열 원본과 자동라벨 — **드론 교량 균열**(좌 원본 | 우 라벨). 백태·이음부 confuser 풍부, 512 해상도 = hairline 다운스케일 문제 없음.

① 교량 데이터엔진 — 선별이 전량을 명확히 이김 (512 해상도)

real 300

0.154

+ naive

0.196

+ curated 절반

0.219

real 2000

0.262

curated 0.219 > naive 0.196 — 절반 합성으로 전량 명확히 상회(터널은 ≈, 교량은 확실). 절대 mAP 터널의 10~17배 = 512 네이티브(다운스케일 없음) 덕. 정상 드론 FP 0.38%.

② 교차시설 전이 — 배포 핵심 발견

교량모델→터널

0.002

터널모델→교량

0.003

거의 0 — 시설간 전이 실패. 한 균열검출기가 터널↔교량을 넘나들지 못함. → 배포는 시설별 데이터/모델 필요(범용 단일모델 환상). 시설별 데이터를 빠르게 구축하는 게 곧 데이터엔진의 존재이유.

③ 오탐방어 — 라벨된 실 이음부(하수관로 139)

−84%실 이음부(Pipe-Joint) 오탐율 (30.6% → 5.0%, conf 0.25)

crack만

30.6%

+이음부 neg

5.0%

균열검출 보존(0.578→0.573). 명시 라벨된 이음부에서 재확증 — 터널 −81%와 함께 도메인 넘어 견고.

④ 해상도 레버 — 타일링은 균열형태 의존

터널 448

0.066

터널 960

0.073

고해상 whole(960) → +10% mAP, +23% recall. 단 타일링은 터널서 mAP↓(긴 연속균열 조각냄) — 짧은균열(교량)엔 유효. 교량 고mAP(0.26)는 균열 prominence. 배포=형태맞춤 전략.

★

VLM 2차 오탐저감 — Cosmos-Reason2-8B (RFP #1 수요·해자)

검출기(YOLO) 위에 VLM 맥락판정 2차. RFP 반복수요 1위("YOLO+VLM 2단 오탐저감")이자 우리 고유자산(Cosmos-Reason). 검출 후보를 crop → VLM이 "진짜 균열인가, 이음부/그림자/얼룩인가" 판정 + 설명.

100%실 confuser(이음부/그림자/얼룩) 오탐 제거 (40/40 → NOT_CRACK)

오탐 제거

100%

균열 유지

67.5%

잔여 오탐을 거의 0으로 — 약한 검출기도 2차로 배포급. recall 67.5%는 보수적+GT라벨노이즈(개선: 실검출 크롭·프롬프트·불확실 인간검토). 14s 로드, 크롭당 ~3s.

균열 crop — **→ CRACK** "거친 불규칙 가장자리·분리 — 이음부/그림자 아닌 구조 균열"

confuser crop — **→ NOT_CRACK** "직선·균일 폭 = 시공 이음부, 균열 아님"

정직한 한계 & 다음

한계 (측정으로 남긴 것)

오탐 테스트 confuser가 합성 → 동분포 이점 일부. 실 이음부·그림자셋 재검증 필요.
악조건 합성 가치는 드론/터널 실 프레임으로 검증해야(현재 프록시).
절대 mAP 낮음(얇은 균열 seg·소량) — 상대 개선이 논지.
Isaac 절차 균열은 정상조건선 무익 — cut-paste가 정답.

실 confuser 셋 확보 → 오탐방어 실검증.
드론/터널 악조건 실셋 → 악조건 합성 가치 실증 + VLM 2차 오탐저감.
게이트를 imsim verdict_pipeline에 통합(진행됨) → 범용 시설물 결함으로 확장.
균열 → 부식·박리·누수. "범용 구조물 결함 데이터엔진".