01멀티클래스 검출 — 클래스별 실성능
YOLOv8n-seg · 4클래스 · 3-seed 100ep · 학습 md_train 3050장 / held-out md_test 1110장(disjoint) · AI Hub 71769(도로터널) 실라벨
| 결함 유형 | mAP50 | 상대 (축 0.5) | 비고 |
|---|---|---|---|
| 백태·누수 efflorescence | 0.473 | 면적형 — 강함 | |
| 박리·박락 spalling | 0.450 | 면적형 — 강함 | |
| 철근노출 rebar | 0.237 | 희소(245폴리곤)치고 양호 | |
| 균열 crack | 0.055 | hairline·저해상 한계 | |
| overall | 0.304 | seeds 0.314 / 0.344 / 0.253 | |
핵심 발견(정직): 범용 확장은 면적형 결함(박리·백태 ~0.45)에서 훨씬 강하고, 균열이 제일 약하다(0.055) — 크랙 전용작업과 강조점이 정반대. 균열(0.055)은 우리 터널 크랙 전용실험(whole 448, 0.066)과 일치하며 hairline의 저해상 분할 한계가 원인. 배포 함의: 균열은 고해상/타일링·전용모델로, 면적형 결함은 범용 모델로 충분 — 결함종류별 난이도 차이를 파이프라인에 반영해야 한다.
02VLM 2차 유형판정 — Cosmos-Reason2-8B (zero-shot)
검출기와 독립적으로 md_test GT 크롭(유형별 40 + confuser 40 = 200)에 5지 판정(균열/박리/백태/철근/정상)
confuser 기각률 (NONE)
75%
결함검출 유지율
82.5%
유형정확도 (결함 4클래스)
35%
정직한 해석: VLM zero-shot은 이진 결함/정상 게이트로는 쓸만하다(결함 82.5% 인지, 이음부·그림자 75% 기각) — 이 이진 오탐방어가 W8에서 크랙 100% 기각으로 입증된 배포가치다. 그러나 미세 유형분류(박리 vs 백태 vs 철근)는 약하다(35%, chance 25% 상회). 혼동행렬에서 spalling을 CRACK로 28/40 오분류, efflorescence↔spalling 혼동. 유형분류는 더 나은 크롭·프롬프트·맥락 또는 소량 파인튜닝이 필요한 stretch goal이다. VLM 2차의 확정 가치는 유형분류가 아니라 오탐방어 게이트.
| 실제 ↓ / 판정 → | 예측 분포 |
|---|---|
| 균열 crack | CRACK 23 NONE 14 SPALLING 3 |
| 박리 spalling | CRACK 28 SPALLING 10 EFFLOR 2 |
| 백태·누수 | SPALLING 13 EFFLOR 10 ? 8 CRACK 7 NONE 2 |
| 철근 rebar | SPALLING 15 REBAR 13 CRACK 8 NONE 3 |
| confuser (이음부/그림자) | NONE 30 CRACK 4 SPALLING 4 EFFLOR 1 |
03희소클래스 데이터엔진 이득 — 핵심주장 정량검증
가장 희소한 결함(철근노출)만 nc=1로 뽑아, 실데이터 양을 바꿔가며 copy-paste 증강 + CLIP 게이트 A/B. held-out 60장 · 3-seed. "데이터엔진 가치는 희소할수록 크다"를 직접 측정.
| 실데이터 양 | real only | + copy-paste 전량 | 이득 | 게이트 |
|---|---|---|---|---|
| r30 — 극희소 30장 | 0.277 | 0.412 | +49% | SKIP |
| rall — 273장 | 0.505 | 0.545 | +8% | SKIP |
극희소(30장) 이득
+49%
충분데이터(273장) 이득
+8%
희소성 배율
~6×
세 가지가 동시 검증됨: ① 희소 결함에 실유래 copy-paste 증강이 큰 이득(+49%). ② 희소할수록 이득 폭발(30장 +49% vs 273장 +8%, 6배) — RFP 반복수요 "실데이터 부족 희소 결함"과 정확히 정합. ③ 게이트가 합성종류별로 옳은 전략 선택 — copy-paste는 실유래라 도메인갭 0.05로 균일 → 게이트가 SKIP(전량 사용) 판정, 실제 전량>선별로 적중. (Isaac 렌더는 갭 0.124·변동이 커서 반대로 SELECT(선별)이 이겼음.)
왜 중요한가: 동일 게이트가 두 합성종류(실유래 copy-paste vs 3D 렌더)에 정반대 전략을 각각 옳게 골랐다 — 이게 데이터엔진의 진짜 지능이다. 그리고 희소 결함 데이터확보는 Isaac 3D(갭 0.124)가 아니라 copy-paste+게이트(갭 0.05)가 싸고 효과적임을 재확인.
04종합 · 배포 함의
- 범용 결함 검출은 동작한다 — 특히 면적형 결함(박리·백태 mAP50 ~0.45)에서 강함. 균열 검출기 인프라(데이터엔진·VLM·UI)를 그대로 재사용해 교량·터널·건물·댐 다수 시설주로 확장 가능.
- 결함종류별 난이도가 다르다 — 균열(hairline)은 고해상/전용 처리, 면적형은 범용 모델. 단일 모델 만능이 아님.
- VLM 2차의 확정 가치는 이진 오탐방어 게이트 — 미세 유형분류는 아직 stretch goal(35%). 배포는 게이트 용도로.
- 모델은 imsim Model Registry(framework=crack_detection) 13종에 등록 — MD_YOLO4(검출), MD_VLM_TYPE(유형판정). UI: 결함검출 페이지 멀티결함 섹션.