정직성 벤치마크 — 구조물 결함검출 정확도의 진실

1. 업계가 광고하는 것

거의 모든 벤더가 90% 후반을 말합니다

업체 (공개 자료)	광고 수치
국내 A사 (교량 5결함 AI)	균열 96.3% · 박리 95.4% · 백태 95.0% · 철근 97.3%	광고
국내 A사 (폭 정밀)	sub-1mm	광고
해외 B사 (교량 균열)	폭 오차 < 0.05mm	광고
국내 C사 (다중시설 검출)	~90% · 0.1mm	광고

숫자만 보면 문제는 이미 풀린 것처럼 보입니다. 정말 그럴까요?

2. 교차 도메인의 현실

연구 최고 성능도 64~66%가 천장입니다

광고 수치

~97%

단일 도메인·유리한 조건에서 벤더가 광고하는 값

교차 도메인 SOTA

64~66%

OmniCrack30k(CVPR 2024) — 아스팔트·콘크리트·조적·강재 20+ 데이터셋을 가로지른 최고 모델(nnU-Net) 중심선 IoU. 이론적 최적 앙상블 상한도 66%.

왜 이 간극이 생기나? 광고 수치는 대개 한 종류의 표면·한 촬영 조건에서, 관대한 지표(이미지 단위 분류·느슨한 IoU)로 측정됩니다. 실제 현장은 시설마다·조도마다·표면마다 다릅니다. 여러 도메인을 가로지르는 엄격한 지표로 재면, 최고 연구모델조차 3분의 1을 놓칩니다. 광고된 97%는 당신의 현장에서 재현되지 않습니다.

우리도 이 물리 법칙 밖에 있지 않습니다. 교차 시설 전이는 사실상 0에 수렴(교량→터널 ≈0)한다는 것을 우리 실측으로 확인했습니다. 그래서 우리는 "범용 단일 검출기"를 팔지 않고, 시설별로 재학습합니다 — 그리고 그 수치를 부풀리지 않습니다.

3. 우리가 하는 방식

부풀리지 않고, 측정하고, 공개하고, 계약합니다

우리는 단일 정확도 숫자를 광고하지 않습니다. 대신 당신 데이터로 측정 가능한 트레이드오프를 계약합니다. 예: 우리의 VLM 2차 오탐게이트를 교량 시험셋(GT 100장)에서 정직하게 측정한 결과 —

지표	게이트 전	게이트 후	효과
오탐(FP) 인스턴스	140	72	−48%
정밀도(precision)	0.60	0.68	+8%p
진짜 균열 보존(인스턴스)	100%	72%	−28%
결함 이미지 검출(이미지 recall)	100%	85%	−15%p

이게 정직한 수치입니다. 우리 오탐게이트는 오탐을 절반 가까이 줄이지만(−48%), 공짜가 아닙니다 — 진짜 균열의 일부도 함께 걸러집니다(인스턴스 보존 72%, 이미지 recall 85%). 경쟁사의 부풀린 97%가 숨기는 게 바로 이 비용입니다. 우리는 이 트레이드오프를 공개하고, 당신의 오탐 민감도 vs 누락 민감도에 맞춰 운영점을 계약합니다.

되는 것: 선명한 균열(교량·하수관) 경계·연결성 품질에서 강함. 안 되는 것: 터널 hairline은 촬영 한계로 낮음 — 우리는 이것도 숨기지 않고 명시합니다.

4. 구매자에게 왜 중요한가

부풀린 수치는 현장에서 배신합니다

90~97%를 믿고 도입하면, 당신의 시설·조도에서 성능이 무너질 때 책임은 당신에게 돌아옵니다. 우리는 반대로 갑니다:

	업계 관행	우리
정확도 제시	단일 광고 수치	당신 데이터 실측 SLA
한계 공개	숨김	되는것·안되는것 명시
검증	도입 후	2주 PoC 사전 실측
범용성 주장	"어디서나 97%"	시설별 재학습·정직

당신의 점검 이미지 200~300장을 주십시오. 2주 안에 당신의 현장에서 우리 수치를 실측으로 보여드립니다. 부풀린 데모가 아니라, 계약 가능한 정직한 SLA로.

출처: OmniCrack30k (CVPR 2024 VAND Workshop, nnU-Net clIoU@4px 64%) · 벤더 광고 수치는 각사 공개 자료(국내 교량 5결함 AI 94.98~97.32%, 해외 <0.05mm, 국내 다중시설 ~90%) · 우리 실측: dense-seg 교량 시험셋 GT 100장, VLM 게이트 eval_gate.py. 교차전이·트레이드오프 실측은 내부 measure-first 기록 기반.

immersivecast · measure-first 구조물 결함 점검 · 정직성이 우리의 차별입니다