1. 결과 — 두 라운드 모두 베이스라인 압승
| 지표 | 베이스라인(첫토큰 p) | 체크리스트 v1(5기준) | 체크리스트 v2(재설계·신선셋) |
|---|---|---|---|
| AUROC (TP vs FP) | 0.979 / 0.958 | 0.609 | 0.388 (무작위 이하) |
| FP 기각 @TP유지 90% | 0.945 / 0.863 | 0.220 | 0.001 |
| 표본 | 1차: TP 400/FP 800 · 2차(신선셋, 설계누수 방지): TP 400/FP 800 · 파싱성공 ≥99.9% | ||
왜 체크리스트가 지는가 — 기준별 진단(감사가능성이 준 통찰): v1에서 C1(선형)·C4(표면내)는 TP/FP 모두 ~100% 발화(무판별), C5(부정형 "~로 설명 불가")는 양쪽 0% = VLM 부정문 실패, 유일 판별은 C2(불규칙 경로, +0.22). 진단을 반영한 v2(긍정형 단일선택 귀속 BEST)는 더 나빠짐 — BEST가 TP 100%·FP 99.9% 모두 "CRACK". 검출기가 낸 FP 크롭은 크랙을 닮은 텍스처라, 분해된 문항은 문자 그대로 답해버린다(선형이냐? → 그렇다).
2. 핵심 통찰 — 게이트의 힘은 "대조 프레이밍"
베이스라인 프롬프트는 단일 판단 안에서 대안을 강제로 저울질시킨다: "진짜 구조적 CRACK인가, 아니면 이음부/그림자/전선/얼룩/백태인가?" 이 대조(contrastive) 프레이밍이 첫토큰 확률에 판별 신호를 싣는다. 체크리스트는 판단을 기준별로 분해하면서 그 대조를 파괴했다 — 각 문항은 참이지만(선형 맞음, 표면 맞음) 종합 판별은 사라진다. 제품 함의: 현 게이트 설계(대조 프레이밍 + 첫토큰 soft 점수 + 한국어 자유문 근거)를 유지하고, 체크리스트는 점수 기구가 아니라 실패 진단 도구(어떤 기준이 무판별인지, 부정문이 뒤집히는지)로만 쓴다.
운영점 캐비엇(2026-07-14 추가): 이 A/B의 크롭은 thr 0.5·min_area 30으로 뽑았고, 이는 제품 출하 운영점(thr 0.60·배포규칙)과 다르다. 또 TP는 첫 겹침 CC·FP는 최대면적 CC로 비대칭 표집했다. 따라서 절대 수치(AUROC 0.968, FP기각 0.945)는 제품 FP 모집단을 기술하지 않는다 — 재측정 대상. 단 체크리스트 기각이라는 상대 결론은 두 프롬프트가 같은 크롭을 보므로 공통모드로 상쇄돼 유효하다.
정직 한계: ① Cosmos-Reason2-8B 단일 백본 결과 — 다른 VLM에선 다를 수 있음(VG-백본 선정은 별도 항목). ② BCL 크롭 분포 한정(신선셋에서 v1의 C2 판별력이 사라진 것처럼 기준 발화율은 크롭 풀에 민감). ③ v2는 v1 진단을 보고 설계했으므로 신선 크롭에서 평가(설계누수 방지)했고, 그 신선셋에서 베이스라인도 함께 재측정(0.958)해 공정 비교.
immersivecast · measure-first · 게이트 판정 설계 A/B (VG-체크리스트 기각) · 2026-07-13