시각화 품질 평가 루브릭
AIP가 생성한 프레젠테이션의 시각화 품질을 VLM-as-judge로 평가하는 기준.
판정에 쓰이는 실제 시스템 프롬프트는 시각화 품질 판정 프롬프트 — 이 루브릭과 항상 동기화한다.
참고 문헌: SlideAudit(Zhang et al., UW 2025), PPTEval, DeepSlides
설계 원칙
- 객관 결함과 심미 판단을 섞지 않는다 — "겹침·잘림"은 사실 판정, "세련됨"은 정도 판단.
한 척도에 섞으면 VLM 신뢰도와 점수 해석성이 모두 떨어진다. → 결함(L1)과 심미(L2·L3)를 층으로 분리
- 점수가 액션으로 연결되어야 한다 — "위계 2.8점"은 티켓이 되지 않지만 "텍스트 넘침 발생률 12%"는
담당 모듈로 바로 라우팅된다. → L1은 유형별 발생률로 집계해 제품 모듈에 라우팅
- 내용은 평가하지 않는다 — 주장·사실관계·문법은 범위 밖. 시각화만 본다
- 심각도 구분 없음 — 치명/경미 대신 결함 유형 자체를 세분화해 "무슨 문제인지"만으로 액션이
갈리게 한다 (넘침과 겹침은 원인·해결책이 다르므로 유형 구분이 심각도보다 실질적)
- 평균의 함정을 피한다 — 평균 점수는 최악 덱을 가린다. 이탈을 유발하는 저품질 덱의
비율을 헤드라인 지표로 삼는다
3층 구조
| 층 | 무엇을 | 단위 | 방식 | 모델 |
|---|
| L1 결함 탐지 | 10종 결함 유/무 | 슬라이드 | 이진 판정 + 근거(evidence) 필수 | Gemini 3.6 Flash |
| L2 슬라이드 심미 | S1 매력 · S2 가독성·흐름 · S3 정렬 | 슬라이드 | 1~5점 앵커 | Gemini 3.6 Flash |
| L3 덱 심미 | D1 일관성 · D2 다양성 | 덱 | 1~5점 앵커 (slide_check 선행) | Claude Sonnet 5 |
- L1: VLM이 잘하는 사실 판정. 발생률로 집계해 결함 유형별로 제품 모듈에 라우팅 → 진단·티켓용
- L2·L3: 결함 유무가 아닌 완성도·인상의 정도(degree). 절대점수 추이 → 모니터링·보고용
- L2를 슬라이드 단위로 두는 이유: 매력·가독성·정렬은 슬라이드마다 다르게 나타나므로 덱 단위로
뭉뚱그리면 정보가 손실된다. 반대로 일관성·다양성(L3)은 정의상 슬라이드 간 비교가 핵심이라 덱 단위
L1 — 결함 탐지 (10종, 슬라이드 단위)
팀 내부 육안 리뷰에서 실제 관찰된 결함 레이블 분포를 근거로 압축한 유형 체계다
(텍스트 색상 대비·텍스트 위치·요소 색상·텍스트 넘침·여백 5개 계열이 관찰의 87%).
SlideAudit 22종 전체를 묻는 대신 실측 실패 모드에 집중해 VLM 오탐을 줄인다.
수정 담당 모듈이 같으면 하나의 유형으로 합친다.
결함 유형
| # | 결함 | 정의 |
|---|
| text-1 | 텍스트 넘침·줄바꿈 | 텍스트 양이 많아 박스·프레임·슬라이드 경계를 벗어나거나 잘림, 또는 그 과정에서 생긴 어색한 줄바꿈·고아 글자(마지막 한두 글자만 다음 줄로 떨어짐, 단어 중간이 끊김). 줄바꿈 문제는 정렬이 아니라 넘침과 같은 뿌리 |
| text-2 | 텍스트 겹침 (텍스트끼리) | 서로 다른 텍스트(문단·라벨·텍스트박스)끼리 겹쳐 읽기 어려움. 텍스트가 비텍스트 요소와 겹치면 layout-2 |
| text-3 | 텍스트·요소 정렬 불량 | 텍스트·요소가 프레임 대비 어긋난 위치에 있거나 나란한 요소 간 정렬(좌/중/우, 상/하)이 맞지 않음. 다행/반복 텍스트 블록(리스트·표·라벨+설명)의 행별 시작 위치·세로 간격 불일치 포함 |
| text-4 | 텍스트 대치 오류 | 대치·생성 실패의 흔적 — ① 더미·플레이스홀더 잔존(본문 안내문, 내용과 어긋난 템플릿 주석) ② 의도치 않은 외국어 플레이스홀더 ③ 깨진 문자·폰트 렌더 오류 |
| color-1 | 텍스트 색상 대비 부족 | 배경-텍스트 대비 부족으로 실제 판독이 어려움 (배경색≈텍스트색, 유채색 배경 위 저대비 포함) |
| color-2 | 요소 색상 부조화 | 요소 간 색 조합이 어색하거나 색상 위계가 무너짐 (판독은 가능). 서로 다른 요소가 무의미하게 전부 동일 색으로 대치돼 위계·구분이 소실되는 경우 포함 |
| layout-1 | 여백·공간 불균형 | 과도한 빈 공간, 쏠림, 나란한 요소 간 간격 불균등 |
| layout-2 | 요소 겹침·가림 | 텍스트끼리가 아닌 모든 겹침 — 텍스트↔비텍스트 요소(이미지·도형·아이콘), 요소↔요소가 겹쳐 내용·형태를 알아보기 어려움 |
| image-1 | 이미지 프레임 부적합 | 이미지가 프레임과 안 맞음 — 비율 왜곡, 주요 피사체가 잘리는 크롭, 과소/과대 |
| image-2 | 이미지 미대치·무관 | 빈 이미지 영역, 깨진 이미지, placeholder 이미지 잔존, 내용과 명백히 무관한 이미지 |
분류 규칙
- 넘침 vs 겹침: 넘침·어색한 줄바꿈 자체는 text-1. 무언가 겹쳐 보이면 "무엇끼리 겹치나"로만
분류한다 — 둘 다 텍스트면 text-2, 하나라도 비텍스트 요소가 끼면 layout-2. 넘침이 원인인지는
분류에 영향을 주지 않는다 (같은 슬라이드에서 text-1 + text-2/layout-2 동시 발생 가능)
- 줄바꿈 vs 정렬: 줄바꿈·고아 글자 자체는 text-1, 그 결과로 생긴 행 시작선·간격의 어긋남은 text-3
- 색 문제의 3층 분리: 판독 곤란은 color-1, 색 사용 실패(부조화·동일색 대치)는 color-2,
"색 과다·검정 과다로 요란/피로" 같은 전반 인상은 L1이 아니라 L2 S1(매력)이 흡수
- 정상이라 판정하지 않는 것: 표지·헤더·푸터의 연락처/기관 정보 플레이스홀더(발표 전 채우는
정상 템플릿 요소) / 읽히는 회색 보조·캡션(의도된 de-emphasis 위계 표현) / 수식·LaTeX·코드
노출(사용자 원본 콘텐츠 — 내용 충실도 문제) / 의도된 레이어링·비대칭 레이아웃·미니멀 여백
제외한 유형
시각 위계 부재·텍스트 과다·폰트 크기·행간자간·색 과다·저품질 이미지·스타일 비일관 등은
① 실측에서 거의 관찰되지 않았고 ② 유/무보다 정도(degree)의 문제라 L2·L3 축이 흡수한다.
스팟체크에서 새 유형이 누적되면 다음 버전에서 승격한다.
결함 → 제품 모듈 라우팅
| 결함 | 담당 모듈 (현재 티켓) |
|---|
| text-1, text-2 | 텍스트 대치·생성 가드 (표는 오버플로우 미처리 정책 — 78051 참고) |
| text-3, layout-1, layout-2 | 컴포넌트 검색·선택 + 엔진 배치 (바디 검색 고도화 77579, Visual Selector) |
| text-4 | 엔진 대치 파이프라인 · 폰트 렌더링 (#24) |
| color-1, color-2 | 색상대치 모듈 (78026, 강수홍) |
| image-1 | 이미지 대치·프레임 매칭 |
| image-2 | 이미지 검색 교체 (77546) · 이미지 미대치 (29536, 오현석) |
L2 — 슬라이드 심미 (3축 × 1~5점)
슬라이드마다 독립 호출로 채점한다 (덱 전체를 한 호출에 묶으면 슬라이드별 점수가 뭉개지는 현상이
실측으로 확인됨). 결함 유무가 아니라 전체 인상과 정도를 본다 — L1에서 잡은 결함을 여기서
중복 감점하지 않는다.
S1. 시각적 매력 (Visual Appeal)
색채 사용의 균형 포함 — 검정·고대비 과다로 무겁고 피로하거나, 색이 너무 많아 요란하거나,
요소가 죄다 같은 색이라 단조로우면 매력이 낮다.
| 점수 | 기준 |
|---|
| 1 | 디자인이라 부르기 어려운 수준 — 기본값 나열로 보임 |
| 2 | 무채색·기본 도형 위주로 단조롭고 밋밋함 / 또는 색·대비 과다로 무겁고 피로함 |
| 3 | 색·보조 요소는 있으나 어디서 본 듯한 평범한 인상 |
| 4 | 정돈되고 매력적 — 그대로 발표해도 부끄럽지 않음 |
| 5 | 주제 톤과 어울리는 세련된 디자인 — 사람이 공들여 만든 것으로 보임 |
S2. 가독성·시각 흐름 (Readability & Visual Flow)
이 슬라이드 한 장이 한눈에 읽히는가 — 핵심이 먼저 보이고(위계), 시선 이동이 자연스럽고(흐름),
텍스트가 부담 없이 읽히는가(가독). 물리적 판독 실패(대비 부족·넘침·깨짐)는 L1 소관.
| 점수 | 기준 |
|---|
| 1 | 어디를 먼저 봐야 할지 알 수 없고 텍스트가 부담스러워 읽기를 포기하게 됨 |
| 2 | 읽을 수는 있으나 시선이 방황 — 위계·강조가 없어 훑어서는 요점이 안 잡힘 |
| 3 | 제목→본문의 기본 흐름은 있으나 본문 내 우선순위가 안 보이거나 다소 과밀함 |
| 4 | 핵심이 먼저 눈에 들어오고 시선 이동이 자연스러움 — 한눈에 스캔 가능 |
| 5 | 위계·그룹핑·여백이 시선 경로를 설계함 — 슬라이드만 훑어도 메시지가 전달됨 |
S3. 텍스트·요소 정렬 (Alignment)
슬라이드 전체에 걸친 정렬의 완성도. L1 text-3(명백히 깨진 정렬 1건, 이진)와 달리 정도 판단 —
text-3 결함이 없어도 미세한 편차가 쌓여 "각이 안 잡힌" 인상이면 점수가 낮을 수 있다.
| 점수 | 기준 |
|---|
| 1 | 요소들이 정렬 기준 없이 배치되어 산만함 — 나란한 요소들의 좌우/상하 경계가 제각각 |
| 2 | 일부 요소는 맞춰져 있으나 전반적으로 그리드감이 없음 |
| 3 | 큰 그룹(카드, 컬럼 등)은 정렬되어 있으나 세부 요소(아이콘, 캡션, 여백)가 미세하게 어긋남 |
| 4 | 대부분의 요소가 일관된 그리드·여백 기준으로 정렬됨 — 사소한 편차만 있음 |
| 5 | 모든 요소가 정확한 그리드 위에 정렬되어 정돈된 인상 — 여백 간격까지 규칙적 |
L3 — 덱 심미 (2축 × 1~5점)
덱 전체(슬라이드 순서 나열 콘택트 시트)를 1회 호출로 판정. 슬라이드 간 비교가 핵심이라
덱 단위여야만 하는 두 축 — 서로 긴장 관계인 쌍이므로 리포트에서 함께 본다.
점수 전에 slide_check(슬라이드별 페이지 표시·액센트 색·레이아웃 유형 사실 기록)를 강제해
멀티이미지 호출에서 세부 불일치를 놓치는 문제를 방지한다.
D1. 덱 일관성 (Deck Consistency)
| 점수 | 기준 |
|---|
| 1 | 슬라이드 간 색·폰트·스타일 제각각 — 하나의 덱으로 안 보임 |
| 2 | 기본 테마는 유지되나 일부 슬라이드가 명확히 이질적 |
| 3 | 테마는 일관되나 디테일(여백·요소 위치·아이콘 스타일)이 흔들림 |
| 4 | 테마·디테일이 전반적으로 일관 — 사소한 편차만 있음 |
| 5 | 색·폰트·스타일에 유형(표지·목차·본문)별 규칙까지 하나의 디자인 시스템으로 통일 |
D2. 덱 다양성 (Deck Variety)
테마는 유지하면서 슬라이드마다 내용에 맞는 형식 변화가 있는가. D1과 별개 축 —
일관성이 높다고 다양성 점수를 낮추지 않는다.
| 점수 | 기준 |
|---|
| 1 | 모든 본문 슬라이드가 같은 레이아웃·불렛 나열의 반복 — 넘겨도 화면이 안 바뀌는 느낌 |
| 2 | 레이아웃 2~3종이 반복되고 내용이 달라도 형식이 같음 |
| 3 | 레이아웃 변화는 있으나 시각화 형식(도식·차트·이미지 배치)이 제한적 |
| 4 | 내용 유형에 따라 레이아웃·시각 형식이 다양하게 변함 |
| 5 | 다양하면서도 각 슬라이드 내용에 맞는 형식 — 덱에 리듬이 있어 지루하지 않음 |
산출 지표
L1·L2·L3을 단일 점수로 합산하지 않는다 (층별 의미가 다름).
- L1 점수 (100점 만점) — 슬라이드별 100점 시작, 결함 건당 −25점 균일 감점, 슬라이드 하한 0점.
덱 점수 = 전체 슬라이드 점수 평균 (페이지 수 자동 정규화). −25는 실데이터 시뮬레이션으로 선택된
값 — 바닥 포화 없이 개선 헤드룸을 확보하는 지점
- 헤드라인 지표: 저품질 덱 비율(%) — L1 점수 ≤ 65인 덱의 비율. 평균은 최악 덱을 가리므로
(평균의 함정), 이탈을 유발하는 저품질 덱의 비율 축소를 헤드라인 목표로 삼는다. 낮을수록 좋음.
보조 지표: L1 평균, 덱당 평균 결함 건수
- 진단: 결함 유형별 발생률(해당 슬라이드 비율 %) → 라우팅 표 기준 담당 모듈별 보고
- L2: 슬라이드별 점수 → 덱 평균으로 집계. 분포(최저/최고 슬라이드)도 함께 봐서
"어느 슬라이드가 흐름을 깨는지" 진단
- L3: 덱당 단일 점수, 추이 추적
- 추이: L1 점수·저품질 덱 비율 + L2 축별 평균 + L3 축별 평균, 일별
운영 정책 (VLM-as-judge)
- L1 3패스 파이프라인: ① 원판정(슬라이드 독립 호출) ② self-consistency(슬라이드별 2차 독립
재판정 후 유형 union — 순수 누락 보강) ③ crosscheck(덱 안에서 유형이 ≥2건이면 그 근거를 예시로
미탐지 슬라이드 재확인 — 덱 전체에 반복되는 결함 보강). history에는 3패스 완료 후 최종 점수만 기록
- evidence 무효 규칙:
detected: true인데 evidence가 비어 있거나 구체 위치·대상을 특정하지
않으면 미탐지로 처리
- 캘리브레이션: 스팟체크(육안 대조)를 지속 운영. 판정 이슈는 프롬프트 재정비 백로그에 수집 후
버전 업데이트에 일괄 반영
- 소급 재판정: 프롬프트/루브릭 수정 시 기존 history 데이터도 신규 기준으로 재판정해 추이를
동일 기준으로 유지한다 (taxonomy가 근본적으로 바뀌어 매핑 불가한 경우만 예외)
- 버전 관리: 이 문서와 판정 프롬프트는 항상 함께 버전을 올린다 (
rubric_ver/prompt_ver).
v1.0 (2026-08-04) = 확정 기준선 — 이전 디벨롭 과정(구 루브릭 v2.x, 구 프롬프트 v1.x)은
docs/archive/에 보존