평가 방법론
L1(결함 탐지) · L2(슬라이드 심미) · L3(덱 심미) 3층 평가 체계, 점수 산정 방식, 층별 판정 프롬프트. 원본 문서를 그대로 반영하므로 문서 갱신 시 자동 업데이트됩니다.
문서 상태: draft v2.8 — 용어 정리(Layer→L1/L2/L3, 결함 코드 풀네임화)
시각화 품질 평가 루브릭 v2 (2층형: 결함 + 심미)
관련: 시각화 품질 평가 파이프라인 플랜 · 시각화 품질 평가 루브릭 v0.1(구버전) · 참고: SlideAudit(Zhang et al., UW 2025 —
slide-audit-poc/분류 재사용), PPTEval, DeepSlides
재설계 사유 (v0.1 → v2)
v0.1은 축별 1~5점 앵커 방식이었으나 세 가지 구조적 한계가 있었다:
- 객관 결함과 심미 판단이 한 척도에 혼재 — 레이아웃 1점(겹침·잘림)은 사실 판정, 5점(리듬·의도된 여백)은 취향 판정. VLM 신뢰도와 점수 해석성 모두 저하
- 점수가 액션으로 연결되지 않음 — "위계 2.8점"은 티켓이 안 되지만 "오버플로우 발생률 12%"는 담당 모듈로 바로 라우팅됨
- 통제 생성(12 고정 주제) 전제 — 프로덕션 실유저 덱 채점에는 유저 의도를 모르는 상태의 앵커가 맞지 않음
→ L1(객관 결함 탐지, 슬라이드 단위) + L2(홈리스틱 심미, 덱 단위) 2층 구조로 분리한다. (이후 L2가 슬라이드/덱 단위로 다시 나뉘며 3층 구조로 확장됨 — 아래 각 레이어 정의 참고)
- L1: VLM이 잘하는 사실 판정. 발생률로 집계, 결함 유형별로 제품 모듈에 라우팅 → 진단·티켓용
- L2/L3: 덱 전체 인상을 소수 축으로. 절대점수 추이 → 모니터링·경영 보고용
L1 — 결함 탐지 (슬라이드 단위, 유형별 유/무 판정)
팀 내부 육안 리뷰에서 실제 관찰된 결함 레이블 39건(7월)을 근거로 압축했다. 관찰 분포: 텍스트 색상 대비 8건 · 텍스트 위치 8건 · 요소 색상 7건 · 텍스트 넘침 6건 · 여백 5건 — 5개 계열이 전체의 87%. SlideAudit 22종 전체를 묻는 대신 실측 실패 모드에 집중해 VLM 오탐을 줄인다.
통합 원칙: 수정 담당 모듈이 같으면 하나의 유형으로 합친다.
심각도(치명/경미) 구분 폐지 (v2.6). 대신 결함 유형 자체를 더 세분화해 "무슨 문제인지"만으로 액션이 갈리도록 한다 — 예컨대 넘침과 겹침은 원인·해결책이 달라 심각도보다 유형 구분이 더 실질적이다. 아래 결함 → 제품 모듈 라우팅과 헤드라인 지표(결함 프리 슬라이드 비율)는 이제 유형 단위로만 집계한다.
결함 유형 (10종)
| # | 결함 | 정의 |
|---|---|---|
| text-1 | 텍스트 넘침 | 텍스트가 자신이 속한 박스·프레임·슬라이드 경계를 벗어나거나 그로 인해 잘림 |
| text-2 | 텍스트 겹침 | 텍스트가 넘쳐서 다른 요소(이미지·도형·다른 텍스트박스)와 시각적으로 부딪히거나 그 위에 올라탐 — text-1(텍스트 넘침)의 직접적 결과로 발생하는 경우가 대부분. layout-2(요소 겹침·가림)와는 원인이 다르므로 별도 유형으로 분리(아래 layout-2 설명 참고) |
| text-3 | 텍스트 위치·정렬·줄바꿈 불량 | 텍스트가 프레임·요소 대비 어긋난 위치에 배치되거나 요소 간 정렬이 맞지 않음, 고아 글자 등 어색한 줄바꿈 |
| text-4 | 텍스트 대치 오류 | 대치 실패 흔적 — 더미·플레이스홀더 잔존, 의도치 않은 외국어 텍스트, 깨진 문자·폰트 렌더 오류(한자 깨짐 등). 수식·LaTeX 표기가 텍스트로 노출된 경우는 제외(사용자 원본 콘텐츠, 내용 충실도 문제 — 5c7c0801 캘리브레이션에서 확인) |
| color-1 | 텍스트 색상 대비 부족 | 배경-텍스트 대비 부족으로 판독 저해 (배경색=텍스트색 포함) |
| color-2 | 요소 색상 부조화 | 도형·배경 등 요소 간 색 조합이 어색하거나 색상 위계가 무너짐 (판독은 가능) |
| layout-1 | 여백·공간 불균형 | 과도한 빈 공간, 쏠림, 요소 간 간격 불균등 |
| layout-2 | 요소 겹침·가림 | 텍스트가 아닌 요소끼리 겹치거나, 텍스트가 아닌 요소(이미지·도형·아이콘)가 텍스트를 가리는 경우. 원본 컴포넌트/템플릿 디자인 자체가 이렇게 설계돼 있을 가능성은 낮아 실제 관찰 빈도는 낮은 편 — 텍스트 자체가 넘쳐서 다른 요소와 겹치는 경우는 text-2로 분류하고 여기서 제외 |
| image-1 | 이미지 프레임 부적합 | 이미지가 프레임과 안 맞음 — 비율 왜곡, 부적절한 크롭·크기 |
| image-2 | 이미지 미대치·무관 | 빈 이미지 영역, 깨진 이미지, 내용과 무관한 이미지 |
text-1/text-2 판정 순서: 먼저 텍스트가 자기 박스를 벗어났는지 본다(text-1). 벗어난 텍스트가 다른 요소와 겹쳐 보이면 text-2도 함께 판정한다(같은 슬라이드에서 text-1·text-2 동시 발생 가능). 텍스트가 박스 안에 있는데 처음부터 다른 요소와 겹쳐 보이면 text-1 없이 text-2만 해당.
제외한 SlideAudit 유형과 그 이유: 시각 위계 부재·텍스트 과다·폰트 크기·행간자간·스타일링·색 과다·저품질 이미지·스타일 비일관 등은 ① 이번 실측에서 0건이고 ② 결함(유/무)보다 정도(degree)의 문제라 L2/L3 홈리스틱 축(S1 매력, S2 가독성·시각 흐름, D1 일관성, D2 다양성)이 흡수한다. 내부 스팟 채점 시트에는 기타 자유 레이블을 두어 새 유형이 누적되면 다음 버전에서 승격한다.
결함 → 제품 모듈 라우팅
| 결함 | 담당 모듈 (현재 티켓) |
|---|---|
| text-1, text-2 | 텍스트 대치·생성 가드 (표는 오버플로우 미처리 정책 — 78051 참고) |
| text-3, layout-1, layout-2 | 컴포넌트 검색·선택 + 엔진 배치 (바디 검색 고도화 77579, Visual Selector) |
| text-4 | 엔진 대치 파이프라인 · 폰트 렌더링 (#24) |
| color-1, color-2 | 색상대치 모듈 (78026, 강수홍) |
| image-1 | 이미지 대치·프레임 매칭 |
| image-2 | 이미지 검색 교체 (77546) · 이미지 미대치 (29536, 오현석) |
L2 — 홈리스틱 심미: 슬라이드 단위 (v2.7, 3축 × 1~5점)
v2.7 재구조화: 기존 L2(덱 단위 4축)를 둘로 분리했다. H1(매력)·H2(가독성·흐름)과 신규 "텍스트·요소 정렬"은 슬라이드마다 다르게 나타나는 성질이라 덱 전체를 뭉뚱그려 채점하면 정보 손실이 크다 — 슬라이드 단위로 옮겨 L3로 재명명했다. H3(일관성)·H4(다양성)는 정의상 애초에 덱 전체를 봐야만 판단 가능(슬라이드 간 비교가 핵심)하므로 덱 단위인 채로 L3에 남는다.
호출 방식: L1과 동일하게 슬라이드마다 독립 API 호출(Gemini 3.6 Flash). 덱 전체를 한 호출에 묶어 슬라이드별 점수를 받는 방식은 이전 실측에서 점수가 거의 동일하게 뭉개지는 현상(예: 10덱 전부 flow 4점)이 확인되어 채택하지 않는다. 결함 유무가 아니라 전체 인상과 정도(degree) 를 채점 — L1에서 잡은 결함을 여기서 중복 감점하지 않는다.
S1. 시각적 매력 (Visual Appeal)
| 점수 | 기준 |
|---|---|
| 1 | 디자인이라 부르기 어려운 수준 — 기본값 나열로 보임 |
| 2 | 무채색·기본 도형 위주로 단조롭고 밋밋함 |
| 3 | 색·보조 요소는 있으나 어디서 본 듯한 평범한 인상 |
| 4 | 정돈되고 매력적 — 그대로 발표해도 부끄럽지 않음 |
| 5 | 주제 톤과 어울리는 세련된 디자인 — 사람이 공들여 만든 것으로 보임 |
S2. 가독성·시각 흐름 (Readability & Visual Flow) (NPS 텍스트 밀도 불만 23% 대응)
이 슬라이드 한 장이 한눈에 읽히는가 — 핵심이 먼저 보이고(위계), 시선 이동이 자연스럽고(흐름), 텍스트가 부담 없이 읽히는가(가독). 객관적 판독 실패(대비 부족·넘침·깨짐)는 L1 소관, 여기서는 그 위의 시선 설계 수준만 본다.
| 점수 | 기준 |
|---|---|
| 1 | 어디를 먼저 봐야 할지 알 수 없고 텍스트가 부담스러워 읽기를 포기하게 됨 |
| 2 | 읽을 수는 있으나 시선이 방황 — 위계·강조가 없어 훑어서는 요점이 안 잡힘 |
| 3 | 제목→본문의 기본 흐름은 있으나 본문 내 우선순위가 안 보이거나 다소 과밀함 |
| 4 | 핵심이 먼저 눈에 들어오고 시선 이동이 자연스러움 — 한눈에 스캔 가능 |
| 5 | 위계·그룹핑·여백이 시선 경로를 설계함 — 슬라이드만 훑어도 메시지가 전달됨 |
S3. 텍스트·요소 정렬 (Alignment) (신규, v2.7)
이 슬라이드 안의 텍스트·이미지·도형들이 하나의 그리드 위에 있는 것처럼 가지런한가 — 명백히 깨진 정렬 1건(L1의 text-3가 이미 잡음)이 아니라, 슬라이드 전체에 걸친 정렬의 전반적 완성도를 본다. text-3와 달리 이진 판정이 아니라 정도 판단 — text-3 결함이 없어도 이 축 점수는 낮을 수 있다(예: 크고 작은 여러 미세한 정렬 편차가 쌓여 전체적으로 "각이 안 잡힌" 인상).
| 점수 | 기준 |
|---|---|
| 1 | 요소들이 정렬 기준 없이 배치되어 산만함 — 나란한 요소들의 좌우/상하 경계가 제각각 |
| 2 | 일부 요소는 맞춰져 있으나 전반적으로 그리드감이 없음 |
| 3 | 큰 그룹(카드, 컬럼 등)은 정렬되어 있으나 세부 요소(아이콘, 캡션, 여백)가 미세하게 어긋남 |
| 4 | 대부분의 요소가 일관된 그리드·여백 기준으로 정렬됨 — 사소한 편차만 있음 |
| 5 | 모든 요소가 정확한 그리드 위에 정렬되어 정돈된 인상 — 여백 간격까지 규칙적 |
L3 — 홈리스틱 심미: 덱 단위 (2축 × 1~5점)
덱 전체(슬라이드 순서 나열)를 보고 판정. 정의상 슬라이드 간 비교가 핵심이라 슬라이드 단위로 쪼갤 수
없는 축만 남는다 — ① 하나의 덱인가(일관성) ② 넘겨도 지루하지 않은가(다양성). 서로 긴장 관계인
쌍이므로 리포트에서 함께 본다. 호출 방식은 기존과 동일(덱 전체 1회 호출, Claude Sonnet 5,
slide_check 선행 단계로 슬라이드 간 세부 사실 대조).
D1. 덱 일관성 (Deck Consistency) (v0.1 ⑥ 계승 — 변주는 D2로 분리)
| 점수 | 기준 |
|---|---|
| 1 | 슬라이드 간 색·폰트·스타일 제각각 — 하나의 덱으로 안 보임 |
| 2 | 기본 테마는 유지되나 일부 슬라이드가 명확히 이질적 |
| 3 | 테마는 일관되나 디테일(여백·요소 위치·아이콘 스타일)이 흔들림 |
| 4 | 테마·디테일이 전반적으로 일관 — 사소한 편차만 있음 |
| 5 | 색·폰트·스타일에 유형(표지·목차·본문)별 규칙까지 하나의 디자인 시스템으로 통일 |
D2. 덱 다양성 (Deck Variety) (NPS 단조로움 불만 16% 대응 · Component AIP 차별점)
일관성과 짝을 이루는 긴장 축 — 테마는 유지하면서 슬라이드마다 내용에 맞는 형식 변화가 있는가.
| 점수 | 기준 |
|---|---|
| 1 | 모든 본문 슬라이드가 같은 레이아웃·불렛 나열의 반복 — 넘겨도 화면이 안 바뀌는 느낌 |
| 2 | 레이아웃 2~3종이 반복되고 내용이 달라도 형식이 같음 |
| 3 | 레이아웃 변화는 있으나 시각화 형식(도식·차트·이미지 배치)이 제한적 |
| 4 | 내용 유형에 따라 레이아웃·시각 형식이 다양하게 변함 |
| 5 | 다양하면서도 각 슬라이드 내용에 맞는 형식 — 덱에 리듬이 있어 지루하지 않음 |
v0.1의 ⑤ 내용-시각화 적합성은 유저 입력 의도를 알 수 없는 프로덕션 채점에서 제외하고, 벤치마크 트랙(Phase 3, 고정 주제) 전용 축으로 이동한다. 구 "발표자료다움" 축은 덱 단위 축인데 슬라이드 단위 속성(텍스트 밀도)을 재고 있어 v2.6에서 제거 — 텍스트 과밀의 정도 판단은 이제 L2의 S2가 흡수한다.
산출 지표
L1·L2·L3을 단일 점수로 합산하지 않는다 (층별 의미가 다름). 리포트 지표:
- L1 종합점수 (100점 만점, v2.6 재설계) — 심각도 구분 폐지에 따라 슬라이드별 100점 시작, 결함 유형 무관 건당 −25점 균일 감점, 슬라이드 하한 0점. 덱 점수 = 전체 슬라이드 점수 평균 (페이지 수 자동 정규화). 실제 데이터(7/28 30덱, 7/29 10덱) 시뮬레이션으로 −20/−25/−30/−35 중 선택 — −25가 평균 66.4
71.9점대로 바닥 포화 없이 헤드룸 확보 (−20은 7378점대로 다소 높고, −30 이상은 최저 덱이 30점대로 급락). 이전 치명/경미 비대칭 가중(−100/−40)은 v2.6에서 폐기 — 유형별 심각도 대신 유형 세분화(text-1 넘침/text-2 겹침 분리 등)로 액션 연결성을 확보하는 방향으로 전환 - 헤드라인 보조: 결함 프리 덱 비율(%) (결함 유형 무관, 슬라이드 전체에 결함이 하나도 없는 덱의 비율) + 덱당 평균 결함 건수 — 릴리스 전후 비교
- 진단: 결함 유형별 발생률(해당 슬라이드 비율 %) → 모듈 라우팅 표 기준으로 담당자별 묶음 보고
- L2 (슬라이드 단위 S1~S3) — 슬라이드별 점수를 받아 덱 평균으로 집계(L1과 동일한 정규화 논리). 분포(최저/최고 슬라이드)도 함께 보여 "어느 슬라이드가 흐름을 깨는지" 진단 가능하게 한다
- L3 (덱 단위 D1~D2) — 덱당 단일 점수, 추이만 추적
- 추이: L1 점수 + L2 축별 평균(S1
S3) + L3 축별 평균(D1D2), 일별 추이
운영 정의 (VLM-as-judge)
- L1: 슬라이드 이미지 1장씩 입력 → 결함 유형별
{detected, evidence}JSON. 근거(evidence) 없는 detected는 무효 처리 - L2/L3: 슬라이드(L2) 또는 덱 콘택트 시트(L3) 입력 → 축별
{score, reason}JSON - 신뢰성: 파일럿에서 내부 스팟 채점 대조(결함 유형별 정밀도/재현율 + L2/L3 방향 일치율 ≥70%). 동일 입력 3회 self-consistency 확인
- 미통과 유형/축은 리포트에 "참고용" 표기 후 프롬프트·정의 보정
버전 히스토리
- v2.8 (2026-07-31): 용어 정리 (프롬프트 본문·정의 변경 없음) — ① "Layer 1/2/3" 표기를 L1/L2/L3로 통일(대시보드·리포트에서 이미 "L1 평균" 등으로 축약 표기 중이던 것과 정합). ② 결함 코드 T1~I2가 레이어 약칭 L1(=Layer 1)과 시각적으로 겹쳐 혼동 소지가 있었음 — 결함 코드를
text-1text-4(구 T1color-1color-2(구 C1layout-1layout-2(구 L1image-1image-2(구 I1 - v2.7 (2026-07-30): Layer 2를 슬라이드 단위/덱 단위로 분리 — 구 Layer 2(덱 단위 4축)를 재구조화. 신 Layer 2(슬라이드 단위, S1 매력·S2 가독성흐름·S3 정렬(신규))는 Layer 1과 동일하게 슬라이드마다 독립 호출(Gemini). 신 Layer 3(덱 단위, D1 일관성·D2 다양성, 구 H3·H4)는 기존 방식(덱 전체 1회 호출, Claude, slide_check 유지) 그대로. 배경: H1/H2는 슬라이드마다 다르게 나타나는 성질이라 덱 단위로 뭉뚱그리면 정보 손실이 크고, H3/H4는 정의상 슬라이드 간 비교가 핵심이라 애초에 덱 단위여야 함. S3(정렬)은 Layer 1의 T3(이진 결함)와 달리 정도(degree) 판단 — 명백한 결함이 없어도 전반적으로 "각이 안 잡힌" 인상을 잡기 위함
- v2.6 (2026-07-30, 30덱/413슬라이드 운영 중 피드백): 심각도(치명/경미) 구분 폐지, 결함 유형 9종→10종 재구성 — ① T1을 "텍스트 넘침·잘림"에서 "텍스트 넘침" 단독으로 좁힘 ② 신규 T2 텍스트 겹침 추가(텍스트 넘침의 직접 결과로 다른 요소와 부딪히는 경우, T1의 파생 상황이라 T 섹션에 배치) ③ 기존 T2(위치·정렬·줄바꿈)→T3, T3(대치 오류)→T4로 재번호 ④ L2 요소 겹침·가림을 "텍스트 아닌 요소" 간으로 한정 — 텍스트 자체 넘침으로 인한 겹침(신규 T2와 중복될 뻔한 케이스)을 명시적으로 제외. Layer 1 점수 공식도 재설계(위 산출 지표 참고) — 결함 유형 무관 건당 −25점 균일 감점으로 전환. 이번 버전으로 과거(7/28·7/29) history 데이터를 소급 재판정하지는 않음 — 구 taxonomy로 채점된 데이터라 새 유형과 1:1 매핑 안 됨, 이후 판정분부터 신규 taxonomy 적용
- v2.5 (2026-07-30): 팀 캘리브레이션 스팟체크 반영 (faad81d6·5c7c0801) — ① faad81d6: 헤더 제목이 남색 배경 위 저대비로 렌더되는 동일 결함이 표지 제외 전 슬라이드(14개)에 있었으나 판정에서 6개만 탐지 → 나머지 8개 보정, 판정 프롬프트에 "템플릿 반복 결함 일관 적용" 지침 추가(시각화 품질 판정 프롬프트 v1 v1.2) ② T3 정의에서 수식·LaTeX 노출 제외 — 사용자 원본 콘텐츠(내용 충실도 문제)이지 시스템 placeholder 아님, 5c7c0801에서 T3 오탐 7건 제거. 결과: C1이 헤드라인 개선 레버(+8.6)로 재확인, T3 기여는 미미(+1.0)로 축소
- v2.4 (2026-07-30): Layer 1 스코어링 가중 강화 (−50/−15 → 치명 −100(슬라이드 실격)/경미 −40) — 일 트래킹 헤드룸 확보 목적, 파일럿 평균 85.7→73.6으로 재베이스라인
- v2.3 (2026-07-30): 드라이런(실제 AIP JP 덱 7장) 결과 반영 — 어색한 줄바꿈(고아 글자)을 T1(치명)에서 T2(경미)로 이동. 고아 글자 수준은 내용 인지를 방해하지 않아 치명 과잉 판정이었음
- v2.2 (2026-07-30): Layer 2 재구성 — 발표자료다움 제거(덱 축인데 슬라이드 속성을 재는 문제), H2 가독성·시각 흐름 신설(시선 설계 관점, 텍스트 과밀 흡수), H4 덱 다양성 신설(v0.1 ⑥의 "변주"를 독립 축으로 분리, 단조로움 불만 16% 대응). 4축 체제
- v2.1 (2026-07-30): Layer 1을 22종 → 9종으로 압축 — 팀 육안 리뷰 실측 레이블 39건 분포 기반. 실측 0건 + 정도(degree) 성격 유형은 Layer 2로 흡수, 스팟 채점 시트에
기타레이블 운영 - v2.0 (2026-07-30): 2층형 재설계. Layer 1 = SlideAudit 19분류 + AIP 특화 3종, Layer 2 = 홈리스틱 3축. ⑤적합성은 벤치마크 전용으로 이동
- v0.1 (2026-06-12): 6축 × 1~5 앵커 (구버전 문서 참조)