품질 보고

템플릿 소개

이 자료가 놓이는 자리

품질 담당 조직이 한 달 치 결함 현황을 정리해 개발과 사업 부서에 보고하는 자리에 쓰는 자료입니다. 배포 실적을 다루는 운영 보고나 새 기능을 알리는 릴리스 자료와는 초점이 다릅니다. 여기서 세는 것은 찾은 결함, 닫은 결함, 그리고 놓쳐서 고객이 먼저 찾은 결함입니다. 마지막 항목이 이 보고의 핵심 지표이므로 첫 두 본문이 그 순서로 놓여 있습니다.

슬라이드 흐름

표지, 목차, 섹션 간지와 본문 한 쌍씩, 좌우 비교, 핵심 지표 카드, 추이 막대, 마무리로 이어집니다. 목차 줄은 섹션 제목에서 그대로 왔으니 제목을 고칠 때 함께 고칩니다.

채우는 순서

1. 결함 현황 — 본문에 “신규 218건 · 종료 196건”, “미해결 87건 가운데 심각 6건”, “한 건을 닫는 데 평균 4.2일”이 들어 있습니다. 신규와 종료를 나란히 적어야 잔여가 늘고 있는지 줄고 있는지가 보입니다. 총건수보다 심각 등급의 잔여 건수가 판단에 쓰입니다.
2. 빠져나간 결함 — 출시 뒤 고객이 먼저 찾은 건을 셉니다. 전월 대비와 유출률, 어느 영역에 몰렸는지를 함께 적습니다.
3. 테스트 범위 — 회귀 케이스 수와 자동화 비율, 확인하지 못한 영역을 밝힙니다. 확인하지 못한 곳을 적지 않으면 통과율이 실제보다 좋아 보입니다.
4. 출시 판정 기준 — 무엇이 남으면 내보내지 않는지 못 박습니다. 이월하려면 누구의 승인이 필요한지도 적습니다.
5. 다음 달에 고칠 것 — 셋으로 좁혀 적습니다.

지표 카드와 추이 막대

카드 네 칸은 “신규 결함(건)” 218, “미해결(건)” 87, “유출률(%)” 6.4, “자동화 비율(%)” 68 입니다. 218과 87은 본문 첫 장에서 다시 나오는 값이라 함께 고쳐야 하고, 유출률은 유출 결함 건수를 그달 출시 건수로 나눈 값이므로 분모를 무엇으로 잡았는지 슬라이드나 발표에서 한 번 밝히십시오. 추이 막대는 “1월” 32에서 “4월” 14까지 내려가는 월별 유출 결함 건수입니다. 총 결함 수가 아니라 유출 건수를 그리는 이유는, 총 결함은 개발량에 따라 오르내려 품질 판단에 쓰기 어렵기 때문입니다.

비교 슬라이드

“출시 전에 잡을 때와 출시 뒤에 잡을 때”가 좌우로 놓입니다. 왼쪽 “고치는 데 평균 4.2일”, “고객 공지가 필요 없음”에 오른쪽 “긴급 배포와 야간 대응”, “고객 공지와 보상 검토”가 마주 봅니다. 자동화나 탐색 테스트에 시간을 더 달라고 요청할 때 근거로 쓰는 장이니, 왼쪽 4.2일은 본문 첫 장의 값과 같게 유지하십시오.

배포 전에 정리할 것

• 표지의 발표자와 소속 자리, 테마에 따라 붙는 영문 라벨.
• 지표 카드 아래 예시 값 각주. 매달 같은 파일을 복제해 쓰다 보면 각주만 남는 일이 잦습니다.
• 추이 막대의 지수 단위 표기. 건수로 바꿨다면 표기도 함께 고칩니다.

매달 같은 기준으로 세려면

품질 보고는 한 달만 봐서는 뜻이 없고 같은 기준으로 여러 달을 이어 붙일 때 값이 생깁니다. 그러려면 세 가지를 문서로 고정해야 합니다. 결함 등급을 나누는 기준, 유출 결함으로 세는 범위(출시 며칠 안에 접수된 건까지 포함할지), 유출률의 분모입니다. 셋 중 하나라도 달마다 달라지면 추이 막대가 품질이 아니라 집계 방식의 변화를 그리게 됩니다. 기준을 바꿔야 한다면 바꾼 달의 슬라이드에 한 줄로 적고, 그전 달 값도 새 기준으로 다시 계산해 두십시오.

흔한 실수

• 발견 건수를 성과로 보고하기 — 많이 찾은 달이 좋은 달인지 나쁜 달인지는 유출 건수와 함께 봐야 알 수 있습니다.
• 자동화 비율만 올려 적기 — 무엇을 자동화했는지 없으면 통과율이 의미를 잃습니다.
• 미해결 건의 등급을 묶어 적기 — 마무리 문구가 “고객보다 먼저 찾습니다”인 이유입니다. 심각 등급이 몇 건 남았는지가 출시 판정을 가릅니다.