테스트 자동화 준비도 진단표

도구 소개

대부분의 팀은 자동화 테스트가 몇 개 있는지 말할 수 있습니다. 하지만 그 테스트가 누구나 신뢰하는 신호인지 말할 수 있는 팀은 많지 않습니다. 이 진단표는 지금 실제로 일어나고 있는 일에 대해 12가지 질문을 던집니다. 여섯 영역에 두 개씩으로, 전략과 범위, 프레임워크와 코드 품질, CI/CD 통합, 테스트 데이터와 환경, 신뢰성과 불안정성(flakiness), 리포팅과 오너십입니다. 각 답변은 0~3점입니다. 각 영역은 두 답변으로 100점 만점 점수가 매겨지고, 전체 점수는 여섯 영역의 평균이므로 노트북 한 대에서만 돌아가는 멋진 프레임워크를 가진 팀은 좋은 점수를 받을 수 없습니다. 전체 점수는 네 가지 레벨 중 하나에 해당합니다. Ad hoc(35 미만), Emerging(35~59), Established(60~84), Optimised(85 이상)입니다. 80점 미만인 가장 약한 영역은 최대 세 개까지 구체적인 다음 단계로 제시되며, 관련 레슨과 도구 링크가 함께 표시됩니다. 점수 산정은 고정된 기준표를 따르며 아래 FAQ에 모두 적혀 있습니다. 회고나 계획 회의의 대화 출발점으로 쓰는 도구이지 다른 회사와 비교하는 벤치마크가 아닙니다. 그 뒤에 다른 팀의 데이터셋은 없으며, 있다고 주장하지도 않습니다.

사용 방법

1. 각 질문에 팀이 현재 실제로 하고 있는 일을 설명하는 선택지로 답하세요. 목표나 계획이 아니라 지금 상태의 선택지로 점수가 매겨집니다.
2. 12가지 질문에 모두 답하면 점수가 바로 갱신됩니다. 답변은 이 브라우저에 저장되므로 나중에 다시 볼 수 있습니다.
3. "Work on next"(다음에 개선할 것) 목록을 확인하세요. 가장 약한 영역부터 구체적인 단계 하나와 더 깊이 공부할 링크가 제시됩니다.
4. "Copy share link"(공유 링크 복사)로 결과를 팀에 보내세요. 링크에 답변이 담겨 있어 링크를 연 사람도 같은 점수를 봅니다. "Copy summary"(요약 복사)는 Slack, 티켓, 회고 문서용 일반 텍스트를 제공합니다.

여섯 영역이 측정하는 것

• 전략과 범위: 자동화가 의도적으로 리스크를 겨냥하는지, 그리고 대부분의 검사가 버그를 잡을 수 있는 가장 저렴한 레벨(UI보다 단위·API 테스트)에 있는지.
• 프레임워크와 코드 품질: 테스트 코드가 구조화되어 있는지(페이지 또는 컴포넌트 객체, 픽스처, 설정), 프로덕션 코드처럼 리뷰되는지, 로케이터가 마크업 변경에도 살아남는지.
• CI/CD 통합: 누군가 실행을 기억하지 않아도 모든 변경마다 테스트가 실행되는지, 그리고 풀 리퀘스트가 결과를 얼마나 기다리는지.
• 테스트 데이터와 환경: 테스트가 자신의 데이터를 소유하고 매번 동일한 환경에서 병렬로, 순서에 상관없이 실행될 수 있는지.
• 신뢰성과 불안정성: 빨간 빌드가 실제 문제를 뜻하는지. 고정 대기(sleep)와 초록색이 될 때까지 재실행하는 습관이 주범입니다.
• 리포팅과 오너십: CI 리포트만으로 실패 원인을 진단할 수 있는지, 그리고 QA만이 아니라 팀 전체가 이에 대응하는지.

팀과 함께 결과를 활용하는 방법

테스터, 개발자, 파이프라인 담당자 등 두세 명에게 각자 따로 작성하게 한 뒤 공유 링크를 비교하세요. 대개 점수 자체보다 답변이 갈리는 지점이 더 유용합니다. 한 사람은 "on every pull request"(모든 풀 리퀘스트마다)를, 다른 사람은 "nightly"(야간 실행)를 골랐다면 팀이 파이프라인이 무엇을 하는지 합의하지 못한 것입니다.

분기마다 "Work on next"에서 한 영역을 고르세요. 한 영역을 33점에서 67점으로 올리는 것이 여섯 영역에 노력을 분산하는 것보다 가치 있습니다. 분기 말에 같은 사람들과 진단표를 다시 작성하세요.

테스트 자동화 준비도 진단표 자주 묻는 질문