배경
새로운 기능을 통합하기 전에 시스템의 안정성과 기능성을 보장하는 것은 막대한 비용을 초래하는 장애를 예방할 뿐 아니라 빠르게 변화하는 시장에서 경쟁 우위를 유지하기 위해서도 매우 중요합니다. 업계 분석에 따르면 디지털 전환과 자동화 기술은 현대적인 IT 제공의 핵심으로 자리 잡았으며, 기업들은 업무 흐름의 효율성을 높이고 오류를 줄이기 위해 품질 보증(QA)에 자동화와 AI를 도입하고 있습니다.
McKinsey의 최근 연구에 따르면 자동화 및 AI 지원 도구를 포함한 소프트웨어 개발 방식을 효과적으로 혁신한 조직은 프로세스 현대화를 거부한 조직에 비해 생산성이 최대 30 % 향상되고, 소프트웨어 품질은 최대 45 % 개선되는 성과를 거두고 있습니다. 그러나 자동화의 분명한 잠재력에도 불구하고 소프트웨어 출시의 급증과 품질에 대한 기대치 상승은 여전히 기존의 수동 테스트 프로세스에 과도한 부담을 주고 있습니다.
고객사는 주요 통신 사업자로, 하나의 통합 애플리케이션을 통해 수백만 명에게 포괄적인 통신 솔루션을 제공하고 있습니다. 고객 요구가 끊임없이 변화하는 만큼 정기적인 업데이트와 기능 추가가 필수적입니다.
고객사는 기존 애플리케이션을 업그레이드하기 전에 규정 준수 여부와 준비 수준을 검증하고자 했습니다. 그러나 테스트 케이스가 급증하면서 수동 테스트 방식만으로는 적시에 출시하기가 어려워졌습니다. 이러한 문제를 해결하기 위해 고객사는 GEM을 포함한 세 공급업체에 자동화 테스트 절차 구현을 의뢰했습니다. 고객사는 다음 개발 단계로 진행할 수 있도록 품질 관리 단계를 1년 이내에 완료하기를 기대했습니다.
과제
자동화 테스트 대상 제품과 서비스는 ERP 시스템과 웹 페이지부터 소비자용 모바일 애플리케이션까지 다양했습니다. 각 제품에는 포괄적인 점검, 제품별 테스트 스크립트 작성, 진행 상황을 모니터링하기 위한 상세 일정이 필요했습니다.
기존 문서의 상태도 또 다른 과제였습니다. 상당수 문서가 오래되었거나 부정확했기 때문에, 팀은 신뢰할 수 있는 테스트 케이스를 수립하기 전에 문서를 재검토하고 업데이트하며 새로운 지침을 작성해야 했습니다.
데이터 접근성은 복잡성을 한층 더했습니다. 애플리케이션이 여러 데이터 시스템에 연결되어 있었기 때문에 쿼리 실행과 교차 검증을 수동으로 수행하면 막대한 시간이 소요되어 테스트 프로세스가 지연될 위험이 있었습니다.
솔루션
GEM은 7명으로 구성된 팀을 현장에 파견했습니다. GEM의 QC 팀은 각 제품의 관리팀 및 수동 테스트팀과 연락하여 관련 문서를 수집하고 요구사항을 검증했습니다. GEM과 고객사는 긴밀히 협력하여 문서와 지침이 애플리케이션의 최신 버전에 부합하도록 했습니다. 이 단계는 테스트 스크립트의 신뢰할 수 있는 기반을 마련하고, 스크립트가 제품의 현재 기능과 일치하도록 하는 데 매우 중요했습니다.
데이터 부족 문제에 대해서는 API를 통해 샘플 데이터베이스를 생성하여 필요한 기능을 테스트하는 방식으로 해결했습니다. 이후 팀은 각 애플리케이션의 자동화 테스트 스크립트 작성을 시작했습니다. 담당한 모든 제품의 테스트 스크립트를 완성하는 데 약 20회의 스프린트가 소요되었습니다.
결과물
- 당초 배정된 기간의 약 50% 만에 자동화 테스트 프로세스를 완료했습니다.
- 명확한 실행 로드맵과 정교하게 개발된 자동화 테스트 스크립트를 통해 테스트 프로세스를 간소화했습니다.
- 테스트 활동 전반의 일관성과 효율성을 높였습니다.
- 테스트 중 서로 연결된 여러 데이터 시스템에 대한 가시성과 통제력을 강화했습니다.
- 복잡한 시스템 환경을 관리할 수 있는 확장 가능한 테스트 프레임워크를 구축했습니다.
성과
- 85%를 초과하는 테스트 통과율을 달성하여 제공된 솔루션의 안정성과 품질을 입증했습니다.
- 자동화 테스트를 활용하여 최초 프로젝트 예상치 대비 테스트 시간을 50% 단축했습니다.
- 높은 테스트 정확도를 유지하면서 테스트 효율성을 크게 개선했습니다.
- 자동화 기반 테스트 실행을 통해 검증 및 품질 보증 활동을 가속화했습니다.
- 고객사가 시스템 현대화 프로그램의 다음 단계로 예정보다 일찍 진입할 수 있도록 지원했습니다.
맺음말
이 프로젝트는 체계적으로 설계된 자동화 테스트 프로세스가 복잡한 IT 시스템 전반의 효율성과 정확성을 높이는 데 가져오는 혁신적인 효과를 보여줍니다. GEM은 테스트 프로세스를 간소화하여 검증 주기를 단축하고, 결함 탐지 능력을 개선하며, 데이터 의존성에 대한 통제력을 강화했습니다. 또한 이 사례는 QA 팀과 이해관계자 간의 전략적 협력이 테스트 프로세스를 최적화하고, 개발 일정을 앞당기며, 변화하는 고객 요구사항을 정확하게 충족하는 데 어떻게 기여할 수 있는지 보여줍니다.
관련 성공 사례 살펴보기: 사용자 경험 및 유지율 향상을 위한 통신사 앱 기능 유지 관리

