▣ 테스트 실행
계획 및 구현된 테스트 활동을 실제로 실행하는 단계이다.
● 테스트 실행
준비되어 있는 테스트 케이스를 각 테스트 레벨별 테스트 계획에 따라 실행하는 활동이다.
【표 II-11. 테스트 실행】
| 테스트 실행 활동 | |
| 착수 기준 | 입력물 |
| ▶ 단위 테스트 실행 – 코딩 작업 및 코드 검토 완료 – 단위 테스트 계획서, 테스트 케이스 작성 완료 | ▶ 단위 테스트 실행 – 코딩 작업 및 코드 검토 완료 – 단위 테스트 계획서, 테스트 케이스 작성 완료 |
| ▶ 통합 테스트 실행 – 단위 테스트 완료 – 통합 테스트 계획서, 테스트 케이스 작성 완료 | ▶ 통합 테스트 실행 – 단위 테스트 완료 – 통합 테스트 계획서, 테스트 케이스 작성 완료 |
| ▶ 시스템 테스트 실행 – 통합 테스트 완료 – 시스템 테스트 계획서, 테스트 케이스 작성 완료 | ▶ 시스템 테스트 실행 – 통합 테스트 완료 – 시스템 테스트 계획서, 테스트 케이스 작성 완료 |
| ▶ 인수 테스트 실행 – 시스템 테스트 완료 – 인수 테스트 계획서, 테스트 케이스 작성 완료 | ▶ 인수 테스트 실행 – 시스템 테스트 완료 – 인수 테스트 계획서, 테스트 케이스 작성 완료 |
| 종료 조건 | 산출물 |
| ▶ 설계 및 구현된 테스트 실행 완료 | ▶ 테스트 실행 로그 ▶ 갱신된 테스트 결과 보고서 |
| 작업① 테스트 환경 설정 ② 테스트 케이스 실행 ③ 테스트 실행 결과분석 ④ 테스트 자산 개선 ⑤ 테스트 결과 작성 ⑥ 테스트 실행 결과 검토 ⑦ 테스트 실행 결과 승인 | |
● 테스트 실행 활동의 상세 절차
① 테스트 환경설정
테스트 계획서에 명시된 테스트 환경을 설정한다. 테스트 환경에는 HW와 지원 SW를 포함한다.
② 테스트 케이스 실행
해당 테스트 케이스를 실행한다. 자동화 도구를 사용할 경우, 테스트 자동화 스크립트를 실행한다.
③ 테스트 케이스 결과분석
실패로 기록된 테스트 실행 결과를 분석하여 사용자의 단순한 에러인지 결함인지를 판단하여, 결함 관리대장에 기록하고, 발견된 결함을 결함관리대장 양식을 이용하여 기록한 후 결함 내역, 결함 분류, 결함 발생 단계, 결함 심각도 등의 속성을 고려하여 입력한다.
④ 테스트 자산 개선
테스트를 수행하면서 변경된 테스트 케이스, 테스트 요구사항, 테스트 데이터 등을 업데이트 한다.
⑤ 테스트 결과 작성
테스트 케이스 명세서에 해당 테스트 케이스 실행 결과를 작성한다.
⑥ 테스트 실행 결과 검토
작성된 테스트 결과 및 결함조치 내역을 취합하여 프로젝트 관리자와 검토 및 협의를 수행한다.
⑦ 테스트 실행 결과 승인
테스트 케이스에 대한 승인을 요청한다.
【그림 II-8. 테스트 실행 활동 작업 흐름도】
▣ 테스트 평가
완료된 테스트 활동에서 데이터를 수집하여, 테스트에서 발견된 수치적 데이터와 함께 테스트 경험을 축적하는 단계이다.
● 테스트 평가
각 테스트 레벨 및 유형 별 테스트 결과를 상세히 분석하여 해당 테스트 활동의 종료 기준에 적합한지를 판단하는 활동이다.
【표 II-12. 테스트 평가】
| 테스트 평가 활동 | |
| 착수 기준 | 입력물 |
| ▶ 단위 테스트 평가 – 테스트 케이스 실행 완료 – 테스트 결과 보고 작성 완료 | ▶ 단위 테스트 평가 – 테스트 계획서 – 테스트 결과 보고 – 결함관리대장 |
| ▶ 통합 테스트 평가 – 통합 테스트 실행 완료 – 통합 테스트 결과 보고 작성 완료 | ▶ 통합 테스트 평가 – 테스트 계획서 – 테스트 결과 보고 |
| ▶ 시스템 테스트 평가 – 시스템 테스트 실행 완료 – 시스템 테스트 결과 보고 작성 완료 | ▶ 시스템 테스트 평가 – 테스트 계획서 – 테스트 결과 보고 – 결함관리대장 |
| ▶ 운영 테스트 평가 – 운영 테스트 실행 완료 – 운영 테스트 결과 보고 작성 완료 | ▶ 운영 테스트 평가 – 테스트 계획서 – 테스트 결과 보고 – 결함관리대장 |
| 종료 조건 | 산출물 |
| ▶ 각 테스트 단계별 완료기준 만족 | ▶ 각 테스트 단계별 결과보고서 ▶ 각 테스트 단계별 테스트 케이스 명세서 ▶ 결함관리대장 |
| 작업① 테스트 결과 상세 분석 ② 테스트 커버리지 평가 ③ 결함 분석 및 평가 ④ 테스트 종료결정 ⑤ 테스트 결과 보고서 작성 ⑥ 테스트 결과 보고서 검토 및 승인 | |
● 테스트 평가 활동의 상세 절차
① 테스트 결과 상세분석
테스트 수행 결과로 작성된 모든 테스트 결과 보고와 결함관리대장을 검토한다.
② 테스트 커버리지 평가
실제로 제품의 모든 기능을 100% 테스트할 수 없으므로, 어느 정도 테스트가 수행 되었는지 파악하기 위해 커버리지를 측정한다.
③ 결함 분석 및 평가
– 테스트 수행 시 발견된 결함을 분석하여 의미 있는 정보를 도출한다.
• 발견된 결함 평가는 SW 품질 및 신뢰성에 대한 정보를 제공한다.
• 결함 분석 및 평가는 단순히 결함 수의 계산에서부터 통계 모델링 적용까지 다양한 방법을 적용하여 수행할 수 있다.
– 결함 분석을 위해 측정치를 작성하고, 결과에 대한 검토 및 분석을 수행한다.
• 결함 분포: 특정 속성에 해당되는 결함 수
• 결함 추세: 시간 흐름에 따른 결함 수에 대한 추이
• 결함 에이징: 특정 결함 상태에 머물러 있는 시간
– 결함 분석에서는 하나 또는 그 이상의 결함 관련 파라미터와 연관하여, 결함 분포를 분석하는데, 가장 일반적으로 사용하는 결함 파라미터는 다음과 같다.
• 우선순위(Priority): 결함 해결의 상대적인 중요성
• 심각도(Severity): 결함의 상대적인 영향 정도
• 근원(Source): 결함의 원인이 된 위치 및 근본적인 원인
④ 테스트 종료 결정
테스트가 수행되고 테스트 종료 조건을 만족할 경우 테스트 활동을 종료한다.
⑤ 테스트 결과 보고서 작성
테스트 결과 보고서는 테스트 대상 시스템의 품질과 테스트 상태에 대해 객관적인 평가를 내리고, 모든 이해관계자들과 의사소통 하는 수단으로 사용하기 위하여 작성된다. 경우에 따라 여러 관계자를 위한 문서를 만들 수 있는데, 대상이 누구냐에 따라 양식과 보고의 내용이 달라질 수 있다.
단, 테스트 결과는 다르게 왜곡해서는 안 되며, 독자의 수준에 따라 결과 보고서의 전문 용어의 사용 여부, 표현 방법 등이 달라질 수 있다.
⑥ 테스트 결과 보고서 검토 및 승인
작성된 테스트 결과 보고서를 프로젝트 관리자 및 품질보증 담당자등과 검토 및 협의를 수행한다.
【그림 II-9. 테스트 평가 활동 작업 흐름도】