[정처기 개념] 10. 애플리케이션 테스트 관리

 

Chapter1. 애플리케이션 테스트 케이스 설계

1. SW 테스트의 이해

• 개념 : 개발된 응용 애플리케이션이나 시스템이 사용자가 요구하는 기능과 성능, 사용성, 안정성 등을 만족하는지 확인하고, 노출되지 않고 숨어있는 SW의 결함을 찾아내는 활동
• 기본 원칙

원리	설명
결함 존재 증명	테스트는 결함의 존재를 밝히는 활동
완벽 테스팅은 불가능	무한 경로, 무한 입력값으로 인해 완벽한 테스트 어려움
초기 집중	개발 초기에 집중하면 개발 기간 단축 및 결함 예방 가능
결함 집중	적은 수의 모듈에서 대다수 결함이 발견된다는 원리 -> "파레토 법칙"
살충제 패러독스	동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못한다는 원리
정황 의존성	SW성격에 맞게 테스트를 수행해야함
오류-부재의 궤변	요구사항 충족시켜주지 못한다면, 결함 없어도 품질 높은 것이라 보기 어려움

 

• 산출물
  • 테스트 계획서, 테스트 베이시스(테스트 설계를 위한 기준), 테스트 케이스(테스트를 위한 설계 산출물), 테스트 슈트(테스트 케이스의 집합), 테스트 시나리오, 테스트 스크립트(테스트 케이스 실행 순서 작성한 문서), 테스트 결과서

 

2. SW 테스트 유형

• 프로그램 실행 여부에 따른 분류
  • 정적 테스트 : 실행 X, 구조 분석하여 논리성 검증 -> 리뷰 및 정적 분석
  • 동적 테스트 : 실행 O -> 화이트박스 테스트, 블랙박스 테스트
• 테스트 기법에 따른 분류
  • 화이트박스 테스트 : 코드 분석과 프로그램 구조에 대한 지식 바탕으로 모듈 내부 테스트, 소스 코드의 모든 문장 한 번 이상 수행
    • 구문 커버리지(문장 커버리지) :프로그램 내 모든 명령문을 적어도 한 번 수행하는 커버리지
    • 결정 커버리지(선택, 분기 커버리지) :결정 포인트 내의 전체 조건식이 적어도 한 번은 참과 거짓의 결과를 수행하는 테스트 커버리지
    • 조건 커버리지 : 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 커버리지
    • 조건/결정 커버리지 : 전체 조건식뿐만 아니라 개별 조건식도 참과 거짓이 한 번씩 결과가 되도록 수행하는 테스트 커버리지
    • 변경 조건/결정 커버리지 : 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향상시킨 커버리지
    • 다중 조건 커버리지 : 결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
    • 기본 경로 커버리지 : 수행  가능한 모든 경로를 테스트하는 기법
    • 제어 흐름 테스트 : 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법
    • 데이터 흐름 테스트 : 제어 흐름 그래프에 데이터 사용현황을 추가한 그래프를 통해 테스트하는 기법
    • 루프 테스트 : 프로그램의 반복 구조에 초점을 맞춰 실시하는 테스트 기법
  • 블랙박스 테스트 : 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트
    • 동등분할 테스트 : 입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법
    • 경곗값 분석 테스트 : 경곗값 부분에서 오류 발생 확률이 높기 때문에 경곗값 포함하여 테스트 케이스를 설계하여 테스트하는 기법
    • 결정 테이블 테스트 : 요구사항의 논리와 발생 조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트하는 기법
    • 상태 전이 테스트 : 테스트 대상, 시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한상태에서 다른 상태로 전이되는 경우의 수를 테스트하는 기법
    • 유스케이스 테스트 : 시스템이 실제 사용되는 유스케이스로 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 테스트하는 기법
    • 분류 트리 테스트 : SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법
    • 페어와이즈 테스트 : 테스트 데이터값들 간에 최소한 한 번씩을 조합하는 방식이며, 이는 커버해야 할 기능적 범위를 모든 조합에 비해 상대적으로 적은 양의 테스트 세트로 구성하기 위한 테스트 기법
    • 원인-결과 그래프 테스트 : 그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법
    • 비교 테스트 : 여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해 보는 테스트 기법
    • 오류 추정 테스트 : 개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스를 설계하여 테스트
• 테스트 시각에 따른 분류 : 검증, 확인
• 테스트 목적에 따른 분류

분류	설명
회복 테스트	시스템에 고의로 실패를 유도하고, 시스템의 정상적 복귀 여부를 테스트
안전 테스트	불법적인 SW가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트
성능 테스트	사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량 등을 측정하는 테스트
구조 테스트	시스템 내부 논리 경로, 소스 코드의 복잡도를 평가하는 테스트
회귀 테스트	오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 일종의 반복 테스트
병행 테스트	변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트

 

3. 정적 테스트

• 리뷰
  • 동료 검토 : 2~3명이 진행하는 리뷰의 형태로 요구사항 명세서 작성자가 요구사항 명세서를 설명하고, 이해관계자들이 설명을 들으면서 결함을 발견하는 형태로 진행
  • 인스펙션 : SW 요구, 설계, 원시 코드 등의 저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제에 대한 올바른 해결을 찾아내는 형식적인 검토 기법(개발 초기)
  • 워크 스루 : 검토 자료를 회의 전에 배포해서 사전 검토 후 짧은 시간동안 회의를 진행하는 형태로 리뷰를 통해 문제 식별, 대안 조사, 개선 활동, 학습 기회를 제공하는 가장 비형식적인 검토 기법
• 정적 분석 : 자동화된 도구를 이용하여 산출물의 결함을 검출하거나 복잡도를 측정(Ex : 코딩 표준 부합, 코드 복잡도 계산 등)

 

4. 동적 테스트 - 블랙박스 테스트, 화이트박스 테스트

5. 테스트 케이스

• 개념 : 특정 요구사항에 준수하는 지를 확인하기 위해 개발된 입력값, 실행 조건, 예상된 결과의 집합
• 필요 항목
  • 공통 작성 항목 요소 : 테스트 단계명, 작성자, 승인자, 작성 일자, 문서 버전, 대상 시스템, 변경 여부, 테스트 범위, 테스트 조직
  • 개별 테스트 케이스 항목 요소 : 테스트 ID, 테스트 목적, 테스트할 기능, 테스트 데이터, 예상 결과, 테스트 환경, 테스트 조건, 성공/실패 기준, 기타 요소

6. 테스트 오라클

• 개념 : 테스트의 결과가 참인지 거짓인지를 판단하기 위해서 사전에 정의된 참값을 입력하여 비교하는 기법
• 종류
  • 참 오라클 : 모든 입력값에 대하여 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출할 수 있는 오라클
  • 샘플링 오라클 : 특정한 몇 개의 입력값에 대해서만 기대하는 결과를 제공해주는 오라클
  • 휴리스틱 오라클 : 샘플링 오라클을 개선한 오라클, 특정 입력값에 대해 올바른 결과를 제공하고, 나머지 값들에 대해서는 휴리스틱(추정)으로 처리하는 오라클
  • 일관성 검사 오라클 : 애플리케이션 변경이 있을 때, 수행 전과 후 결괏값이 동일한지 확인하는 오라클

7. 테스트 레벨

• 개념 : 함께 편성되고 관리되는 테스트 활동의 그룹, 프로젝트에서 책임과 연관됨, 각각의 테스트 레벨은 서로 독립적
• 종류
  • 단위 테스트
    • SW 설계의 최소 단위인 모듈이나 컴포넌트에 초첨을 맞춘 테스트
    • 사용자의 요구사항을 기반으로 한 기능성 위주 테스트를 수행
    • 명세 기반 테스트와 구조 기반 테스트로 나뉨 -> 주로 구조 기반 테스트로 수행
  • 통합 테스트 : SW의 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적 테스트 기법
  • 시스템 테스트 : 통합된 단위 시스템의 기능이 시스템에서 정상 수행되는지 검증
  • 인수 테스트 : 최종 사용자와 업무의 이해관계자 등이 테스트를 수행함으로써 개발된 제품에 대해 운영 여부를 결정하는 테스트
    • 알파 테스트 : 선택된 사용자가 개발자 환경에서 통제된 상태로 개발자와 함께 수행하는 인수 테스트
    • 베타 테스트 : 실제 환경에서 일정 수의 사용자에게 대상 SW를 사용하게 하고 피드백 받는 인수 테스트

8. 테스트 시나리오

• 테스트 수행을 위한 여러 테스트 케이스의 집합으로서, 테스트 케이스의 동작 순서를 기술한 문서이며 테스트를 위한 절차를 명세한 문서

 

 

Chapter2. 애플리케이션 통합 테스트

1. 단위 테스트

• 수행 도구

구분	설명
테스트 드라이버	- 모듈 테스트 수행 후 결과를 도출하는 시험용 모듈 - 필요 테스트를 인자를 통해 넘겨주고, 테스트 완료 후 그 결괏값을 받는 역할을 하는 가상 모듈 - 하위 모듈을 호출하는 상위 모듈의 역할
테스트 스텁	- 일시적으로 필요한 조건만을 가지고 임시로 제공되는 시험용 모듈 - 상위 모듈에 의해 호출되는 하위 모듈의 역할

 

2. 통합 테스트

• 방식
  • 하향식 통합 테스트 : 스텁 사용
  • 상향식 통합 테스트 : 드라이버 사용
  • 빅뱅 통합 테스트 : 모든 모듈 동시에 통합 후 테스트(드라이버/스텁 X, 실제 모듈로 테스트)
  • 샌드위치 통합 테스트 : 상향식 + 하향식 통합 테스트(스텁/드라이버 필요성 매우 높음, 병렬 테스트 가능 및 시간 절약 가능)

3. 테스트 자동화 도구

• 유형
  • 정적 분석 도구 : 만든 애플리케이션 실행하지 않고 분석하는 도구
  • 성능 테스트 도구 : 애플리케이션의 처리량, 응답 시간, 경과 시간, 자원 사용률에 대해 가상의 사용자를 생성하고 테스트 수행함으로써 성능 목표를 달성했는지 확인하는 도구
• 테스트 하네스 : 시스템 모듈의 테스트를 위해 테스트를 자동화하거나 제어하기 위한 코드 및 도구 집합
  • 구성 요소 : 테스트 드라이버, 테스트 스텁, 테스트 슈트, 테스트 케이스, 테스트 시나리오, 테스트 스크립트, 목 오브젝트

 

 

Chapter3. 애플리케이션 성능 개선

1. 애플리케이션 성능 분석

• 애플리케이션 성능 측정 지표

지표	설명
처리량	애플리케이션이 주어진 시간에 처리할 수 있는 트랜잭션의 수
응답 시간	사용자 입력이 끝난 후, 애플리케이션의 응답 출력이 게시될 때까지 시간
경과 시간	애플리케이션에 사용자가 요구를 입력한 시점부터 트랜잭션을 처리 후 그 결과의 출력이 완료할 때까지 걸리는 시간
자원 사용률	애플리케이션이 트랜잭션을 처리하는 동안 사용하는 CPU 사용량, 메모리 사용량, 네트워크 사용량

 

2. 애플리케이션 성능 개선

• 소스 코드 최적화
  • 베드 코드
    • 외계인 코드 : 오래되거나 참고문서 또는 개발자가 없어 유지보수 작업이 어려운 코드
    • 스파게티 코드 : 작동은 하지만, 사람이 코드를 읽으면서 그 코드 작동을 파악하기 어려운 코드
  • 클린 코드
    • 작성 원칙 : 가독성, 단순성, 의존성 최소, 중복성 제거, 추상화
  • 리팩토링 : 유지보수 생산성 향상을 목적으로 기능을 변경하지 않고, 복잡한 소스 코드를 수정, 보완하여 가용성 및 가독성을 높이는 기법
    • 목적 : 유지 보수성 향상, 유연한 시스템, 생산성 향상, 품질향상