Mobile App 프로젝트의 자율탐색 테스트 상세 결과를 확인할 수 있습니다.
페이지 개요 #
- 기본 정보
- “Autonomous Test” 및 상태 표시
- 디바이스 정보 (예:
iPhone 11) - Test Run ID (고유 식별번호)
- 결과 활용 옵션
- Rerun: 동일 설정으로 테스트 재실행
- 공유, 정보, 삭제: 테스트 관리 기능
결과 활용 옵션에 대한 자세한 내용은 추가 활용 가이드 > 3.0. 테스트 결과 활용 옵션에서 확인할 수 있습니다.
테스트 상세 결과는 다음 탭으로 구성됩니다:
- Summary: 테스트 결과 요약 및 실행 단계 표시
- Activity Map: AI 자율탐색 과정에서 발견된 화면의 계층 구조
- Screen: 테스트 실행 중 화면 캡처 및 스크린샷
- Performance: 테스트 실행 중 CPU 사용률 및 Memory 사용량
- Device Log: 디바이스 로그
Summary #
Test Result #
테스트 실행 결과에 따라 상단에 요약 내용이 표시됩니다.
Test Info #
테스트 실행의 기본 정보를 표시합니다:
- Test Suite: 실행된 Test Suite 이름
- Scenario: Autonomous Test로 표시
- App Name
- 테스트 대상 앱 식별자 (예:
com.apple.mobilesafari)
- 테스트 대상 앱 식별자 (예:
- App Version: 앱 버전 정보
- Device: 사용된 디바이스 모델 (예: iPhone 11)
- 디바이스 정보 아이콘에 마우스 오버 시 상세 디바이스 정보 툴팁 표시
- Test Date: 테스트 실행 시점
- Duration: 총 테스트 시간
- Num of Steps: 실행된 총 스텝 수
- Status: 최종 결과 상태
- Labels: 테스트 결과에 설정된 라벨 정보
- Memo: 테스트 관련 메모
Test Stages #
테스트 실행 과정의 각 단계가 시각적으로 표시됩니다:
- Waiting for Device: 디바이스 대기 단계
- Start: 테스트 시작 단계
- Preparing: 테스트 환경 준비 단계
- Running Test: 실제 테스트 실행 단계
- Processing Results: 결과 처리 단계
- Cleaning Device: 디바이스 정리 단계
- Uninstalling app
- Deleting app from server
- Rebooting device
- End: 테스트 완료 단계
Step with Issues #
테스트 실행 과정에서 Warning 또는 Failed 상태가 발생한 스텝이 별도로 분류되어 표시됩니다.
정상적으로 완료된 Passed 스텝은 이 영역에 표시되지 않습니다.
- Step #: 이슈가 발생한 스텝의 번호
- Time: 해당 스텝이 실행된 시각
- Step Name: 스텝의 이름
- Action: 스텝에서 수행된 액션명
- Description: 발생한 이슈에 대한 설명
- Result: 스텝 실행 결과 상태
테이블의 행을 클릭하면 해당 스텝에 대한 스크린샷을 확인할 수 있습니다.
스크린샷 하단에 선택된 스크린샷에 대한 정보가 표시됩니다:
- Step: 전체 테스트 시퀀스 내 스텝 번호와 실행 시각
- Screen No.: 스크린샷 고유 식별자
- Label: 해당 스텝의 이름
- Action: 스텝에서 실행된 액션명
- Value: 액션 실행 결과 또는 상태 정보
스크린샷 기능:
: 해당 스텝의 동영상 기록 재생
: Screen 탭에서 해당 스텝 결과까지 이동합니다.
Activity Map #
Activity Map 탭은 AI가 앱을 탐색한 화면과 이동 경로를 시각적으로 표시합니다. 이를 통해 테스트 진행 과정을 한눈에 파악할 수 있습니다.
화면 조절 도구 #
① 조이스틱과 같은 기능을 가지고 있습니다. 보이는 스크린 화면에서 상하좌우로 이동할 수 있습니다.
② 스크린 화면을 창의 중앙에 맞춥니다.
③ ‘+’ 아이콘을 클릭하면 스크린 화면이 확대되며, ‘-‘ 아이콘을 클릭하면 스크린 화면이 축소됩니다.
테스트 탐색 경로 확인 도구바 #
동영상 플레이어에 사용되는 버튼들의 모양과 기능이 동일합니다. 재생 버튼을 클릭하면 디바이스 스크린 카드들이 동영상처럼 탐색 경로 순서에 따라 표시됩니다.
각각의 스크린 카드를 클릭하면 탐색 중 AI가 테스트를 진행한 화면이 나타납니다.
Screen #
Screen 탭에서는 테스트의 각 스텝별 화면을 확인할 수 있습니다.
- Action Icon: 스텝에서 수행한 액션 아이콘
- Step: 테스트 스텝 번호와 실행 시각
- Screen No.: 스크린샷 고유 식별자
- Label: 해당 스텝의 이름
- Action: 스텝에서 실행된 액션명
- Value : 액션 실행 결과 또는 상태 정보
- : 해당 스텝이 진행되는 과정을 영상으로 확인할 수 있습니다.
Performance #
CPU 사용률과 메모리 사용량을 그래프로 보여줍니다.
- CPU Usage: 시간 경과에 따른 CPU 사용률을 보여줍니다. (시간대별 % 사용률)
- Memory Usage: 시간 경과에 따른 메모리 사용량을 보여줍니다. (시간대별 MB 사용량)
- 툴팁 : 그래프 상의 특정 지점에 마우스를 올리면 해당 지점의 날짜 및 시간과 CPU 사용률(%) 또는 메모리 사용량(MB)이 툴팁 형태로 표시됩니다.
- 에러 포인트 : 테스트 중 오류가 발생한 경우 그래프의 해당 시점에 에러 포인트가 표시됩니다. 사용자가 원하는 지점을 클릭하면, 해당 지점의 스크린카드와 디바이스 로그를 보여주는 팝업이 나타납니다.
Device Log #
테스트 중 디바이스에서 발생한 로그 정보를 제공합니다.
- Device Full Log Download: 디바이스의 전체 로그 데이터를 압축 파일 형태로 다운로드하는 기능입니다. 테스트 기간 동안 수집된 모든 시스템 로그가 포함됩니다.
- Open New Tab: Device Log 화면이 새로운 브라우저 탭에 표시됩니다.
- 로그 필터링
- Select Level: 로그를 필터링할 수 있습니다. Notice, Warning, Error, Fault를 기준으로 특정 레벨의 로그만 확인할 수 있습니다.
- 날짜 범위 설정
- Select start date: 확인할 로그의 시작 날짜 설정
- Select end date: 확인할 로그의 종료 날짜 설정
- Search Tag: 로그의 태그
- Search Message: 로그 메시지 내용에서 특정 키워드를 포함한 항목만 검색할 수 있습니다.
- 로그 테이블 구성
- Date: 로그 생성 시각
- Level: 로그 중요도 레벨 분류
- Tag: 로그의 태그
- Message: 로그 메시지 내용