테스트 결과 확인하기

대시보드 #

모바일 앱 : 자율탐색 테스트와 Stego를 활용하여 작성한 시나리오 테스트를 실행할 수 있습니다. 보다 자세한 테스트 실행 방법은 모바일 앱 테스트 실행하기 Link 이동 후 확인해 주세요.
브라우저 : 웹페이지 자율탐색 테스트를 실행할 수 있습니다. 보다 자세한 테스트 실행 방법은 웹 테스트 실행하기 Link 이동 후 확인해 주세요.
시나리오 저장소 : 시나리오 테스트를 위한 시나리오를 관리할 수 있습니다.
팀 설정 : 팀 멤버와 알림 설정 등, 팀을 관리할 수 있습니다.
현재 테스트 수 : 현재 팀에서 진행중인 테스트의 개수를 확인할 수 있습니다.
테스트 수행 결과 기록 : 최근 24시간/3일/7일 동안의 테스트 기록을 기반으로 테스트 횟수, 에러 수, 총 테스트 시간을 제공합니다.
최근 테스트 에러 결과 : 최근 상위 5개의 에러 상태에 따른 값이 노출되어 제공되며, 추가적인 기록을 확인하려면 “+ More” 버튼을 선택해 주세요.
최근 테스트 결과 기록 : 최근 상위 50개의 테스트 결과 기록이 노출되어 제공되며, 추가적인 기록을 확인하려면 좌측 하단의 페이지 버튼을 선택해 주세요.
일회성 테스트 실행하기 : Test Suite까지 만들 필요 없이 시나리오 파일이나 앱파일만 있으면 바로 테스트를 실행해 볼 수 있습니다.

상세 결과 확인하기 #

테스트 목록을 선택하면 상세 결과를 확인할 수 있습니다.

결과 요약 #

Summary 탭에서는 앱/웹 테스트에 대한 정보를 확인할 수 있습니다.

앱 테스트 정보 #

① 디바이스 정보 : 테스트에 사용된 디바이스에 관한 정보를 확인할 수 있습니다. 해당 정보에는 제조사, 디바이스명, 운영체제/ API 레벨, 해상도, CPU 및 RAM 정보가 포함되어 있습니다.
② 테스트 정보 : 테스트를 수행한 앱에 대한 정보 및 기본 테스트 정보가 제공됩니다. 이 정보는 앱의 이름, 앱 및 SDK 버전, 테스트 일시, 테스트 시간 및 테스트 진행된 스텝 수를 포함합니다.
③ 테스트 진행상황 : 테스트가 진행 중일 때, 각 단계의 진행 상황 및 소요 시간을 실시간으로 확인할 수 있습니다.
④ 테스트 에러 및 경고 정보 : 테스트 진행 중에 발생한 에러 또는 경고가 있을 경우, 하단에 에러 및 경고 탭이 표시됩니다. 해당 탭을 선택하면 상세 내용이 표시되어 에러 및 경고에 대한 자세한 내용을 확인할 수 있습니다.

테스트 결과 상세 페이지는 다음과 같이 구성되어 있습니다.

① 테스트 에러 및 경고 유형 : 테스트 실패 시, 테스트 에러 및 경고 유형을 표시합니다.
② 테스트 스크린카드 : 에러가 발생한 시점의 스크린카드는 빨간색 테두리로, 경고는 노란색 테두리로 강조됩니다.
③ 테스트 로그 : 에러 또는 경고가 발생한 테스트의 로그를 표시합니다.

웹 테스트 정보 #

① 테스트 정보 : 웹페이지 테스트의 상세 정보 및 기본 테스트 정보를 확인할 수 있습니다. 이 정보에는 웹페이지 주소, 사용된 브라우저 종류 및 해상도, 테스트 일시, 테스트 소요 시간, 테스트 진행된 스텝 수, 그리고 디바이스의 국가 설정이 포함되어 있습니다.
② 테스트 에러 및 경고 정보 : 테스트 진행 중에 발생한 에러 또는 경고가 있을 경우, 하단에 에러 및 경고 탭이 표시됩니다. 해당 탭을 선택하면 상세 내용이 표시되어 에러 및 경고에 대한 자세한 내용을 확인할 수 있습니다.
③ 테스트 로그 : 웹 테스트 중 발생한 로그들을 표 형태로 정리하여 제공합니다. 테스트 중 에러가 발생한 경우, 그래프 상에서 해당 에러가 발생한 지점에 에러 포인트가 표시됩니다. 사용자가 원하는 지점을 선택하면 해당 시점의 스크린 카드와 디바이스 로그를 표시하는 팝업이 열립니다.

탐색 경로 #

Activity Map 탭에서는 AI가 탐색한 스크린을 카드 형식으로 한눈에 확인할 수 있으며, AI의 실제 탐색 경로를 재검토할 수 있습니다.

화면 조절 도구 #

① 조이스틱과 같은 기능을 가지고 있습니다. 보이는 스크린 화면에서 상하좌우로 이동할 수 있습니다.
② 스크린 화면을 창의 중앙에 맞춥니다.
③ ‘+’ 아이콘을 클릭하면 스크린 화면이 확대되며, ‘-‘ 아이콘을 클릭하면 스크린 화면이 축소됩니다.

테스트 탐색 경로 확인 도구바 #

동영상 플레이어에 사용되는 버튼들의 모양과 기능이 동일합니다. 재생 버튼을 클릭하면 디바이스 스크린 카드들이 동영상처럼 탐색 경로 순서에 따라 표시됩니다.

스크린 카드 #

탐색한 디바이스의 화면을 캡처하여 보여주는 스크린 카드입니다. 에러가 발생한 부분의 스크린 카드는 빨간색 테두리로 강조되어 있습니다.

각각의 스크린 카드를 클릭하면 탐색 중 AI가 테스트를 진행한 화면이 나타납니다.

상세 화면 #

Screen 탭에서는 테스트의 각 스텝별 화면을 확인할 수 있습니다. 테스트 동작이 발생한 지점은 스크린에 파란색으로 강조되고 에러나 경고가 발생한 스크린은 상세내용의 테두리가 각각 빨간색 및 노란색으로 표시됩니다. 웹 테스트나 Use Proxy 기능이 적용된 테스트의 경우, 스크린 카드의 아이콘을 클릭하면 HAR 정보를 표시하는 팝업창이 나타납니다.

① 해당 Step에서 수행한 Action을 아이콘으로 표시
② Step : 테스트 스텝 번호(실행 시간)
③ Screen No. : 스크린 고유번호
④ Label : 스크린 라벨 (ex. 시나리오 스텝 이름, 에러 종류, 기능 설명 등)
⑤ Action : 해당 스크린에서 수행한 액션 종류
⑥ Value : 액션을 수행한 위치의 좌표
* 동영상 버튼 : 해당 스텝이 진행되는 과정을 영상으로 확인할 수 있습니다.
* 스텝 결과 버튼 : 시나리오 테스트에서만 제공되는 버튼이며, 해당 스텝에서 작성된 시나리오와 실제 실행된 시나리오의 결과를 비교할 수 있습니다.

성능 #

Performance 탭에서는 테스트 수행 중에 사용된 Resource를 그래프 형식으로 보여줍니다.

① CPU 사용량 : 시간 경과에 따른 CPU 사용량을 보여줍니다. (시간대별 % 사용량)
② 메모리 사용량 : 시간 경과에 따른 메모리 사용량을 보여줍니다. (시간대별 MB 사용량)

① 툴팁 : 그래프 상의 특정 지점에 마우스 커서를 위치시키면 해당 지점의 날짜 및 시간과 CPU 사용률(%) 또는 메모리 사용량(MB)을 표시하는 툴팁이 나타나며 커서를 따라다닙니다.
② 에러 포인트 : 테스트 중 오류가 발생한 경우 그래프의 해당 시점에 에러 포인트가 표시됩니다. 사용자가 원하는 지점을 클릭하면, 해당 지점의 스크린카드와 디바이스 로그를 보여주는 팝업이 나타납니다.

디바이스 로그 #

Device Log 탭에서는 테스트 중 디바이스에서 발생한 로그 정보를 제공합니다.

① Device Full Log download : 디바이스 로그 전체를 zip 파일로 다운로드할 수 있습니다.
② Open New Tab : 디바이스 로그가 새로운 창에서 열립니다.
③ 디바이스 로그 본문 : 각 로그는 발생 시간, 레벨(Level), 태그(Tag), 메시지(Message)로 구성되어 있으며, 디바이스 로그에서 이를 확인할 수 있습니다.

테스트 결과 공유하기 #

테스트 결과가 표시된 화면의 우측 상단에 있는 버튼 클릭 시, 테스트 결과를 공유할 수 있는 팝업 창이 나타납니다.

① 관리자에게 테스트 결과를 문의할 수 있습니다.
② 테스트 결과 페이지에서 테스트 보고서의 링크를 생성하여 외부와 결과를 공유할 수 있습니다.

관리자에게 테스트 결과 문의하기 #

위 이미지의 ① ‘ALLOW’ 버튼을 클릭 후 답변 받을 이메일과 문의 내용을 입력하여 Send 버튼을 클릭합니다.

링크로 테스트 결과 공유하기 #

위 이미지의 ② ‘CREATE’ 버튼을 클릭 후 생성된 URL의 우측에 있는 아이콘 버튼을 클릭하여 링크를 복사하고 공유할 수 있습니다.

테스트 결과 알림 기능 #

클라우드에서 수행한 결과를 SNS를 통해 전달받을 수 있는 편리한 기능을 제공합니다. 이 기능을 사용함으로써 얻을 수 있는 주요 이점은 다음과 같습니다.

SNS를 통한 테스트 결과 전달
- 테스트 결과를 사용자에게 SNS를 통해 신속하게 전달합니다.
- 사용자는 테스트 결과를 즉시 받아볼 수 있어서 신속하게 대응할 수 있습니다.
모니터링 시스템 용도로의 활용
- Critical 이슈가 발생할 경우, 이 기능을 사용자가 즉각적으로 대응할 수 있도록 모니터링 시스템으로 활용할 수 있습니다.
- 사용자는 이 기능을 통해 시스템의 상태를 실시간으로 파악하고 즉각적인 조치를 취할 수 있습니다.
대시보드 확인 필요성 감소
- 테스트 결과가 SNS를 통해 자동으로 전달되어, 일일이 대시보드를 확인할 필요성이 줄어듭니다.
- 이는 사용자에게 결과를 편리하게 확인할 수 있는 장점을 제공하며, 업무 효율성을 높입니다.