모바일 앱 테스트 실행하기 #
Step 1. Mobile App에서 테스트를 실행하려면 먼저 Autonomous Test 또는 Scenario Test 옵션 중 하나를 클릭합니다.
- Autonomous Test : AI가 자동으로 앱의 다양한 기능과 경로를 탐색하며 오류를 감지하고 보고합니다.
- Scenario Test : Stego(AI 기반 테스트 시나리오 작성 툴)로 작성한 시나리오를 기반으로 앱의 특정 기능을 검증하게 됩니다.
Step 2. Autonomous Test 또는 Scenario Test를 선택한 후 테스트를 진행할 프로젝트의 테스트 실행 버튼을 클릭합니다.
Step 3. 프로젝트 설정, 타겟 설정, 시나리오 설정(Scenario Test 선택한 경우), 디바이스 설정, 테스트 제한 시간 설정, 디바이스 언어 설정, 테스트 옵션 설정, Hinting Feature 설정, Advanced Options(optional) 항목의 테스트 조건을 설정합니다.
Step 3-1. 프로젝트 설정
프로젝트 항목을 클릭하면 선택할 수 있는 프로젝트 목록이 출력됩니다.
테스트를 진행할 프로젝트를 선택하세요.
Step 3-2. 테스트 앱 설정
프로젝트 설정에서 저장했던 앱 아이디 또는 앱 파일을 선택할 수 있습니다.
Step 3-3. 테스트 시나리오 설정(시나리오 테스트 Only)
메인 화면의 왼쪽 메뉴에서 Scenario Management 메뉴에 Stego로 작성한 시나리오를 업로드한 후
Project Settings의 Scenario Repository에 추가된 시나리오 목록이 표시됩니다. 여기에서 단일 또는 멀티 시나리오를 선택할 수 있습니다.
팁! Multi Scenario를 선택하면 여러 시나리오를 사용하여 테스트할 수 있지만, 디바이스는 하나만 선택할 수 있습니다.
Multi Scenario를 선택하지 않으면 하나의 시나리오만 테스트할 수 있지만, 여러 디바이스를 선택할 수 있습니다.
Step 3-4-1. 디바이스 설정 – 무료 사용자의 경우
무료 사용자의 경우, 앞서 설정한 테스트 앱에 맞는 OS 플랫폼 디바이스 중 하나가 랜덤으로 선택됩니다.
원하는 디바이스를 직접 선택하려면 유료 플랜으로 업그레이드해야 합니다.
Step 3-4-2. 디바이스 설정 – 유료 사용자의 경우
유료 사용자의 경우, Device Lists에서 디바이스를 원하는 만큼 선택하거나 랜덤으로 설정 할 수 있습니다.
On premise 플랜을 사용할 경우 맞춤형 Private Device를 추가로 설정해서 사용할 수 있습니다.
Step 3-5. 테스트 제한 시간 설정
시간은 최소 5분부터 계정에 지정된 최대 시간까지 설정할 수 있으며, 기본 설정은 15분입니다.
Step 3-6. 디바이스 언어 설정
테스트를 진행할 디바이스의 언어를 설정할 수 있습니다.
Step 3-7. 로그인 정보 설정(자율탐색 테스트 Only)
테스트 중 로그인 창이 나타날 때 사용할 기본 로그인 정보를 설정할 수 있습니다.
Step 3-8. HINTING FEATURE 설정
테스트를 진행하는 앱에 Input 요소가 있고, 해당 요소에 특정 값을 설정하려는 경우, Input 요소에 입력할 Field 값과 Value 값을 작성합니다. 이렇게 하면 Field에 입력한 값과 일치하는 Input 요소에 Value에 작성한 내용을 입력할 수 있습니다.
* 사용 가능한 Field 값 : Label, Placeholder, Input type, Resource id (아래 예제 참고)
e.g. HINTING FEATURE의 Field/Value 값
Step 3-9. 고급 옵션 설정(선택사항)
더 상세한 옵션을 설정할 수 있습니다. 본 옵션을 설정하지 않아도 테스트는 실행할 수 있습니다.
일부 옵션은 테스트에 따라 설정이 보이지 않을 수도 있습니다.
① Code Coverage (Android Only) : 테스트가 얼마나 충족되었는지 나타내는 지표이며, 테스트를 진행하였을 때 코드 자체가 얼마나 실행되었는지 수치로 제공합니다.
② Jacoco Code Coverage (Android Only) : 1번의 Code Coverage와 같은 기능을 하지만 Jacoco Instrumentation과 Jacoco End Intent 정보가 필요합니다.
③ AT&T Video Optimizer (ARO) : 체크 시 AT&T Video Optimizer의 모범사례를 기반으로 성능 최적화 보고서를 제공합니다. AT&T Video Optimizer는 모바일 장치에서 비디오 및 애플리케이션의 네트워크 성능을 최적화 하기 위한 권장 사항을 제공하는 개발자 및 테스터를 위한 무료 오픈 소스 도구입니다.
④ Use Proxy : 웹테스트 결과에서만 볼 수 있는 HAR 정보를 앱테스트 결과에서도 볼 수 있도록 하는 기능입니다. HAR정보는 테스트 결과페이지의 Screen 탭에서 스크린 카드에 있는 액션 아이콘을 클릭하면 팝업창으로 나타납니다.
⑤ Re-Sign : iOS 앱을 테스트할 때 언패키징 후 리패키징하는 과정에서 iOS앱에 필요한 서명을 다시 하는 과정입니다. 필수적인 기능으로 기본적으로 체크되어 있습니다.
⑥ Use Lighthouse : Google Lighthouse 도구를 사용하여 성능측정 데이터를 별도로 수집합니다.
⑦ Web Contents Debugging : 체크 시 앱에 내장되어 있는 ‘웹뷰’ 형식의 페이지를 디버깅하여 결과 페이지에서 보여줍니다.
Step 4. 테스트 실행
테스트 설정을 모두 완료하면 페이지 하단의 START TEST 버튼이 활성화됩니다.
START TEST 버튼을 클릭하면 테스트가 실행된 프로젝트의 테스트 목록 페이지로 이동하며, 실시간으로 테스트 진행 과정을 확인할 수 있습니다.
웹 테스트 실행하기 #
Step 1. Browser의 Autonomous Test를 클릭합니다.
Step 2. 테스트를 진행할 프로젝트의 테스트 실행 버튼을 클릭합니다.
Step 3. 프로젝트 설정, 테스트 URL 설정, 테스트 브라우저 설정, 테스트 제한 시간 설정, 테스트 지역 설정, 테스트 옵션 설정, Advanced Options(optional) 항목의 테스트 조건을 설정합니다.
Step 3-1. 프로젝트 설정
프로젝트 항목을 클릭하면 선택할 수 있는 프로젝트 목록이 출력됩니다.
테스트를 진행할 프로젝트를 선택하세요.
Step 3-2. 테스트 URL 설정하기
탐색 테스트를 진행할 홈페이지의 URL 주소를 입력합니다.
예) https://apptest.ai
Step 3-3. 테스트 브라우저 설정하기
탐색 테스트를 진행할 브라우저 종류와 해상도를 설정할 수 있습니다.
테스트를 시작할 때 1920*1200 해상도가 기본으로 선택되어 있지만, 다른 해상도로 변경할 수 있습니다.
Step 3-4. 테스트 제한 시간 설정하기
시간은 최소 5분부터 계정에 지정된 최대 시간까지 설정할 수 있으며, 기본 설정은 15분입니다.
Step 3-5. 테스트 지역 설정하기
테스트를 진행할 국가 및 지역을 설정할 수 있습니다.
Step 3-6. 로그인 정보 설정하기
테스트 중 로그인 창이 나타날 때 사용할 기본 로그인 정보를 설정할 수 있습니다.
Step 3-7. 고급 옵션 설정(선택사항)
더 상세한 옵션을 설정할 수 있습니다. 본 옵션을 설정하지 않아도 테스트는 실행할 수 있습니다.
일부 옵션은 테스트에 따라 설정이 보이지 않을 수도 있습니다.
- Use Lighthouse : Google Lighthouse 도구를 사용하여 성능 측정 데이터를 별도로 수집합니다.
Step 4. 테스트 실행
테스트 설정을 모두 완료하면 페이지 하단의 START TEST 버튼이 활성화됩니다.
START TEST 버튼을 클릭하면 테스트가 실행된 프로젝트의 테스트 목록 페이지로 이동하며, 실시간으로 테스트 진행 과정을 확인할 수 있습니다.