View Categories

테스트 실행하기

모바일 앱 테스트 실행하기 #

Step 1. Mobile App에서 테스트를 실행하려면 먼저좌측 메뉴바에서 Mobile App 버튼을 클릭합니다.


Step 2. 테스트를 진행할 프로젝트의 테스트 실행 버튼을 클릭하거나, 프로젝트를 눌러 들어간 뒤 우측 상단의 Run Test 버튼을 클릭합니다.


Step 3. Test Suite 설정, 앱 정보 설정, 디바이스 설정, 테스트 제한 시간 설정, 디바이스 언어 설정 및 앱 파일 재서명 설정, 기능설정, 환경 변수를 설정합니다.


Step 3-1. Test Suite 설정
Test Suite 항목을 클릭하면 선택할 수 있는 Test Suite 목록이 출력됩니다.
테스트를 진행할 Test Suite를 선택하세요.


Step 3-2. 테스트 앱 설정
프로젝트 설정에서 저장했던 앱 아이디 또는 앱 파일을 선택할 수 있습니다.


Step 3-4-1. 디바이스 설정 – 무료 사용자의 경우
무료 사용자의 경우, 앞서 설정한 테스트 앱에 맞는 OS 플랫폼의 Random Device의 체크 박스를 체크하면 해당 OS 플랫폼 디바이스 중 하나가 랜덤으로 선택됩니다.
원하는 디바이스를 직접 선택하려면 유료 플랜으로 업그레이드해야 합니다.


Step 3-4-2. 디바이스 설정 – 유료 사용자의 경우
유료 사용자의 경우, Device Lists에서 디바이스를 원하는 만큼 선택하거나 랜덤으로 설정 할 수 있습니다.
On premise 플랜을 사용할 경우 맞춤형 Private Device를 추가로 설정해서 사용할 수 있습니다.


Step 3-5. 테스트 제한 시간 설정
시간은 최소 5분부터 계정에 지정된 최대 시간까지 설정할 수 있으며, 기본 설정은 15분입니다.  


Step 3-6-1. 디바이스 언어 설정
테스트를 진행할 디바이스의 언어를 설정할 수 있습니다.  
Step 3-6-2. 앱 파일 재서명
활성화하면 테스트 실행 전에 앱 파일이 재서명됩니다. 이는 인증서나 권한 설정과 관련된 문제를 방지하는데 도움이 됩니다. 기본값으로 활성화 되어있습니다.


Step 3-7. 테스트 실행 중 필요한 설정을 지정합니다. (선택사항)

  • Record video for each steps : 각 단계별 동영상 녹화 여부를 설정합니다. 기본값은 True입니다.
  • Enable network capture for analysis : 활성화하면 테스트 중 앱의 네트워크 트래픽이 HAR(HTTP Archive) 데이터로 수집되어 추후 분석에 활용할 수 있습니다.
  • Enable lighthouse data for performance measuring : 활성화하면 페이지 로드 속도와 사용자 경험 지표를 포함한 앱 성능을 측정하기 위해 Lighthouse 데이터가 수집됩니다.
  • Enable video optimizer for performance measuring : 활성화하면 AT&T Video Optimizer 도구를 사용하여 앱의 영상 성능을 분석하고, 미디어 콘텐츠의 품질과 성능 개선에 도움을 줍니다.
  • Enable code coverage measurement (Android Only) : 활성화하면 테스트 중 실행된 Android 앱 코드의 비율을 측정하여, 테스트의 커버리지를 평가하는 데 도움을 줍니다.
  • Enable Jacoco code coverage measurement (Android Only) : 활성화하면 JaCoCo 도구를 사용하여 Android 앱의 코드 커버리지를 측정하고, 테스트 중 실행된 코드에 대한 정밀한 분석을 제공합니다.


Step 3-8. 고급 옵션 설정(선택사항)
더 상세한 옵션을 설정할 수 있습니다. 본 옵션을 설정하지 않아도 테스트를 실행할 수 있습니다.

  • Specify App Store for Download : 앱 설치에 사용할 스토어를 설정합니다. 기본값은 Android는 PlayStore, iOS는 AppStore입니다. iOS의 경우 TestFlight도 선택 가능합니다.
  • Set Minimum Device OS Version for App Execution : 앱 실행에 필요한 최소 OS 버전을 설정합니다. Android와 iOS 각각 설정 가능하며, Queue에서 설정된 버전 이상의 장비로 디바이스가 할당됩니다.
  • Enable Page Load Time Measurement : Time to Interactive(TTI) 정보 수집 여부를 설정합니다. 기본값은 false입니다.
  • Clear Application Data : 테스트 대상 앱의 데이터 삭제 여부를 설정합니다. 삭제 방지에 등록된 앱의 데이터를 삭제하고자 할 때 사용합니다. 기본값은 false입니다.
  • Enable Chrome Fetch Domain in HAR Logs : HAR 데이터 수집 시 Chrome fetch log 사용 여부를 설정합니다. 기본값은 false입니다.
  • Set Monitoring IPs for Network Health Check : 테스트 중 헬스체크를 진행할 IP 목록을 설정합니다. 설정된 IP로 ping 명령을 보내 디바이스 네트워크 연결 상태를 로그에 기록합니다.
  • Set Custom Ruleset Alias for Exploration : 자율탐색 시 사용할 custom rule의 별칭을 설정합니다. 특정 조건에서 시나리오가 실행되도록 하는 rule 파일 내의 별칭을 지정합니다.
  • Allow Exploration for Specific App IDs : 자율탐색을 허용할 패키지 목록을 설정합니다.


Step 4. 테스트 실행
테스트 설정을 모두 완료하면 우측 상단의 Run 버튼을 클릭합니다.
Run 버튼을 클릭하면 테스트가 실행된 프로젝트의 테스트 목록 페이지로 이동하며, 실시간으로 테스트 진행 과정을 확인할 수 있습니다. (검수 필요 / Test Runs 화면에 대해 설명해야하는지)


웹 테스트 실행하기 #

Step 1. Browser에서 테스트를 실행하려면 먼저 좌측 메뉴바에서 Browser 버튼을 클릭합니다.


Step 2. 테스트를 진행할 프로젝트의 테스트 실행 버튼을 클릭하거나, 프로젝트를 눌러 들어간 뒤 우측 상단의 Run Test 버튼을 클릭합니다.


Step 3. Test Suite 설정, 테스트 URL 설정, 테스트 브라우저 설정, 테스트 제한 시간 설정, 테스트 지역 설정, 테스트 옵션 설정, Advanced Options(optional)항목의 테스트 조건을 설정합니다.


Step 3-1. Test Suite 설정
Test Suite 항목을 클릭하면 선택할 수 있는 Test Suite 목록이 출력됩니다.
테스트를 진행할 Test Suite를 선택하세요.


Step 3-2. 테스트 URL 설정하기
탐색 테스트를 진행할 홈페이지의 URL 주소를 입력합니다.
예) https://apptest.ai


Step 3-3. 테스트 브라우저 설정하기
탐색 테스트를 진행할 브라우저 종류와 해상도를 설정할 수 있습니다.
테스트를 시작할 때 1920*1200 해상도가 기본으로 선택되어 있지만, 다른 해상도로 변경할 수 있습니다.


Step 3-4. 테스트 제한 시간 설정하기
시간은 최소 5분부터 계정에 지정된 최대 시간까지 설정할 수 있으며, 기본 설정은 15분입니다.


Step 3-5. 테스트 지역 설정하기
테스트를 진행할 국가 및 지역을 설정할 수 있습니다.


Step 3-6. 테스트 실행 중 필요한 설정을 지정합니다. (선택사항)

  • Enable network capture for analysis : 활성화하면 테스트 중 앱의 네트워크 트래픽이 HAR(HTTP Archive) 데이터로 수집되어 추후 분석에 활용할 수 있습니다.
  • Enable lighthouse data for performance measuring : 활성화하면 페이지 로드 속도와 사용자 경험 지표를 포함한 앱 성능을 측정하기 위해 Lighthouse 데이터가 수집됩니다.


Step 4. 테스트 실행
테스트 설정을 모두 완료하면 페이지 하단의 우측 상단의 Run 버튼을 클릭합니다.
Run 버튼을 클릭하면 테스트가 실행된 프로젝트의 테스트 목록 페이지로 이동하며, 실시간으로 테스트 진행 과정을 확인할 수 있습니다. (검수 필요 / Test Runs 화면에 대해 설명해야하는지)


일회성 테스트 실행하기 #

일회성 테스트 기능은 Test Suit까지 만들 필요 없이 시나리오 파일이나 앱파일만 있으면 바로 테스트를 실행해 볼수 있도록 제공되는 기능입니다.
Run Instant Test로 실행된 테스트들은 테스트 목록에 Suite 이름이 출력되지 않습니다.


Step 1. 일회성 테스트를 실행하려면 먼저 우측 상단의 Run Instant Test 버튼을 클릭합니다.
Step 2. Autonomous Test 와 Scenario Test 중 실행하고자 하는 테스트의 버튼을 클릭합니다.


1. Autonomous Test #

  1. Project : 프로젝트를 선택합니다. 선택된 팀에서 조회 가능한 프로젝트 목록 중에서 선택할 수 있으며, 프로젝트 변경 시 Application과 Test Settings는 해당 프로젝트의 기본 설정값으로 자동 적용됩니다.
  2. Application : 프로젝트에 설정된 애플리케이션 타입이 기본으로 선택됩니다. 설정된 값은 해당 테스트 실행에만 적용되며 프로젝트의 기본 설정은 변경되지 않습니다.Application : 프로젝트에 설정된 애플리케이션 타입이 기본으로 선택됩니다. 설정된 값은 해당 테스트 실행에만 적용되며 프로젝트의 기본 설정은 변경되지 않습니다.
  3. Device : Random Device 또는 프로젝트에 설정된 OS의 지정 디바이스 목록에서 선택 가능합니다.
  4. Test Settings : 테스트 제한 시간 설정, 디바이스 언어 설정, 앱 파일 재서명, 테스트 중 필요한 항목들을 설정하며, 프로젝트에 설정된 기본 설정값으로 자동 적용됩니다.
  5. Additional Data : 로그인 정보 등 테스트에 필요한 추가 데이터를 설정합니다.
  6. Run : 모든 설정이 완료되면 Run 버튼을 클릭하여 테스트를 시작할 수 있습니다.


2. Scenario Test #

  1. Project : 프로젝트를 선택합니다. 선택된 팀에서 조회 가능한 프로젝트 목록 중에서 선택할 수 있으며, 프로젝트 변경 시 Application과 Test Settings는 해당 프로젝트의 기본 설정값으로 자동 적용됩니다.
  2. Application : 프로젝트에 설정된 애플리케이션 타입이 기본으로 선택됩니다. 설정된 값은 해당 테스트 실행에만 적용되며 프로젝트의 기본 설정은 변경되지 않습니다.
  3. Device : Random Device 또는 프로젝트에 설정된 OS의 지정 디바이스 목록에서 선택 가능합니다.
  4. Scenarios : 시나리오 테스트에서 사용할 시나리오를 선택합니다.
  5. Test Settings : 테스트 제한 시간 설정, 디바이스 언어 설정, 앱 파일 재서명, 테스트 중 필요한 항목들을 설정하며, 프로젝트에 설정된 기본 설정값으로 자동 적용됩니다.
  6. Test Data : 로그인 정보 등 테스트에 필요한 추가 데이터를 설정합니다.
  7. Run : 모든 설정이 완료되면 Run 버튼을 클릭하여 테스트를 시작할 수 있습니다.

Scroll to Top