디바이스 패널은 사용자가 오른쪽에서 디바이스와 UIObject Selector 중 선택에 따라 다른 화면을 제공합니다.
Device 탭에서는 화면을 직접 조작할 수 있고, UIObject Selector 탭에서는 시나리오 작성에 필요한 액션 수행의 주체를 선택할 수 있습니다.
디바이스 화면 (Device Tab) #
① 연결된 디바이스의 이름과 상태가 표시됩니다.
② Stego에 연결할 디바이스를 추가합니다.
③ 선택한 디바이스의 실시간 화면을 나타냅니다.
④ 디바이스 조작 버튼 모음입니다.
⑤ Device/UIObject Selector 화면으로 전환합니다.
⑥ 테스트가 실행될 때 결과를 보여주는 패널입니다.
지원하는 Device 조작 기능 #
Device Tab 모드일 때, 지원하는 기능들은 다음과 같습니다.
: 화면 분석 버튼
: 홈 버튼
: 최근 실행 앱 버튼
: 뒤로가기 버튼
: 화면 잠금 / 잠금 해제 버튼
: 음량 키우기 버튼
: 음량 줄이기 버튼
: 가로/세로 모드 화면 전환 버튼
: Stego에서 Device로 Text 입력 전달 버튼
: Stego에서 Device 화면 캡처 및 이미지 저장 버튼
: Device에서 활성화중인 앱의 Package Name / Bundle ID 복사 버튼
: 활성화된 디바이스의 Binary App에 대한 Install / Uninstall 버튼
: 새로고침 버튼 (Stego와 디바이스 연결을 재시도합니다.)
주의) Android / iOS 유형에 따라 지원하지 않는 기능이 있을 수 있습니다.
화면 분석 도구 #
화면 분석 도구 를 클릭하면, 액션을 수행할 Object의 후보군을 보여주는 UIObject Selector 화면으로 이동합니다.
① 스크린샷에서 인식된 결과를 빨간색 점선으로 표시합니다.
② 외부 이미지 URL을 입력하여 화면을 분석합니다.
③ 추가할 UIObject 유형을 선택합니다.
④ Device/UIObject Seletor 화면으로 전환합니다.
⑤ AI Server에 의해 인식된 결과를 보여줍니다.
화면 분석 시작하기 #
화면이나 이미지에서 Object 후보군을 추출하는 방법은 2가지가 있습니다.
- 를 클릭하여 연결된 디바이스의 화면에서 Object 추출
를 클릭하여 전달한 이미지 URL에서 Object 추출
먼저, 를 이용한 방법은 디바이스가 연결된 상태에서 아래 이미지와 같이 해당 버튼을 클릭합니다.
(화면 분석 실행 화면)
Stego에 미러링된 디바이스의 화면을 캡처하고, AI 분석을 통해 선택 가능한 후보군을 보여줍니다.
해당 버튼은 AI 화면 분석이 진행 중일 때, 수동으로 디바이스를 조작한 경우 현재 디바이스 화면으로 전환할 수 있도록 도와줍니다.
를 이용하여 이미지 URL을 통해 불러온 이미지의 화면을 분석합니다.
(이미지 URL을 이용한 화면 분석하기)
이미지 URL로 화면을 분석하면 테스트 실행 결과에서 시나리오 수정 사항이 발견되었을 때,
디바이스를 연결하지 않고 편리하게 시나리오를 수정할 수 있습니다.
보안 화면 분석하기 (Special Case) #
안드로이드 OS Version 12 이상에서 보안이 필요한 화면에 ‘FLAG_SECURE’가 적용되어 있는 경우가 있습니다.
이런 경우에는 Device에 보이는 화면이 Black Screen 으로 표시되어 Vision을 통한 화면 분석이 불가능합니다.
하지만 저희는 보안 화면이 있는 경우에도 Accessibility를 사용하여 UIElement를 선택할 수 있는 기능을 지원합니다.
(보안화면 예시 이미지)
iOS 비밀번호 칸 키보드 안 보임 #
iOS의 보안 정책으로 인해 비밀번호 입력란을 클릭할 때 표시되는 키보드는 스크린샷에 나타나지 않습니다.
시나리오 작성에 참고 바랍니다.
키보드 입력 #
미러링 화면으로 메뉴얼 테스트를 편하게 지원하기 위해,
Stego에서 Input 값을 입력하면 디바이스에 입력 되는 기능을 제공합니다.
① 키보드 UI를 클릭합니다.
② 원하는 값을 입력하고 Send 버튼을 누르면 됩니다.
주의) 키보드가 발생되어있는 상태에서만 입력 가능합니다.
App ID를 알아내는 방법 #
현재 선택한 디바이스 화면에서 활성화된 앱에 대하여, 간단하게 App ID를 알아내는 방법이 있습니다.
① 앱을 실행한 후, App 이라고 되어있는 UI를 클릭해 주세요.
② 화면 하단에 App ID가 표시되며, 클립보드에 복사됩니다.
활성화된 앱에 바이너리 앱 설치 #
개발 중인 바이너리 앱은 
버튼을 클릭하여, 디바이스에 즉각적인 설치가 가능합니다.
① 톱니바퀴 아이콘 선택 시 Install, Uninstall 버튼이 출력됩니다.
– Install : PC에 저장된 .apk, .ipa 파일들을 선택하면 자동으로 앱이 설치됩니다.
– Uninstall : 디바이스에 설치된 앱의 APP ID를 입력하여 제거합니다.
② Install 선택 시 .apk, .ipa 등 디바이스에 맞는 확장자 파일들을 선택하면 자동으로 앱이 설치됩니다.