시나리오 실행 중 예기치 않은 실패가 발생하는 경우, UIObject Field를 통한 화면 요소 검증이 필요합니다. 스텝 액션 영역을 클릭하여 UIObject Field 창에 접근할 수 있습니다.
UIObject Field는 UIObject의 속성값 수정 및 검증 기능을 제공합니다.
- 복수의 UIObject가 등록된 경우, 등록된 항목 중 하나라도 화면에 존재하면 조건 만족으로 처리됩니다.
- UIObject 유효성 확인을 위한 비교 대상 이미지는 다음 세 가지 옵션에서 선택됩니다:
- Self: Authoring Screen과 동일한 화면
- Device: 현재 연결된 디바이스 화면
- UIObject Selector: UIObject Selector의 스크린샷
- Compare 버튼을 통해 Authoring Screen과 지정된 비교 기준 화면 간의 비교 분석이 실행됩니다. 추가된 UIObject는 Authoring Screen에서 노란색 영역으로 시각적 표시됩니다.
화면 요소 검증 방법 #
① 작성 당시의 이미지
② 결과 이미지
③ 매칭 결과 메시지
결과 메시지는 결과상태에 따라 다르게 표시합니다.
- 테스트 성공 시에는 별도의 메시지가 출력되지 않습니다.
- 테스트 실패 :
- 테스트 실패 (다른 UI 매칭) :
UIObject 매칭 정확도 높이기 #
대상 UIObject 식별 실패 시 UIObject Field 창에서 UIObject 보완이 필요합니다. 다음 방법을 통해 UIObject의 매칭률을 높일 수 있습니다:
- UIObject 추가 설정
- UIObject의 Attribute 수정
- Anchor 활용
UIObject 추가 설정 #
하나의 UIObject를 지정했을 때 UIObject 인식에 실패한 경우, 다른 유형의 UIObject를 추가하여 매칭률을 높일 수 있습니다.
UIObject 추가 설정 예시 #
스텝의 액션 오른쪽 공간을 클릭하여 UIObject Field 창을 엽니다.
OCR 방법으로 분석된 화면에서 화면 요소를 지정된 영역으로 Drag and Drop 하면 OCR로 인식된 “로그인” 텍스트 화면 요소가 추가됩니다.
UIObject의 Attribute 수정 #
Attribute는 테스트 수행 시 동일한 정보를 가진 UI 매칭을 위한 기준입니다. UIObject 타입별로 제공되는 정보가 상이하며, 상세 정보 수정을 통한 정확한 타겟 매칭이 가능합니다.
Attribute 수정을 통해 수행할 수 있는 작업은 다음과 같습니다:
- 매칭 기준 강화를 통한 정확한 UI 매칭
- 다중 UI 요소 중 N번째 UI 선택 매칭
정확한 UI 매칭 #
기본 UIObject 매칭 기준의 허용 범위가 넓어 유사한 UIObject가 매칭될 수 있습니다.
OCR의 경우, Attribute의 Text Similarity 값을 1로 수정하면 목표 UIObject만 매칭됩니다.
(의도와 다르게 타겟이 매칭된 예시)
(의도와 맞게 타겟이 매칭된 예시)
“launched”라는 글자를 찾을 때, 매칭 결과를 표시하는 오른쪽 이미지에서 유사한 글자인 “launche” 항목이 매칭될 수 있습니다.
“launched”와 “launche”가 매칭된 이유는 Text Similarity 값이 0.87로 설정된 0.8보다 높기 때문입니다.
Text Similarity 값을 1로 수정하면 원하는 타겟만 매칭할 수 있습니다.
Text Similarity 값 이외에도 다양한 속성값을 수정하여 원하는 UIObject를 매칭할 수 있습니다.
UIObject별 Attribute에 대한 자세한 내용은 Stego 사용 가이드 > UIObject 설정에서 확인할 수 있습니다.
N번째 UI 매칭 #
동일한 Attribute 값을 가진 복수 UI 요소 존재 시, Selector 값 수정을 통한 N번째 UI 매칭이 가능합니다. 기본 조건 매칭 시 최상단 위치 요소가 선택됩니다.
(의도와 다르게 타겟이 매칭된 예시)
(의도와 맞게 타겟이 매칭된 예시)
예를 들어, 아래 화면에 “test” 단어가 8개 있을 경우, 기본 조건으로 매칭하면 화면의 가장 상단에 위치한 “test”가 매칭됩니다.
화면에서 다섯 번째 “test” 단어를 찾아야 할 경우, “Selector=5”로 설정하거나 화면의 아래부터 요소를 찾는 “-” 기능을 이용해 “Selector=-3”로 설정할 수 있습니다.
Anchor 활용 #
특정 UI를 기준으로 한 UIObject 탐색 기능입니다.
기능 설명 #
- Anchor 화면요소 매칭
- 기준 화면 요소 식별 및 매칭
- Target 화면요소 매칭
- 목표 화면 요소 탐색 및 매칭
- Anchor와 Target의 위치정보 관계 확인
- Anchor와 Target 간 위치 관계 검증
위치 정보 기준은 Anchor를 중심으로 Target이 8방향 중 어느 방향에 위치하는지 확인합니다. Anchor가 추가되면 Stego에서 자동으로 반영됩니다.
사용 방법 #
- Authoring Screen 우측 AI 버튼을 통한 작성 시점 이미지 로드
- UIObject 선택 후 + 영역으로 Drag and Drop하여 추가
추가된 Anchor 요소는 보라색 영역으로 표시되며, 해당 UIObject를 클릭하면 속성 정보를 확인할 수 있습니다. 클릭을 통한 수정 및 삭제가 가능하며, 스텝당 최대 3개까지 추가할 수 있습니다. 테스트 실행 시 등록된 모든 Anchor 요소가 존재해야 해당 스텝이 실행됩니다.