View Categories

7.2. UIObject 설정


Stego에는 7가지 UIObject 유형이 있습니다.





OD(Object Detection) #


AI가 인식한 모바일 앱의 버튼, 메뉴, 입력창 등을 사용할 수 있습니다.


Inspector #


AI가 OD(Object Detection)로 인식한 UIObject의 정보는 Inspector 패널에서 확인할 수 있습니다.

  1. LABEL: UIObject의 유형
  2. TEXT: UIObject에 포함된 텍스트 (있을 경우)
  3. BOX: UIObject의 화면상 위치 정보

Inspector 테이블 항목이나 OD를 클릭하면 해당 항목이 노란색으로 표시됩니다.


Attributes #


UIObject Field에서 OD를 클릭하면 OD의 속성을 수정할 수 있습니다.

  • Label: UIObject의 유형
  • Text: UIObject 텍스트와의 비교 조건 설정
    • 비교 조건:
      • =: UIObject의 Text와 value가 똑같은지 검사
      • *=: value로 설정한 값이 UIObject의 Text에 포함되어 있는지 검사
      • ^=: value로 설정한 값이 UIObject의 Text 시작 부분과 일치하는지 검사
      • $=: value로 설정한 값이 UIObject의 Text 끝 부분과 일치하는지 검사
      • search: 정규 표현식 사용하여 일치하는지 검사
      • not used: Text를 비교 조건으로 사용하지 않음
  • Text Similarity(Threshold): 텍스트 유사도 (비교 조건이 ‘=’ 일 때만 사용 가능)
    • 시나리오 작성 당시와 테스트 실행 당시 문자 정보가 얼마나 동일해야 통과할지 설정
    • 해상도나 환경 차이로 인해 동일한 문자도 약간 다르게 인식될 수 있어 유사도 조절 가능
    • 값이 높을수록 비교 정확도가 올라감 (기본값: 0.8, 범위: 0~1)
  • Case Sensitivity: 알파벳 문자의 대소문자 구분 여부 설정
  • Selector: 일치하는 요소가 여러 개일 때 사용할 요소 순서 지정
    • 0을 제외한 정수값으로 설정 가능
    • -1을 입력하면 맨 마지막 요소를 사용




OCR(Optical Character Recognition) #


UIObject의 문자 정보를 사용할 수 있습니다. 현재 사용 가능한 문자는 한글, 영어, 숫자, 일부 특수문자입니다.


OCR은 기본적으로 단어 단위로 인식합니다.

여러 개의 단어로 이루어진 문장을 하나의 UIObject로 사용해야 할 경우에는 여러 개의 단어를 드래그해 하나의 UIObject로 사용할 수 있습니다.


Inspector #


AI가 OCR(Optical Character Recognition)로 인식한 UIObject의 정보는 Inspector 패널에서 확인할 수 있습니다.

  1. TEXT: UIObject에 포함된 텍스트
  2. BOX: UIObject의 화면상 위치 정보

Inspector 테이블 항목이나 OCR를 클릭하면 해당 항목이 노란색으로 표시됩니다.


Attributes #


UIObject Field에서 OCR를 클릭하면 OCR의 속성을 수정할 수 있습니다.

  • Text: OCR과 비교 조건을 설정할 수 있습니다.
    • 비교 조건:
      • =: UIObject의 Text와 똑같은지 검사
      • *=: value로 설정한 값이 UIObject의 Text에 포함되어 있는지 검사
      • ^=: value로 설정한 값이 UIObject의 Text 시작 부분과 일치하는지 검사
      • $=: value로 설정한 값이 UIObject의 Text 끝 부분과 일치하는지 검사
      • search: 정규 표현식 사용하여 일치하는지 검사
      • not used: Text를 비교 조건으로 사용하지 않음
  • Ignore Line Break: 줄 바꿈을 무시하고 Text가 일치하는지 판단 (비교 조건이 ‘=’ 일 때만 사용 가능)
  • Text Similarity(Threshold): 텍스트 유사도 (비교 조건이 ‘=’ 일 때만 사용 가능)
    • 시나리오 작성 당시와 테스트 실행 당시 문자 정보가 얼마나 동일해야 통과할지 설정
    • 해상도나 환경 차이로 인해 동일한 문자도 약간 다르게 인식될 수 있어 유사도 조절 가능
    • 값이 높을수록 비교 정확도가 올라감 (기본값: 0.8, 범위: 0~1)
  • Case Sensitivity: 알파벳 문자의 대소문자 구분 여부 설정
  • Font Style Sensitivity: 폰트 스타일의 유사도 구분 여부 설정
  • Selector: 테스트를 진행할 때 일치하는 요소가 여러 개 나왔을 때 몇 번째 요소를 사용할지 지정
    • 0을 제외한 정수값으로 설정 가능
    • -1을 입력하면 맨 마지막 요소를 사용




Crop Image #


화면에 나타나는 그림을 찾을 때 사용할 수 있습니다.


작성자가 디바이스 화면에서 드래그해서 원하는 부분을 선택합니다.

배경을 최대한 제외하고 선택하면 UIObject를 더 정확하게 찾을 수 있습니다.


Attributes #


UIObject Field에서 Crop Image를 클릭해 이미지 좌표를 수정할 수 있습니다.

  • Left: UIObject의 좌측 상단 X 좌표
  • Top: UIObject의 좌측 상단 Y 좌표
  • Right: UIObject의 우측 하단 X 좌표
  • Bottom: UIObject의 우측 하단 Y 좌표




Custom Box #


화면에서 특정 범위를 지정할 때 사용할 수 있습니다.


작성자가 디바이스 화면에서 드래그해서 원하는 부분을 선택합니다.

스크롤이나 스와이프처럼 넓은 범위에서 동작을 수행할 때 사용됩니다.


Attributes #


UIObject Field에서 Custom Box를 클릭해 이미지 좌표를 수정할 수 있습니다.

  • Left: UIObject의 좌측 상단 X 좌표
  • Top: UIObject의 좌측 상단 Y 좌표
  • Right: UIObject의 우측 하단 X 좌표
  • Bottom: UIObject의 우측 하단 Y 좌표




Full Screen #


화면 전체를 UIObject로 설정해서 전체 화면을 대상으로 동작을 수행할 때 사용할 수 있습니다.


Attributes #


Full Screen의 속성을 수정할 수 없습니다.

  • Left: UIObject의 좌측 상단 X 좌표
  • Top: UIObject의 좌측 상단 Y 좌표
  • Right: UIObject의 우측 하단 X 좌표
  • Bottom: UIObject의 우측 하단 Y 좌표




Accessibility #


화면 보안 설정으로 인해 화면이 정상적으로 보이지 않을 경우(검은 화면 또는 일부 영역이 보이지 않는 경우)에 사용할 수 있습니다.


Inspector에서 UIObject 선택 후 드래그해 설정할 수 있습니다.


Inspector #


AI가 Accessibility로 인식한 UIObject의 정보는 Inspector 패널에서 확인할 수 있습니다.

  1. IDENTIFIER: UIObject를 구분하는 텍스트 (앱에서 제공할 경우)
  2. TYPE: UIObject 유형
  3. TEXT: UIObject에 포함된 문자열 (있을 경우)
  4. BOX: UIObject의 화면상 위치 정보

Inspector 테이블 항목이나 UIObject를 클릭하면 해당 항목이 노란색으로 표시됩니다.


Attributes #


UIObject Field에서 Accessibility를 클릭하면 Accessibility 속성을 수정할 수 있습니다.

  • Identifier: 앱에서 정한 identifier 활용 (예: ReloadBotton)
    • 비교 조건:
      • =: UIObject의 Identifier와 일치하는지 검사
      • not used: Identifier를 사용하지 않음
  • Type: 앱에서 정한 UIObject 유형 활용 (예: Botton)
    • 비교 조건:
      • =: UIObject의 Type과 일치하는지 검사
      • not used: type를 사용하지 않음
  • Text: UIObject의 텍스트 활용
    • 비교 조건:
      • =: UIObject의 Text와 똑같은지 검사
      • *=: value로 설정한 값이 UIObject의 Text에 포함되어 있는지 검사
      • ^=: value로 설정한 값이 UIObject의 Text 시작 부분과 일치하는지 검사
      • $=: value로 설정한 값이 UIObject의 Text 끝 부분과 일치하는지 검사
      • search: 정규 표현식 사용하여 일치하는지 검사
      • not used: Text를 비교 조건으로 사용하지 않음
  • Text Similarity(Threshold): 텍스트 유사도 (비교 조건이 ‘=’ 일 때만 사용 가능)
    • 시나리오 작성 당시와 테스트 실행 당시 문자 정보가 얼마나 동일해야 통과할지 설정
    • 해상도나 환경 차이로 인해 동일한 문자도 약간 다르게 인식될 수 있어 유사도 조절 가능
    • 값이 높을수록 비교 정확도가 올라감 (기본값: 0.8, 범위: 0~1)
  • Case Sensitivity: 알파벳 문자의 대소문자 구분 여부 설정
  • Font Style Sensitivity: 폰트 스타일의 유사도 구분 여부 설정
  • Selector: 테스트를 진행할 때 일치하는 요소가 여러 개 나왔을 때 몇 번째 요소를 사용할지 지정
    • 0을 제외한 정수값으로 설정 가능
    • -1을 입력하면 맨 마지막 요소를 사용




Relative #


기준 UIObject로부터 계산된 위치를 UIObject로 사용할 수 있습니다.


다른 UIObject를 선택한 후, relative 버튼을 클릭해 relative를 설정할 수 있습니다.

기준 UIObject는 노란색으로 표시되고, Relative는 파란색으로 표시됩니다.


Relative Attributes #


UIObject Field에서 Relative를 클릭해 기준 UIObject와 Relative의 속성을 수정할 수 있습니다.


기준 UIObject (예: OCR):

  • 기준 UIObject의 Attributes를 확인해 주세요.

Relative:

  • Left: UIObject의 좌측 상단 X 좌표
  • Top: UIObject의 좌측 상단 Y 좌표
  • Right: UIObject의 우측 하단 X 좌표
  • Bottom: UIObject의 우측 하단 Y 좌표
Scroll to Top