Stego에는 7가지 UIObject 유형이 있습니다. 화면에서 원하는 UIObject를 UIObject Field로 드래그해서 추가할 수 있습니다.
모바일 앱에서 일반적으로 사용되는 아이콘, 버튼 등 15개 이상의 화면 요소 유형을 보여줍니다.
화면에 표시되어 있는 숫자나 글자를 인식합니다.
화면에 존재하는 이미지와 일치하는 영역을 찾습니다.
화면에 특정한 위치를 설정합니다.
화면 전체를 선택합니다.
보안 화면에 대한 화면 분석 결과를 제공합니다.
우선 OD, OCR, Crop lmage를 통해 고정된 물체(변화하지 않는)를 지정 후 모니터링하고자 하는 영역을 선택합니다.
OD(Object Detection) #
AI가 인식한 모바일 앱의 버튼, 메뉴, 입력창 등을 사용할 수 있습니다.
Inspector #
AI가 OD(Object Detection)로 인식한 UIObject의 정보는 Inspector 패널에서 확인할 수 있습니다.
- LABEL: UIObject의 유형
- TEXT: UIObject에 포함된 텍스트 (있을 경우)
- BOX: UIObject의 화면상 위치 정보
Attributes #
UIObject Field에서 OD를 클릭해 OD의 속성을 수정할 수 있습니다.
- Label: UIObject의 유형
- Text: UIObject 텍스트 수정 및 비교 조건 설정
- 비교 조건
- =: UIObject의 Text와 value가 똑같은지 검사
- *=: value로 설정한 값이 UIObject의 Text에 포함되어 있는지 검사
- ^=: value로 설정한 값이 UIObject의 Text 시작 부분과 일치하는지 검사
- $=: value로 설정한 값이 UIObject의 Text 끝 부분과 일치하는지 검사
- search: 정규 표현식 사용하여 일치하는지 검사
- not used: Text를 비교 조건으로 사용하지 않음
- 비교 조건
- Text Similarity(Threshold): 텍스트 유사도 (비교 조건이 ‘=’ 일 때만 사용 가능)
- 텍스트가 얼마나 동일해야 매칭할지 설정
- 해상도나 환경 차이로 인해 동일한 텍스트도 다르게 인식될 수 있어 유사도 조절 가능
- 값이 높을수록 텍스트가 더 정확히 일치해야 매칭됨 (기본값: 0.8, 범위: 0~1)
- Case Sensitivity: 알파벳 문자의 대소문자 구분 여부 설정
- Selector: 일치하는 UIObject가 여러 개일 때 사용할 UIObject 순서 지정
- 양수: 화면 상단부터 순서대로 선택 (1, 2, 3…)
- 음수: 화면 하단부터 순서대로 선택 (-1, -2, -3…)
OCR(Optical Character Recognition) #
UIObject의 텍스트 정보를 사용할 수 있습니다. 현재 사용 가능한 문자는 한글, 영어, 숫자, 일부 특수문자입니다.
OCR은 단어 단위로 인식합니다.
여러 개의 단어로 이루어진 문장을 하나의 UIObject로 사용해야 할 경우에는 여러 개의 단어를 드래그해 하나의 UIObject로 사용할 수 있습니다.
Inspector #
AI가 OCR(Optical Character Recognition)로 인식한 UIObject의 정보는 Inspector 패널에서 확인할 수 있습니다.
- TEXT: UIObject에 포함된 텍스트
- BOX: UIObject의 화면상 위치 정보
Attributes #
UIObject Field에서 OCR를 클릭해 OCR의 속성을 수정할 수 있습니다.
- Text: UIObject 텍스트 수정 및 비교 조건 설정
- 비교 조건
- =: UIObject의 Text와 똑같은지 검사
- *=: value로 설정한 값이 UIObject의 Text에 포함되어 있는지 검사
- ^=: value로 설정한 값이 UIObject의 Text 시작 부분과 일치하는지 검사
- $=: value로 설정한 값이 UIObject의 Text 끝 부분과 일치하는지 검사
- search: 정규 표현식 사용하여 일치하는지 검사
- 비교 조건
- Ignore Line Break: 줄 바꿈을 무시하고 Text가 일치하는지 판단 (비교 조건이 ‘=’ 일 때만 사용 가능)
- Text Similarity(Threshold): 텍스트 유사도 (비교 조건이 ‘=’ 일 때만 사용 가능)
- 텍스트가 얼마나 동일해야 매칭할지 설정
- 해상도나 환경 차이로 인해 동일한 텍스트도 약간 다르게 인식될 수 있어 유사도 조절 가능
- 값이 높을수록 텍스트가 더 정확히 일치해야 매칭됨 (기본값: 0.8, 범위: 0~1)
- Case Sensitivity: 알파벳 문자의 대소문자 구분 여부 설정
- Font Style Sensitivity: 폰트 스타일의 유사도 구분 여부 설정
- Selector: 일치하는 UIObject가 여러 개일 때 사용할 UIObject 순서 지정
- 양수: 화면 상단부터 순서대로 선택 (1, 2, 3…)
- 음수: 화면 하단부터 순서대로 선택 (-1, -2, -3…)
Crop Image #
화면에 나타나는 그림을 찾을 때 사용할 수 있습니다.
작성자가 디바이스 화면에서 드래그해서 원하는 부분을 선택합니다.
배경을 최대한 제외하고 선택하면 UIObject를 더 정확하게 찾을 수 있습니다.
Attributes #
UIObject Field에서 Crop Image를 클릭해 Crop Image의 좌표를 수정할 수 있습니다.
- Left: UIObject의 좌측 상단 X 좌표
- Top: UIObject의 좌측 상단 Y 좌표
- Right: UIObject의 우측 하단 X 좌표
- Bottom: UIObject의 우측 하단 Y 좌표
Custom Box #
화면에서 특정 범위를 지정할 때 사용할 수 있습니다.
작성자가 디바이스 화면에서 드래그해서 원하는 부분을 선택합니다.
스크롤이나 스와이프처럼 넓은 범위에서 동작을 수행할 때 사용됩니다.
Attributes #
UIObject Field에서 Custom Box를 클릭해 Custom Box의 좌표를 수정할 수 있습니다.
- Left: UIObject의 좌측 상단 X 좌표
- Top: UIObject의 좌측 상단 Y 좌표
- Right: UIObject의 우측 하단 X 좌표
- Bottom: UIObject의 우측 하단 Y 좌표
Full Screen #
화면 전체를 UIObject로 사용할 수 있습니다.
Attributes #
Full Screen의 속성을 수정할 수 없습니다.
- Left: UIObject의 좌측 상단 X 좌표
- Top: UIObject의 좌측 상단 Y 좌표
- Right: UIObject의 우측 하단 X 좌표
- Bottom: UIObject의 우측 하단 Y 좌표
Accessibility #
화면 보안 설정으로 인해 화면이 정상적으로 보이지 않을 경우(검은 화면 또는 일부 영역이 보이지 않는 경우)에 사용할 수 있습니다.
Inspector에서 UIObject 선택 후 드래그해 설정할 수 있습니다.
Inspector #
AI가 Accessibility로 인식한 UIObject의 정보는 Inspector 패널에서 확인할 수 있습니다.
- IDENTIFIER: UIObject를 구분하는 텍스트 (앱에서 제공하는 경우)
- TYPE: UIObject 유형
- TEXT: UIObject에 포함된 텍스트 (있을 경우)
- BOX: UIObject의 화면상 위치 정보
Attributes #
UIObject Field에서 Accessibility를 클릭해 Accessibility의 속성을 수정할 수 있습니다.
- Identifier: UIObject 구분 텍스트 설정 (앱에서 제공하는 경우) (예:
ReloadButton)- 비교 조건
- =: UIObject의 Identifier와 일치하는지 검사
- not used: Identifier를 사용하지 않음
- 비교 조건
- Type: UIObject 유형 설정 (앱에서 제공하는 경우) (예:
Button)- 비교 조건
- =: UIObject의 Type과 일치하는지 검사
- not used: type를 사용하지 않음
- 비교 조건
- Text: UIObject 텍스트 수정 및 비교 조건 설정
- 비교 조건
- =: UIObject의 Text와 똑같은지 검사
- *=: value로 설정한 값이 UIObject의 Text에 포함되어 있는지 검사
- ^=: value로 설정한 값이 UIObject의 Text 시작 부분과 일치하는지 검사
- $=: value로 설정한 값이 UIObject의 Text 끝 부분과 일치하는지 검사
- search: 정규 표현식 사용하여 일치하는지 검사
- not used: Text를 비교 조건으로 사용하지 않음
- 비교 조건
- Text Similarity(Threshold): 텍스트 유사도 (비교 조건이 ‘=’ 일 때만 사용 가능)
- 텍스트가 얼마나 동일해야 매칭할지 설정
- 해상도나 환경 차이로 인해 동일한 텍스트도 약간 다르게 인식될 수 있어 유사도 조절 가능
- 값이 높을수록 텍스트가 더 정확히 일치해야 매칭됨 (기본값: 0.8, 범위: 0~1)
- Case Sensitivity: 알파벳 문자의 대소문자 구분 여부 설정
- Font Style Sensitivity: 폰트 스타일의 유사도 구분 여부 설정
- Selector: 일치하는 UIObject가 여러 개일 때 사용할 UIObject 순서 지정
- 양수: 화면 상단부터 순서대로 선택 (1, 2, 3…)
- 음수: 화면 하단부터 순서대로 선택 (-1, -2, -3…)
Relative #
기준 UIObject로부터 계산된 위치를 UIObject로 사용할 수 있습니다.
다른 UIObject를 선택한 후, relative 버튼을 클릭해 relative를 설정할 수 있습니다.
기준 UIObject는 노란색으로 표시되고, Relative는 파란색으로 표시됩니다.
Attributes #
UIObject Field에서 Relative를 클릭해 기준 UIObject와 Relative의 속성을 수정할 수 있습니다.
기준 UIObject (예: OCR): 기준 UIObject 유형의 Attributes와 동일합니다.
Relative:
- Left: UIObject의 좌측 상단 X 좌표
- Top: UIObject의 좌측 상단 Y 좌표
- Right: UIObject의 우측 하단 X 좌표
- Bottom: UIObject의 우측 하단 Y 좌표