图标识别的设想是训练出一个模型，可以像人一样，认识程序界面上的常用图标/按钮，比如返回、关闭、搜索、设置等。这些图标已经是约定俗成的，人们在操作程序时，不需要有文字说明，就能很自然地理解它们的意义。云测的图标识别模型，可以定位并识别程序界面上的常见图标，并把它们语义化，配合自然语言，完成更流畅的自动化脚本编写。图标识别模型支持80类常见图标的识别，识别精度为95.71%，在CPU上速度为450ms（每图），在GPU上的速度为80ms（每图）。

控件智能识别是一种更加完备通用的控件识别方式，而且更加轻量快速，是下一代自动化控件定位技术。它可以实现对界面上所有可见的控件进行识别，包括OCR/以图找图/图标识别都难以处理的输入框控件。另外UI智能识别还包含控件智能定位，可以利用控件及其周围控件的特征，在不同分辨率、不同屏幕位置、或者周围控件有变化等情况下，依然可以找到目标控件。不同于传统的实现，控件智能定位，完全由模型实现，不需要编写复杂的定位规则和逻辑代码。目前正例的精度为: 97.16%，反例为: 97.93%，耗时为232.53ms。

除控件定位技术外，云测也对测试过程中常遇到的手势密码、图形验证码、和滑块验证码，实现了识别。主要使用的技术是深度学习的目标检测算法，实现密码点的检测，字符的检测和分类，和滑块和阴影块的定位，可以应对大部分测试中遇到的验证场景。