以捕获和操作使用JAB自动化技术的Java应用程序为例。使用者先用界面元素分析器捕获目标元素，此时根据鼠标点击的位置，界面元素分析器可以获得目标元素所在的窗口以及窗口所属的应用程序并拿到窗口和应用程序的信息。根据这些信息，自动化技术切换器将根据规则选择最合适的自动化技术。在这个例子中会智能切换到JAB自动化技术。接下来，界面元素分析器会调用“获取指定位置下的目标元素”这个方法获取目标元素，该方法的底层实现基于JAB自动化技术，该目标元素所具有的属性和支持的方法也都是通过JAB自动化技术得到的。这些属性和方法也是抽象的，通过JAB自动化技术获取到的属性role会被映射为标准的control，通过JAB自动化技术获取到的方法Click会被映射为标准的Invoke。使用者想要实现点击目标元素，只需要按照统一的规则调用Invoke方法即可，不需要关心该方法底层是如何实现的。
定位目标元素还存在一个很常见的问题，目标元素的属性和在UI中的位置偶尔会发生变化。例如有些窗口标题会带版本号，一旦更新应用程序就会发生变化。当这些发生变化时，就有可能定位失败。为了更好地定位元素，用户界面被抽象为了一个文档对象模型（Document Object Model)，支持使用CSS语法和XPath语法的元素选择器定位目标元素，元素选择器是一段文本，包含了元素的属性和层级关系，支持模糊匹配。
文档对象模型常用于操纵HTML和XML数据，它将整个文档抽象为逻辑上的对象，然后定义了访问和操作这些文档的方法。文档对象模型独立于任何系统平台和编程语言，使用文档对象模型提供的方法，可以构建文档、导航其结构以及添加、修改或删除元素和内容。用户界面也可以抽象成一个文档对象模型，形成一个树结构，每个界面元素都是用户界面树的一个节点，每个节点都是一个抽象的元素对象，有相同的属性和方法。在界面元素分析器和应用程序的通信过程中，跨系统兼容的自动化技术切换器会根据获取到的应用程序信息按照规则自动切换，对接相应的自动化技术接口，用获取到的界面元素信息来构建抽象元素对象以及文档对象模型。
在元素分析器界面，可以看到用户界面树的整体结构和每个界面元素的各种属性，通过定位语句，可以定位到满足定位语句的目标元素。定位语句采用自研语法解析技术，同时支持CSS语法和XPath语法，支持按属性精准匹配、前缀匹配、后缀匹配和模糊匹配，支持描述元素间的后代关系、父子关系和兄弟关系，自由度极高，适应用户界面变化能力强。捕获元素后会自动生成适合的元素选择器，使用者也可以在此基础上手动修改以提高定位的灵活性和准确度。
RPA界面元素智能自适应定位与操控技术同样支持国产操作系统，国产操作系统大多是基于Linux改造的，借助Qt-at-spi技术，可以通过Linux的调试接口获取到图形界面上应用程序的界面元素。针对不同的国产操作系统，具体实现细节有所区别。通过封装，实现了各国产操作系统和Windows操作系统接口的统一。
目前RPA界面元素智能自适应定位与操控技术已兼容WIN32、UIA、MSAA、JAVA、SAP、Chrome、IE、Firefox、X11等多种自动化技术。借助自动化技术智能切换方案，使用过程中选择器会智能切换自动化技术。切换方案同时支持自定义配置，可以应对特殊场景的需求。达观全能界面元素选择器的可拓展性很强，新的自动化技术可以通过公共接口无缝接入，改造和升级都十分方便，不会影响现有的RPA流程。
RPA界面元素智能自适应定位与操控技术同时兼容多种操作系统，包括Windows7 SP1以上的主流Windows操作系统、MAC系统、国产麒麟、统信、中科方德系统等。RPA流程可以轻松在这些系统间迁移，相同应用程序的同一界面元素定位语句完全相同，相同操作的底层实现会根据当前运行的系统自动切换。相比之下，其他RPA产品多是基于Windows的Net框架实现的界面元素定位和操控，无法迁移到其他操作系统中运行的。
01 兼容更多自动化技术
目前，还有一些自动化技术没做到兼容，例如Citrix虚拟化应用、RDP远程桌面等。这些场景下仍然需要开发者采用相应的技术，做针对性开发。后续RPA界面元素智能自适应定位与操控技术将加入对更多自动化技术的支持，进一步优化RPA开发者的体验。
02 兼容更多操作系统
当下，国产操作系统发展迅速，麒麟、统信、中科方德等国产操作系统的市场越来越大，后续在这些国产操作系统上开发和运行RPA流程的需求也会越来越多。除此之外，移动设备上也有一些运行RPA流程的需求。兼容这些操作系统也同样在开发计划之内。
03 开发基于图像的自动化技术
虽然大多数应用程序都支持自动化技术，但仍有少数应用缺乏相关支持。达观全能界面元素定位和操控技术将依托公司的自研AI能力，开发图像自动化技术来解决这一问题。该技术会将用户界面按照不同层级进行智能分割，提取出不同层级的图像作为元素对象，通过图像技术构造用户界面树并提取出元素对象的属性信息。这一技术将彻底解决应用程序不支持自动化技术的问题，真正做到通用且无侵入的定位和操控界面元素。
金克：达观数据技术副总裁，负责达观数据RPA产品团队组建和研发。在加入达观之前，联合创立“飞语云通讯”并担任CTO，在系统工程开发、大规模并发网络、Go语言程序设计等方面有丰富的经验，先后在格尔软件，爱克发医疗，盛大创新院，飞语等公司就职，有十余年的软件开发经验，带领团队参与了信息安全，医疗影像，云存储，支付和计费系统、云通讯平台等的研发工作。2021年上海“张江工匠”获得者。
