本文侧重于基于 Computer Use 和 FileSystem 能力的实践建议。

生命周期阶段

桌面应用自动化通常包含以下阶段：

推荐流程：

准备资源 -> 创建 Session -> 截图观察 -> 启动应用 -> 等待就绪 -> 执行业务操作 -> 确认结果 -> 文件归档 -> 关闭 Session

启动应用

可通过以下方式启动应用：

• 点击桌面快捷方式。

• 通过开始菜单搜索并启动。

• 操作资源管理器打开指定文件或程序。

• 使用业务系统预先配置的启动入口。

由于不同应用启动耗时不同，建议启动后加入截图确认。SDK 当前没有独立 wait 方法时，可以在业务代码中使用 setTimeout、任务轮询或截图状态判断实现等待。

等待应用就绪

建议使用以下方式判断应用是否就绪：

• 截图中出现目标窗口标题或关键界面元素。

• 鼠标点击输入框后可正常输入。

• 目标输出目录已生成预期文件。

• 界面不再处于加载状态。

执行业务操作

执行业务操作时，建议将任务拆分为多个小步骤，每个步骤都具备明确的输入、动作和结果判断。

示例：

1. 打开目标页面。

2. 输入查询条件。

3. 点击查询按钮。

4. 等待结果区域刷新。

5. 导出结果文件。

6. 使用 FileSystem 读取导出文件。

结果确认

结果确认可以结合以下方式：

• 使用 screen_shot 留存界面状态。

• 使用 read_file 读取导出的文本文件。

• 使用 search_files 检查输出目录是否生成目标文件。

• 使用业务系统自身的状态接口或任务记录进行交叉验证。

异常处理

桌面应用可能出现弹窗、卡顿、登录过期、网络异常等情况。建议为以下异常设计处理策略：

• 应用启动失败。

• 窗口未出现在预期位置。

• 输入后无响应。

• 点击后出现错误弹窗。

• 导出文件未生成。

• 文件读取失败。

对无法自动恢复的异常，应保留截图、会话 ID 和任务日志，便于人工排查。

收尾建议

• 关闭当前任务打开的窗口。

• 将输出文件移动到约定目录。

• 清理任务执行过程中产生的临时内容。

• 关闭 SDK 会话。

• 记录任务结果和关键日志。