大语言模型GUI智能体：人机交互新时代 / 大模型前沿技术与应用丛书
定价：￥108.00
作者： 张朝运等
出版时间：2025-11
出版社：电子工业出版社
- 电子工业出版社
- 9787121514074
- 1-1
- 16开
- 2025-11
- 297
- 工学
- 计算机类
- 计算机科学与技术
- 本科 研究生及以上
内容简介
随着大语言模型（LLM）技术的突破，人工智能正从“语言专家”演变为具备行动能力的 智能体。大语言模型驱动的图形用户界面（GUI）智能体革新了传统 GUI 的自动化方式，不 再依赖脚本或规则，而是通过自然语言理解、屏幕解析和自主决策，高效、灵活地执行任务。 本书系统介绍这一新兴领域的发展背景、核心技术与应用场景，涵盖 GUI 智能体的架构设计、 数据采集，以及大行动模型（LAM）构建、关键评估指标和应用，帮助读者掌握 GUI 智能体 的完整方法论，并深入探讨 GUI 智能体当前面临的挑战与未来发展趋势。 全书配有丰富的图示与实践案例，涵盖多种真实场景下的智能 GUI 自动化方案，帮助读 者轻松上手。针对研究人员与开发者，本书提供了示例代码与实践指南，从系统搭建到核心算 法调参，都配有注释。对于希望提高企业自动化能力的工程师，也可借鉴书中切实可行的落地 经验。针对复杂的跨平台操作或大规模界面测试，本书给出了行之有效的思路与实现路径，使 GUI 智能体自动化不再是遥不可及的概念。
目录
前言 III
第 1 部分：基础理论与背景
第 1 章 大语言模型驱动下
的人机交互革命 2
1.1 人机交互演进简史 3
1.1.1 从 CLI 到 GUI：易用性与效率的折中 3
1.1.2 GUI 的优势与局限 4
1.2 大语言模型的发展与影响 5
1.2.1 大语言模型的关键特征 5
1.2.2 大语言模型驱动智能体的诞生 7
1.3 大语言模型驱动的 GUI 智能体的兴起 8
1.3.1 GUI 智能体的定义和意义 8
1.3.2 关键技术和形成动因 9
1.3.3 研究现状和初步应用概览 11
1.4 与 API-Only 智能体的比较与互补 12
1.4.1 API-Only 智能体：成熟度与早期优势 12
1.4.2 GUI 智能体：多模态下的交互变革 13
1.4.3 关键差异与适用场景 13
1.4.4 融合趋势：混合式智能体的未来 14
1.5 本章小结 15
第 2 章 GUI 自动化的发展之路 16
2.1 早期 GUI 自动化 17
2.1.1 传统 GUI 自动化方法概览 17
2.1.2 典型工具与软件 19
2.2 GUI 自动化的智能之路 .20
2.2.1 机器学习在 GUI 自动化中的作用 20
2.2.2 计算机视觉在 GUI 自动化中的作用 21
2.2.3 自然语言处理在 GUI 自动化中的作用 22
2.2.4 强化学习在 GUI 自动化中的独特优势 22
2.3 本章小结 23
第 3 章 大语言模型与通用智能体 24
3.1 大语言模型基础 25
3.1.1 预训练 25
3.1.2 微调 25
3.1.3 后训练 26
3.1.4 视觉与文本的融合 26
3.2 通用智能体 27
3.2.1 推理分析 28
3.2.2 记忆存储 30
3.2.3 工具调用 32
3.3 本章小结 34
第 2 部分：核心技术与方法
第 4 章 GUI 智能体的体系结构与核心设计 36
4.1 基础架构与工作流程 37
4.1.1 总体架构概览 37
4.1.2 工作流程总览 38
4.2 环境感知与平台适配 39
4.2.1 平台特性与适配挑战 39
4.2.2 环境状态捕获 41
4.3 提示工程 44
4.4 推理策略 47
4.4.1 规划 47
4.4.2 动作推断 48
4.4.3 补充输出 48
4.5 动作执行 49
4.5.1 GUI 操作 49
4.5.2 原生 API 调用 50
4.5.3 AI 工具辅助 50
4.6 记忆管理 51
4.6.1 短期记忆：支撑运行时上下文连贯 52
4.6.2 长期记忆：沉淀经验与跨任务泛化 52
4.7 本章小结 54
第 5 章 GUI 智能体的高级增强与自我演进 56
5.1 基于计算机视觉的 GUI 控件识别 57
5.1.1 OCR、目标检测与控件识别 .57
5.1.2 多模态在复杂 GUI 解析中的实践：以 OmniParser 为例 58
5.2 多智能体协作 60
5.2.1 专业化分工 60
5.2.2 智能体间协作 61
5.3 强化学习 62
5.3.1 GUI 智能体在交互式环境下的建模 62
5.3.2 基于强化学习的 GUI 智能体训练 63
5.4 自我反思与自我进化 64
5.4.1 自我反思 64
5.4.2 自我进化 65
5.5 本章小结 67
第 3 部分：实践案例与应用
第 6 章 大语言模型驱动的GUI 智能体框架与平台实践 69
6.1 网页端 GUI 智能体 70
6.1.1 常见流程与关键技术 70
6.1.2 典型的网页端 GUI 智能体示例 71
6.2 移动端 GUI 智能体 74
6.2.1 常见流程与关键技术 74
6.2.2 典型的移动端 GUI 智能体示例 75
6.3 桌面端 GUI 智能体 76
6.3.1 常见流程与关键技术 76
6.3.2 典型桌面端 GUI 智能体示例 77
6.4 跨平台 GUI 智能体 80
6.4.1 “一次开发，多端适配”的挑战 80
6.4.2 框架迁移与版本管理 80
6.4.3 典型跨平台 GUI 智能体示例 81
6.5 工业界案例 82
6.5.1 Anthropic Computer Use 82
6.5.2 OpenAI Computer-UsingAgent 和 Operator 83
6.6 本章小结 85
第 7 章 GUI 智能体数据集的采集与构建 87
7.1 数据的类型与来源 88
7.2 数据采集管线 89
7.3 现有数据集案例 89
7.3.1 网页端数据集 90
7.3.2 移动端数据集 91
7.3.3 桌面端数据集 91
7.3.4 跨平台数据集 92
7.4 本章小结 93
第 8 章 GUI 智能体的大行动模型训练 95
8.1 从理解到执行：大行动模型的崛起 96
8.2 不同平台的大行动模型应用 97
8.2.1 网页端 GUI 场景：从指令到控件操作 98
8.2.2 移动端与桌面端大行动模型的对比与关键技术差异 99
8.2.3 跨平台大行动模型的融合与挑战 101
8.3 模型训练与微调 103
8.3.1 数据收集与准备 103
8.3.2 大行动模型训练主流框架详解 104
8.4 大行动模型案例分析 108
8.4.1 设计思路与架构概览 108
8.4.2 模型训练方法 109
8.4.3 集成部署与在线效果评估 113
8.5 本章小结 116
第 9 章 GUI 智能体评测方法与展望 117
9.1 评测体系概览 .118
9.2 测试用例设计 .119
9.2.1 测试用例设计中的挑战 119
9.2.2 设计原则 120
9.2.3 用例类型 121
9.3 评估指标 122
9.3.1 成功率维度 122
9.3.2 效率维度 122
9.3.3 合规性与安全性维度 123
9.3.4 稳健性维度 123
9.3.5 用户满意度维度 124
9.4 度量标准 124
9.4.1 文本匹配 124
9.4.2 图像匹配 125
9.4.3 元素匹配 125
9.4.4 动作匹配 126
9.4.5 状态校验 126
9.5 常见评测平台与基准集 126
9.5.1 主流评测平台介绍 126
9.5.2 GUI 智能体评测基准示例 128
9.6 未来发展展望 .131
9.7 本章小结 132
第 10 章 详解 WindowsGUI 智能体UFO 133
10.1 项目背景与时代意义 134
10.1.1 Windows 平台的自动化挑战 134
10.1.2 UFO 项目的提出与定位 134
10.2 UFO 系统总体架构 134
10.2.1 架构设计理念 134
10.2.2 核心架构流程总览 134
10.2.3 虚拟化与安全隔离设计 135
10.2.4 多智能体协同模式 135
10.3 HostAgent：系统级编排与执行控制 136
10.3.1 模块定位与功能概述 136
10.3.2 体系结构与主要流程 136
10.3.3 工程实现细节 137
10.3.4 有限状态机与可靠性保障 138
10.3.5 内存管理与状态同步机制 139
10.4 AppAgent：应用专属智能体 139
10.4.1 模块定位与功
第 1 部分：基础理论与背景
第 1 章 大语言模型驱动下
的人机交互革命 2
1.1 人机交互演进简史 3
1.1.1 从 CLI 到 GUI：易用性与效率的折中 3
1.1.2 GUI 的优势与局限 4
1.2 大语言模型的发展与影响 5
1.2.1 大语言模型的关键特征 5
1.2.2 大语言模型驱动智能体的诞生 7
1.3 大语言模型驱动的 GUI 智能体的兴起 8
1.3.1 GUI 智能体的定义和意义 8
1.3.2 关键技术和形成动因 9
1.3.3 研究现状和初步应用概览 11
1.4 与 API-Only 智能体的比较与互补 12
1.4.1 API-Only 智能体：成熟度与早期优势 12
1.4.2 GUI 智能体：多模态下的交互变革 13
1.4.3 关键差异与适用场景 13
1.4.4 融合趋势：混合式智能体的未来 14
1.5 本章小结 15
第 2 章 GUI 自动化的发展之路 16
2.1 早期 GUI 自动化 17
2.1.1 传统 GUI 自动化方法概览 17
2.1.2 典型工具与软件 19
2.2 GUI 自动化的智能之路 .20
2.2.1 机器学习在 GUI 自动化中的作用 20
2.2.2 计算机视觉在 GUI 自动化中的作用 21
2.2.3 自然语言处理在 GUI 自动化中的作用 22
2.2.4 强化学习在 GUI 自动化中的独特优势 22
2.3 本章小结 23
第 3 章 大语言模型与通用智能体 24
3.1 大语言模型基础 25
3.1.1 预训练 25
3.1.2 微调 25
3.1.3 后训练 26
3.1.4 视觉与文本的融合 26
3.2 通用智能体 27
3.2.1 推理分析 28
3.2.2 记忆存储 30
3.2.3 工具调用 32
3.3 本章小结 34
第 2 部分：核心技术与方法
第 4 章 GUI 智能体的体系结构与核心设计 36
4.1 基础架构与工作流程 37
4.1.1 总体架构概览 37
4.1.2 工作流程总览 38
4.2 环境感知与平台适配 39
4.2.1 平台特性与适配挑战 39
4.2.2 环境状态捕获 41
4.3 提示工程 44
4.4 推理策略 47
4.4.1 规划 47
4.4.2 动作推断 48
4.4.3 补充输出 48
4.5 动作执行 49
4.5.1 GUI 操作 49
4.5.2 原生 API 调用 50
4.5.3 AI 工具辅助 50
4.6 记忆管理 51
4.6.1 短期记忆：支撑运行时上下文连贯 52
4.6.2 长期记忆：沉淀经验与跨任务泛化 52
4.7 本章小结 54
第 5 章 GUI 智能体的高级增强与自我演进 56
5.1 基于计算机视觉的 GUI 控件识别 57
5.1.1 OCR、目标检测与控件识别 .57
5.1.2 多模态在复杂 GUI 解析中的实践：以 OmniParser 为例 58
5.2 多智能体协作 60
5.2.1 专业化分工 60
5.2.2 智能体间协作 61
5.3 强化学习 62
5.3.1 GUI 智能体在交互式环境下的建模 62
5.3.2 基于强化学习的 GUI 智能体训练 63
5.4 自我反思与自我进化 64
5.4.1 自我反思 64
5.4.2 自我进化 65
5.5 本章小结 67
第 3 部分：实践案例与应用
第 6 章 大语言模型驱动的GUI 智能体框架与平台实践 69
6.1 网页端 GUI 智能体 70
6.1.1 常见流程与关键技术 70
6.1.2 典型的网页端 GUI 智能体示例 71
6.2 移动端 GUI 智能体 74
6.2.1 常见流程与关键技术 74
6.2.2 典型的移动端 GUI 智能体示例 75
6.3 桌面端 GUI 智能体 76
6.3.1 常见流程与关键技术 76
6.3.2 典型桌面端 GUI 智能体示例 77
6.4 跨平台 GUI 智能体 80
6.4.1 “一次开发，多端适配”的挑战 80
6.4.2 框架迁移与版本管理 80
6.4.3 典型跨平台 GUI 智能体示例 81
6.5 工业界案例 82
6.5.1 Anthropic Computer Use 82
6.5.2 OpenAI Computer-UsingAgent 和 Operator 83
6.6 本章小结 85
第 7 章 GUI 智能体数据集的采集与构建 87
7.1 数据的类型与来源 88
7.2 数据采集管线 89
7.3 现有数据集案例 89
7.3.1 网页端数据集 90
7.3.2 移动端数据集 91
7.3.3 桌面端数据集 91
7.3.4 跨平台数据集 92
7.4 本章小结 93
第 8 章 GUI 智能体的大行动模型训练 95
8.1 从理解到执行：大行动模型的崛起 96
8.2 不同平台的大行动模型应用 97
8.2.1 网页端 GUI 场景：从指令到控件操作 98
8.2.2 移动端与桌面端大行动模型的对比与关键技术差异 99
8.2.3 跨平台大行动模型的融合与挑战 101
8.3 模型训练与微调 103
8.3.1 数据收集与准备 103
8.3.2 大行动模型训练主流框架详解 104
8.4 大行动模型案例分析 108
8.4.1 设计思路与架构概览 108
8.4.2 模型训练方法 109
8.4.3 集成部署与在线效果评估 113
8.5 本章小结 116
第 9 章 GUI 智能体评测方法与展望 117
9.1 评测体系概览 .118
9.2 测试用例设计 .119
9.2.1 测试用例设计中的挑战 119
9.2.2 设计原则 120
9.2.3 用例类型 121
9.3 评估指标 122
9.3.1 成功率维度 122
9.3.2 效率维度 122
9.3.3 合规性与安全性维度 123
9.3.4 稳健性维度 123
9.3.5 用户满意度维度 124
9.4 度量标准 124
9.4.1 文本匹配 124
9.4.2 图像匹配 125
9.4.3 元素匹配 125
9.4.4 动作匹配 126
9.4.5 状态校验 126
9.5 常见评测平台与基准集 126
9.5.1 主流评测平台介绍 126
9.5.2 GUI 智能体评测基准示例 128
9.6 未来发展展望 .131
9.7 本章小结 132
第 10 章 详解 WindowsGUI 智能体UFO 133
10.1 项目背景与时代意义 134
10.1.1 Windows 平台的自动化挑战 134
10.1.2 UFO 项目的提出与定位 134
10.2 UFO 系统总体架构 134
10.2.1 架构设计理念 134
10.2.2 核心架构流程总览 134
10.2.3 虚拟化与安全隔离设计 135
10.2.4 多智能体协同模式 135
10.3 HostAgent：系统级编排与执行控制 136
10.3.1 模块定位与功能概述 136
10.3.2 体系结构与主要流程 136
10.3.3 工程实现细节 137
10.3.4 有限状态机与可靠性保障 138
10.3.5 内存管理与状态同步机制 139
10.4 AppAgent：应用专属智能体 139
10.4.1 模块定位与功
