第1章 多模交互的演进1 __eol__1.1 什么是多模交互 1 __eol__1.1.1 人机交互的发展历史 1 __eol__1.1.2 多模交互的定义 4 __eol__1.1.3 多模交互技术逐渐成熟 6__eol__1.1.4 多模融合的三个阶段 9 __eol__1.2 初步融合阶段 10 __eol__1.2.1 多模态之间的关系 10 __eol__1.2.2 多模融合的关键12 __eol__1.2.3 多模交互框架 13 __eol__1.3 语义理解阶段 14 __eol__1.3.1 什么是语义 14 __eol__1.3.2 语义对于多模交互的重要性 15 __eol__1.4 任务自适应阶段 17 __eol__1.4.1 认知负荷 17 __eol__1.4.2 隐私性19 __eol__1.4.3 安全性20 __eol__1.4.4 模态容量 20 __eol__1.4.5 信息重要程度和交互历史 21__eol__1.4.6 交互距离22 __eol__1.5 当前我们能做什么 23 __eol____eol__第2章 多模交互包含什么 25__eol__2.1 视觉系统的特点 25 __eol__2.1.1 视觉范围25 __eol__2.1.2 3.5 毫米的中央凹和每秒3~4次的跳动频率 26 __eol__2.1.3 中央视觉和周围视觉 28 __eol__2.1.4 我们是如何阅读的 29 __eol__2.1.5 光亮与黑暗31 __eol__2.2 听觉32 __eol__2.2.1 听觉系统的特点32 __eol__2.2.2 视觉和听觉的区别 34 __eol__2.3 触觉 35 __eol__2.3.1 触觉系统的特点 35 __eol__2.3.2 触觉感知的相关应用 35 __eol__2.4 嗅觉、味觉和五感理论 40 __eol__2.4.1 嗅觉系统和味觉系统的特点 40 __eol__2.4.2 嗅觉营销相关案例 42 __eol__2.4.3 嗅觉交互上的探索 43 __eol__2.4.4 嗅觉和味觉设计存在的问题 45 __eol__2.4.5 五感理论 45 __eol__2.5 主动交互47 __eol__2.5.1 包含情绪的语音 47 __eol__2.5.2 肢体动作 48 __eol__2.5.3 手势 49 __eol__2.5.4 面部表情 51 __eol__2.5.5 眼神 51 __eol__2.6 无须主动交互的生物识别技术 52__eol__2.6.1 指纹识别 53 __eol__2.6.2 人脸识别 53 __eol__2.6.3 虹膜识别 54 __eol__2.6.4 声纹识别 55 __eol__2.6.5 心率检测 56 __eol__2.6.6 肌肉电信号57 __eol__2.6.7 脑电波 58 __eol____eol__第3章 语音交互设计61 __eol__3.1 声音的构成和作用 62 __eol__3.1.1 语言 63 __eol__3.1.2 音乐和音效 67 __eol__3.2 语音交互的特点 70 __eol__3.2.1 语音交互的优势 70 __eol__3.2.2 语音交互的不足 72 __eol__3.2.3 语音交互的五大特性 77 __eol__3.3 创造一位智能语音助手 78 __eol__3.3.1 寻找合适的音色 80 __eol__3.3.2 确定智能语音助手和用户的关系 82 __eol__3.3.3 构建智能语音助手的用户画像 84 __eol__3.3.4 设计合理的唤醒词 86 __eol__3.4 语音交互框架、意图设计 88 __eol__3.4.1 四种语音交互模式 88 __eol__3.4.2 四种“唤醒+识别”方式89 __eol__3.4.3 语音交互状态设计 90 __eol__3.4.4 意图设计术语介绍 94 __eol__3.4.5 智能语音平台如何听懂用户说的话 98 __eol__3.4.6 设计能听懂用户说什么的智能语音产品 101 __eol__3.5 对话设计原则 107 __eol__3.5.1 设计对话前需要了解的事项 107__eol__3.5.2 任务型对话设计原则 113 __eol__3.5.3 修复对话设计原则 118 __eol__3.6 语音交互的GUI 设计 121__eol__ __eol__第4章 仍在起步的隔空手势交互130 __eol__4.1 手势的介绍 130 __eol__4.1.1 手势交互的发展 130 __eol__4.1.2 手势的分类 132 __eol__4.2 隔空手势设计 135 __eol__4.2.1 设计隔空手势时需要考虑的问题 135 __eol__4.2.2 导航手势 141 __eol__4.2.3 语义手势 144 __eol__4.2.4 操纵手势 146 __eol__4.3 结合隔空手势的UI设计 147 __eol__4.3.1 数字手部 147 __eol__4.3.2 直接触摸 149 __eol__4.3.3 指针设计 150 __eol__4.3.4 交互组件的改造 152__eol__ __eol__第5章 语音图形界面157 __eol__5.1 GUI和VUI的区别 158 __eol__5.1.1 GUI的特点 158 __eol__5.1.2 VUI的特点160 __eol__5.1.3 GUI和VUI融合时会遇到的问题 162 __eol__5.2 GUI和VUI融合的三种实现方式 165 __eol__5.2.1 应用级语音交互 166 __eol__5.2.2 可见即可说 170 __eol__5.2.3 系统级语音交互 171 __eol__5.3 VGUI设计原则 172__eol__5.4 重构GUI操作 179 __eol__5.4.1 GUI控件文案设计 179 __eol__5.4.2 GUI组件和容器文案设计 184 __eol__5.4.3 特殊的控件和组件 185 __eol__5.5 VGUI核心设计要点187 __eol__5.5.1 全局指令和局部指令的权衡 187 __eol__5.5.2 控件/组件属性的重构 192 __eol__5.5.3 手势的融合 200__eol__ __eol__第6章 跨设备和多模交互 201 __eol__6.1 跨设备交互是什么201 __eol__6.1.1 跨设备和多模交互的关系 201 __eol__6.1.2 跨设备交互的六个维度 202 __eol__6.2 浅谈跨设备和多模交互细节 206 __eol__6.2.1 结合用户场景进行考虑206 __eol__6.2.2 结合信息密度和显示距离进行考虑208 __eol__6.2.3 模态的过渡和打断 211 __eol__6.3 未来可期 212 __eol__6.3.1 面向未来的分布式操作系统 212 __eol__6.3.2 普适计算及未来 213__eol____eol__