这场 TED(
www.ted.com) 是 Android XR 的 AI 功能的首次公开展示,通过轻量化智能眼镜与 MR 头显,展现 Gemini AI 在视觉问答、记忆回溯、智能导航、多模态交互、应用操控等多维度的用例:
- 智能眼镜
- 问答:与 Meta Ray - Ban 类似,可结合摄像头数据进行问答,能准确回答用户关于周围环境中事物的问题(P1)
- 记忆:通过持续记录的摄像头,Gemini AI 能够记住用户近期经历的细节,如书架上的书的信息、酒店房卡的放置位置等,并在用户询问时精确作答
- 导航:能展示地图和导航信息。这里有个有趣的交互,借助传感器感知用户朝向,抬头显示 ETA,低头显示地图(P2)
- MR 头显(Project Moohan)
- 多模态问答:可利用现实画面或虚拟画面进行多模态大模型问答,例如在打开星露谷物语的时候 Gemini 提供了游戏教程(P4)
- 应用控制:能够打开多个应用,还能调用 Youtube 搜索视频,方便用户在不同应用和功能之间快速切换和使用
- 窗口整理:Gemini 可以对 MR 中的虚拟窗口进行整理
在 Meta 深耕多年、苹果发力高端的 XR 领域,Google 选择以 「AI 原生」为破局点:
- 双线并行:智能眼镜的轻量化场景(碎片信息查询、导航)与 MR 头显的深度沉浸场景(多任务处理、虚拟办公、游戏)形成互补,覆盖 “即时交互” 到 “深度体验”
- 生态打通:适配 Google Map、 Google Earth(PCVR 停更多年后重获新生)和 Youtube,通过 AI+XR 赋予传统应用新形态;
- 核心入口:众多浅层级的 AI 入口(通过 TUI 唤醒 Gemini、将 Gemini 置于 XR Launcher 核心位置),意味着未来 XR 设备的「操作系统级 AI 化」—— 不再是 「Applist」,而是 「AI 助手 + 场景服务」的全新逻辑。
此次展示的令人兴奋的用例,本质是 AI 对虚拟+现实环境的全局理解与决策,未来 XR 设备的竞争力将从「硬件参数」转向 「AI 算力 + 数据理解 + 场景适配」的综合能力 —— 正如智能手机的核心是 iOS/Android 系统,未来 XR 的核心可能是 “AI 驱动的智能系统”,而 Google 正试图用 Gemini+Android XR 抢一张船票。