近年来，扩展现实（XR）技术空间感知、场景重建和语义理解上取得显著进展，设备已能识别桌面、墙面、屏幕等真实物体并叠加虚拟内容。然而，从“看得见”到“用得顺”仍存在挑战：用户在混合场景中需要在真实物体与虚拟界面间频繁切换，既要完成精准指向，又要在不同深度和尺度的目标间快速移动。现有交互方式各有不足——手势与触控受限于手臂活动范围，长时间使用易疲劳；视线追踪虽更自然，但在小目标选择、边界定位和拖拽操作上精度不足，难以支持高密度信息操作。 交互困难的核心在于混合场景的“空间分布+对象多样”特性：可交互对象既包括虚拟面板和3D模型，也包括被系统识别的真实桌面、屏幕和家具表面。这些对象之间并非连续平面，存在空隙与遮挡，传统二维光标的连续移动逻辑难以适应三维环境。此外，尽管XR系统可通过网格重建获取几何结构，但要将用户的二维输入稳定、可预测地映射到跨对象的三维操作，仍需解决两大难题：在同一对象表面精准落点，以及跨越对象间空白区域的连续导航。 针对这些问题，谷歌研发团队提出跨现实光标“World Mouse”方案，重新诠释桌面鼠标的操作逻辑，让用户沿用熟悉的二维移动与点击习惯，在复杂三维场景中完成选择、拖拽等操作。与以往纯虚拟环境的光标方案不同，该技术将真实物体纳入交互体系：通过语义分割识别物体类别与边界，结合网格重建形成可计算的几何表面，使物理对象也能像虚拟面板一样支持指向、落点和拖拽。原型演示显示，跨现实光标可支持物体表面导航、三维选择与操控，以及从屏幕内容向现实空间的过渡，旨在降低学习成本，提升精细任务的完成效率。 “World Mouse”由两项关键机制支撑。一是“物体内部交互”：当光标落在某一对象上时，系统利用对象表面的法线和光栅化追踪逻辑，将鼠标的二维移动转换为三维表面的连续位移，实现稳定落点和精准微调，适用于按钮选择、边缘对齐等操作。二是“物体间导航”：当光标需要在不同对象间移动或穿越空白区域时，系统通过构建“隐形网格”实现连续轨迹，避免跳变或目标丢失，确保跨深度、跨尺度的流畅移动。两种机制结合，既保留了传统鼠标的直观性，又适应了三维环境的复杂性。 业内普遍认为，XR技术能否在办公、工业巡检、三维设计等领域广泛应用，关键在于提供高效且精准的输入方式。“World Mouse”的核心理念是“继承成熟外设习惯+融合空间计算能力”，既利用语义理解和几何重建将真实世界转化为交互界面，又通过跨对象导航提升三维环境的可用性。下一步需验证其在复杂光照、动态遮挡等条件下的稳定性，以及对不同材质和形状物体的适应性。随着空间感知精度的提升和计算成本的降低，跨现实光标有望成为XR迈向生产力工具的重要一环，推动交互标准和开发工具的更完善。
“World Mouse”技术的出现不仅是人机交互方式的革新，更预示着物理与数字世界的深入融合。在数字经济与实体经济深度结合的背景下，此类基础性交互技术的突破将为空间互联网的构建奠定基础，开启人机协同的新时代。