前面两篇文章讨论了 visionOS 键盘和虚拟键盘交互中触觉缺失的问题,最近 Meta 放出了将任意物理平面变成虚拟键盘输入界面的方法,通过将虚拟键盘“投射”到物理桌面上,解决了触觉反馈的问题,当用户在虚拟键盘键入文本时,头显可以辅以相应的视觉或听觉提示,进而增加用户按键信心。不仅如此,系统可以继续利用基于人工智能的输入法自动纠错和自动判断等功能,进一步提升输入效率和精度,可以达到每分钟100单词的成绩,准确率高达 98.9%。
本文就来盘点一下那些虚实结合场景下文本输入的(奇奇怪怪的)方案。
与人们已经习惯的实体键盘、触摸屏相比,VR/AR 中输入文本的困难,总结原因要么是“看得见摸不着”,要么是“摸得着看不见”:虚拟键盘界面,视觉上看得见,但缺少触觉反馈(触觉缺失导致的问题已经在上一篇讲过了);实体键盘在触觉上摸得着,在VR场景中不可见,在AR场景中与便携属性不符。
为了提高文字输入效率,过往研究提出了以下不同类型的方案:
- 优化布局(QWERT → 灵活布局):从传统的 QWERT 键盘布局,到更符合悬空手势、控制器输入的灵活布局,通过交互设计的方式提升文字输入效率;
- 变换控制方式(手柄 → 裸手 → 穿戴):从传统的手柄(只有两个输入触点)到裸手识别,再到指环、腕带等穿戴设备,充分利用不同的控制方式,同时可以结合不同的布局优化;
- 多模态输入(手眼 → 语音 → 大脑):从手眼协同,到语音识别,再到脑机接口,充分利用人的不同感知通道
1. Google 敲鼓键盘
这是 Google 为其 Daydream 项目(早期将 Android 设备变成 VR 平台的项目)设计的虚拟键盘布局和控制器输入方式,配合 Daydream 的长条形状控制器,呈现一定弧度的键盘布局和圆鼓形状的按键设计,让文本输入像演奏音乐一样充满节奏和乐趣。
Google Daydream drum keyboard
2. HoloLens 混合现实键盘
HoloLens 的混合现实键盘采用的是传统的 QWERT 布局,事实上有点“过于传统”了,第一眼就让人联想到传统的打字机,再配上若有若无淡蓝色的荧光,一股浓浓的复古未来主义(Retro-futurism)风,令人印象深刻!
HoloLens keyboard