图10示出了头显 1000和分离式摄像头1005。如图7中所述，在头显1000和分离式摄像头1005之间存在宽带无线电连接1010。在这种情况下，分离式摄像头1005向头显1000发送六自由度姿态1015和第二图像1020。
返回图4B，方法400包括可选的动作440，对重叠图像执行视差校正以修改重叠图像的透视以对应于新的透视。
图16示出了重叠图像1600，其可以是来自图15的重叠图像1510，并且可以是方法400中讨论的重叠图像。这里，重叠图像1600示出为具有原始透视1605。根据所公开的原理，实施例能够执行视差校正1610，以将重叠图像1600的原始透视1605转换为新透视。应当注意，从分离式摄像头图像中获取的像素随后经历两个单独的再投影操作，一个涉及修改分离式摄像头的透视以与集成摄像头的透视一致，另一个涉及改变重叠图像的透视以使其与用户瞳孔的透视一致。
执行视差校正1610涉及使用深度图以便将图像内容重新投影到新的视角。深度图可以与前面提到的深度图相同或不同。
视差校正1610被示出为包括多个不同操作中的任意一个或多个。例如，视差校正1610可以包括失真校正1615、对极变换1620（和/或重投影变换1625。
视差校正1610包括执行深度计算以确定环境的深度，然后将图像重新投影到确定的位置或具有确定的视角。
重投影基于重叠图像1600相对于周围环境的原始透视1605。基于原始透视图1605和生成的深度图，实施例能够通过重新投影由重叠图像体现的透视图以与新透视图重合来校正视差，如视差校正图像1630和新透视图1635所示。
特定实施例对重叠图像执行三维（3D）几何变换，以与用户瞳孔330和335的视角相关的方式变换重叠图像的视角。另外，3D几何变换依赖于深度计算，在深度计算中，头显环境中的对象被绘制出来，以确定其深度和透视。
基于深度计算和透视图，实施例能够以这样的方式三维地重新投影或三维地扭曲重叠的图像，以便在视差校正图像1630中保持对象深度的外观，或者可视化现实世界中物体的实际深度。
通过执行视差校正1610，实施例可以有效地创建正确的视图。为了进一步澄清，考虑图3中的摄像头305的位置，其当前位于瞳孔335的上方和左侧。通过执行视差校正，实施例以编程方式变换由摄像头305生成的图像，或者更确切地说，变换图像的透视图，使得透视图看起来好像摄像头305实际上位于瞳孔335的正前方。
一旦生成了固定深度图，则可以使用深度图来使用固定深度图对重叠图像执行重投影。在这方面，可以使用全深度图或固定深度图来重新投影重叠图像（以生成视差校正图像1630。
因此，专利描述的实施例能够通过使用六自由度姿势来对齐图像并执行重投影，以便对齐图像以具有匹配的视角。实施例然后对对齐的重叠图像执行视差校正，以便生成具有新视角的透视图像。
相关专利：Microsoft Patent | Using 6dof pose information to align images from separated cameras
名为“Using 6dof pose information to align images from separated cameras”的微软专利申请最初在2022年9月提交，并在日前由美国专利商标局公布。
