苹果注视端点眼动追踪专利：可确定用户对空间 3D 物体的注视

近日，美国专利商标局正式授予苹果一项重要的眼动追踪专利，涉及一种用于注视端点确定的方法和装置，特别是用于确定空间中 3D 物体上的主体的注视端点。

苹果公司授权的专利涵盖了一种用于确定主体注视端点的系统，该系统包括：适于确定主体的一只或多只眼睛的注视方向的眼动追踪单元；适于确定位置的头部追踪单元，包括头部和/或眼动跟踪单元相对于参考坐标系的位置和方向；3D 场景结构表示单元，通过参考坐标系中的坐标表示真实世界场景的对象，通过其 3D 位置和/或其 3D 结构表示真实世界场景的对象，从而提供场景的 3D 结构表示；一种计算单元，用于根据注视方向、眼动追踪器位置和 3D 场景结构表示来计算注视端点，和/或根据注视方向、眼动追踪器位置和 3D 场景结构表示确定主体凝视的 3D 场景中的物体。

通过使用 3D 表示、眼动追踪器和头部追踪器不仅可以确定 2D 平面上的注视点，还可以确定主体注视的对象和/或 3D 中的注视端点。

根据一个实施例，该系统包括用于计算 3D 结构表示场景的物体上的注视端点的模块，其中所述注视端点是基于该 3D 结构场景中的注视方向与物体的交点来计算的。

注视方向与 3D 表示的交集提供了一种几何方法，用于计算注视“hits”或与 3D 结构相交的位置，从而提供真实的注视端点。因此，可以确定场景中 3D 对象的真实注视端点。

根据一个实施例，该系统包括一个模块，用于基于主体两只眼睛的注视方向的交点计算注视端点，和/或一个模块，用于基于计算出的注视端点和现实世界场景中物体的 3D 位置和/或 3D 结构来确定主体正在注视的对象。

通过使用视差来计算主体眼睛的注视方向交点，可以确定注视端点。然后，此注视端点可用于确定用户正在注视的对象。

根据一个实施例，通过选择其 3D 位置和/或结构最接近计算的注视端点的物体，将被注视的对象确定为主体正在注视的物体。

根据一个实施例，所述眼动追踪单元适于确定所述受试者的一只或多只眼睛的注视方向，适于确定所述一只或多只眼睛的所述注视方向的概率分布，并且其中所述计算单元用于确定被注视的物体，基于以下概率分布确定所述物体被注视的概率注视端点。

根据一个实施例，该系统还包括适于从任意视点获取场景的一个或多个图像的场景摄像机；一个模块，用于将 3D 注视端点映射到场景摄像机拍摄的场景图像的图像平面上。

通过这种方式，不仅可以确定 3D 结构上的 3D 注视端点，而且可以确定场景摄像机拍摄的任何场景图像上的相应位置。这允许确定摄像机从任意视角拍摄的场景图像中的注视点，换句话说就是形成一个任意的位置。

根据一个实施例，场景摄像机的位置是通过某种位置确定或对象追踪机制已知的或确定的，并且通过执行将 3D 注视端点投影到所述场景摄像机的图像上来执行映射。

这是一种从 3D 注视端点推导出摄像机在任意位置拍摄的场景图像中的相应点的方法。

根据一个实施例，该系统还包括：用于生成基于 3D 结构表示的从任意视点看到的场景图像的模块；一种模块，用于将 3D 注视端点映射到由所述场景图像生成模块生成的图像的图像平面上，其中，所述映射是通过将所述 3D 注视端点的投影执行到所述场景图像生成的场景图像上而进行的。

以这种方式，可以生成任意场景图像，而不是通过使用场景相机拍摄图像，而是通过基于 3D 结构表示生成图像。在此场景图像中，可以通过将注视端点投影到场景图像上或通过例如突出显示已被确定为在场景图像中凝视的 3D 结构的对象来指示或可视化注视端点或被注视对象。

根据一个实施例，所述眼动追踪器是头戴式眼动追踪器；和/或所述场景摄像机是头戴式场景摄像机。

头戴式眼动追踪器和头戴式场景摄像机是这些设备的便捷实现。此外，如果眼动追踪器是头戴式的，那么头戴式追踪器也会自动提供眼动追踪器的位置/方向，场景摄像机也是如此。使用由头部跟踪器确定的头部位置（位置和方向），可以根据头戴式眼动追踪器在眼动追踪器坐标系中确定的注视方向来确定头部追踪器参考坐标系中的相应注视方向。 

由头部追踪器提供的位置也会通过给定的设置自动传递眼动追踪器的位置，在该设置中，眼动追踪器固定在头部并与头部具有定义的空间关系，例如通过安装在头部的安装框架。

根据一个实施例，所述 3D 结构表示单元包括 3D 场景结构检测单元，该单元适于确定场景物体的 3D 结构和位置或其在参考坐标系中的几何表面结构，以获得真实世界场景的 3D 结构表示。

苹果专利图 2 示意性图示了注视端点确定系统。

苹果专利图 3 示意性地示出了根据本发明的进一步实施例的注视端点确定系统。 

专利图 2 进一步说明了 3D 模型/参考模型是在实际注视测量之前使用 3D 结构检测器“离线”创建的（图 2 上半部分中的步骤 a）。

然后，可以执行注视端点到场景摄像机拍摄的场景图像上的映射。为此，可以使用任何使用摄像头的位置和参数将 3D 结构映射到 3D 场景图像的 2D 投影方法。通过这种方式，可以将视线照射到 3D 结构的位置映射到场景摄像机拍摄的场景图像的相应位置。该映射过程在图 2 的步骤 b 示意性地示出。图 2 示出了将 3D 结构映射到场景图像的过程（例如通过使用 3D 投影执行）。