December 26, 2021

无极内部_苹果多项空间音频专利曝光，可追踪用户头部运动以提供沉浸式音频

编译/VR陀螺

苹果正在优先考虑在AirPods Pro、AirPods Max及其未来用于混合现实头显等设备的音频系统上提供空间音频。带有动态头部追踪功能的空间音频为用户提供了影院般的电影和节目体验，因为声音能够环绕着他们。利用内置的陀螺仪和加速计，AirPods Max和用户的iPhone、iPad、Mac或Apple TV能够追踪头部的微妙运动，并将声音固定在用户的设备上。近日，美国专利商标局公布了一系列共7项与空间音频有关的苹果专利申请，深入阐述了头部运动检测、用户姿势检测等方面的技术。

空间音频创建了一个三维（3D）虚拟听觉空间，允许佩戴耳机的用户在观看电影、玩电子游戏或与源设备（如电脑屏幕）上的增强现实内容互动时，准确定位声音源在三维虚拟听觉空间中的位置。现有的空间音频平台包括一个头部姿势追踪器，它使用视频摄像头来跟踪用户的头部姿势。如果源设备是一个移动设备（如智能手机、平板电脑），那么源设备和耳机可以自由地相对移动，这可能会让用户对三维空间音频的感知产生不利的影响。

苹果在的第一个空间音频专利申请名为 “空间音频应用的头部运动预测”。该专利涉及一种方法，包括使用一个或多个处理器获得来自源设备和耳机的运动数据以及传输延迟、估计来自相对源设备和耳机运动数据的相对运动、计算相对运动数据的第一个导数、计算过滤后的相对运动数据的第二个导数。

通过使用一个或多个处理器，利用相对运动的第一导数和第二导数，向前预测在时间延迟上的预计相对运动；使用头部追踪器，根据向前预测的相对运动数据确定用户的头部姿势；以及使用一个或多个处理器和头部姿势渲染空间音频，以便在耳机上播放。

在一个实施方案中，使用一个或多个处理器和头部姿势，渲染用于在耳机上播放的空间音频。包括在三维虚拟听觉空间的环境床中渲染音频通道，从而使音频通道的中心通道与源于耳机参考框架并终止于源设备参考框架的轴心向量对齐，其中中心通道通过旋转环境床的参考框架使中心通道与轴心向量对齐，并且其中轴心向量表示源设备和耳机之间的相对位置。

苹果公司的专利图1说明了一个用户姿势改变事件的例子；图2说明了一个居中和惯性稳定的三维虚拟听觉空间。

图源：patentlyapple

更具体地说，根据一个实施方案，专利图1说明了一个用户姿势改变事件的例子。在所示的例子中，用户（#101）正在观看源设备（#103）上显示的AV内容的视觉部分，同时坐在沙发上（#102）。用户戴着一个无线连接到源设备#103的耳机#104。耳机包括立体声扬声器，输出由源设备生成的渲染空间音频（例如，双耳渲染的音频）内容。当用户从坐在沙发上的坐姿变成站立并手持源设备行走，同时仍在观看源设备上显示的内容时，就会发生用户姿态改变事件。

当源设备被移动或旋转时，运动传感器检测到运动。IMU的输出被处理成惯性参考框架中的旋转和加速度数据。在一个实施方案中，源设备输出AV内容，包括但不限于增强现实（AR）、虚拟现实（VR）和沉浸式视频内容。源设备还包括一个音频渲染引擎（例如，双耳渲染引擎），模拟人类用来定位声音的主要音频线索，包括耳际时间差、耳际电平差和外耳完成的频谱过滤。

为了确保空间音频保持 “居中”，使用来自两个惯性测量单元的运动数据确定估计的相对运动（相对位置和姿势）。

想了解更多该专利的细节，请查阅苹果的专利申请20210397249。

苹果的其他各项空间音频专利包括：

空间音频专利20210397250，题为”用于空间音频应用中头部姿势追踪的用户姿态变化检测”。

空间音频专利20210396779，题为”用户姿态转换检测和分类”。苹果公司的专利图1是用于用户姿势检测和分类的系统框图；图2说明了从坐到站的姿势转换的生物力学原理。

图源：patentlyapple