苹果发布点云数据压缩专利 可用于AR/VR设备及3D 全息显示屏

编译/VR陀螺

近日，美国专利商标局发布了苹果公司的一项专利申请，涉及使用LiDAR系统的点云数据压缩方案。点云可与互联网，车辆测绘系统及其他功能结合使用，其可以实时或接近实时地操纵3D显示器、全息显示器或头戴式设备，以显示虚拟世界。

随着数据采集和显示技术变得更加先进，诸如通过LIDAR系统捕获包含2D或3D空间中成千上万个点的点云的能力已经增强。而且，诸如虚拟现实或增强现实系统之类的高级显示技术的发展已经增加了点云的潜在用途。

但是，点云文件通常非常大，并且存储和传输既昂贵又耗时。例如，通过私有或公共网络（例如Internet）进行点云的通信可能需要大量时间和网络资源，从而可能会限制点云数据的某些用途（例如实时使用）。

而且，点云文件的存储需求可能会消耗存储点云文件设备的大量存储容量，这也可能会限制使用点云数据的应用程序。这就是苹果的专利所要解决的痛点。

苹果的专利涵盖了一种编码器，该编码器可用于压缩点云数据，以减少存储和传输大点云文件相关的成本和时间。

在专利的一些实施例中，系统包括编码器，该编码器能够压缩点云文件的属性或空间信息，从而使得该点云文件可以更便捷被存储和传输。压缩后的文件可能比非压缩点云占用更少的存储空间。

该解码器经由网络从存储一个或多个点云文件的远程服务器或其他存储设备接收包括压缩属性信息的一组或多点点云数据。

例如，可以实时或接近实时地操纵3D显示器、全息显示器或头戴式显示设备以显示由点云表示的虚拟世界的不同部分。

为了更新3D显示器、全息显示器或头戴式显示设备，与解码器相关联的系统可以基于用户操纵从远程服务器请求点云数据，这些点云数据可以从远程服务器传输到解码器，并由解码器实时或近实时地解码。

在一些实施例中，一种系统可以包括一个或多个激光雷达系统、3D相机、3D扫描仪等，并且这样的传感器设备可以捕获空间信息，例如，对于一个点中的X、Y和Z坐标。

这种传感器还可以捕获一个或多个点的属性信息，例如颜色属性、纹理属性、反射率属性，速度属性、加速度属性、时间属性、模态或各种其他属性。

除了LIDAR系统、3D相机、3D扫描仪等之外，其他传感器可以捕获包括在点云中的属性信息。例如，在一些实施例中，陀螺仪或加速度计可以捕获要包括在点云中的运动信息作为与该点云的一个或多个点相关联的属性。

苹果的专利图3D说明了一个点云被投射到多个投影上；图3E示出了点云被投影到多个平行投影上。

苹果的专利图5A示出了包括几何形状、纹理或其他属性缩小的编码器的组件。

点云系统也可以应用于苹果的Project Titan。例如，配备有LIDAR系统、3D摄像头或3D扫描仪的车辆可能会将车辆的方向和速度信息包括在捕获的点云数据中。

例如，当捕获车辆视图中的点时，它们可以被包括在点云数据中，其中，点云包括捕获的点和与捕获点时车辆的状态相对应的关联运动信息。

苹果的这项专利申请已于2019年第四季度提交。考虑到这是一项专利申请，因此目前尚不知道这种产品上市的时机。

该专利的发明人包括：

Khaled MAMOU：高级软件工程师。曾在MPEG工作，从事点云压缩业务。还曾在AMD从事Xbox One和PS4的视频压缩工作。

Fabrice Robinet：工程经理

Kim Jungsun：高级软件工程师，先前曾在MediaTek视频压缩标准化团队工作，研究和开发用于当前和未来视频编解码器标准化的视频压缩算法。

Valery Valentin：计算机视觉工程师

来源：patentlyapple