Holostream允许高质量的无线3-D视频通信

新平台可在使用现有标准无线网络的智能手机和平板电脑等移动设备上实现高质量的3-D视频通信。

“据我们所知，这个系统是第一个能够通过标准无线网络实时提供密集和准确的3D视频内容到智能手机和平板电脑等远程移动设备的系统，”张松说。普渡大学机械工程学院。

他说，这个称为Holostream的平台大大减少了3-D视频的数据大小，而基本上不会牺牲数据质量，允许在现有无线网络提供的带宽范围内进行传输。

它提高了质量，扩展了已经利用实时三维数据传输的流行应用程序的功能，例如电话会议和“远程呈现”，它使用虚拟现实和其他交互技术，让人们感觉或看起来好像存在在一个偏远的地方。

“该技术还可以实现可能需要高分辨率，高精度3D视频数据传输的新兴应用，例如远程机器人手术和远程医疗，”普渡大学XYZT实验室主任张说。

研究报告详细介绍了将于 1月28日至2月2日举行的电子影像2018年会议期间提交的研究论文。这篇论文由博士生Tyler Bell撰写;该论文由加州伯林盖姆撰写。普渡大学惠普电气与计算机工程杰出教授Jan P. Allebach; 和张。

现有的3-D视频通信技术具有有限的应用，部分原因在于它们需要专门且通常昂贵的硬件，复杂的系统设置以及用于实时操作或无延迟的高要求的计算资源。在传输3-D视频之前，必须对其进行压缩。然而，使用传统方法难以实时压缩3-D视频以进行传输。新平台首先将3-D视频转换为2-D格式，从而解决了这一问题。

“标准的2-D图像和视频压缩技术相当成熟，可以通过标准无线网络实现当今的现代2-D视频通信，”Zhang说。“如果可以将三维几何结构高效精确地转换为标准二维图像，现有的二维视频通信平台可以立即用于低带宽三维视频通信。”

三维对象由形成三角形的交叉线网格表示。在这个几何体的顶部是一个特征的“纹理”，使对象看起来真实。

“本文介绍了一种将3-D视频数据和颜色纹理高效精确地编码为常规2-D视频格式的新方法，”张说。“我们开发了一种新颖的3-D视频压缩方法，可以在不显着牺牲数据质量的情况下大幅降低3-D视频数据的尺寸。”

该框架使用标准中等带宽网络进行测试，以同时向多个移动设备提供高质量的3-D视频。

通过用于3D视频录制，压缩，传输，解压缩和可视化的新管道实现Holostream。

该团队开发了管道的硬件和软件，包括3-D视频捕获系统。三维相机捕获图像，使用LED灯将条纹的结构图案投影到被扫描的物体上。这些条纹允许系统确定物体的深度和形状。

该平台可以实现高分辨率，高精度三维视频数据的实时传输特别关键的应用，例如协作设计和在线“面部行为分析”，这可以揭示一个人的心理状态和医疗条件，如作为抑郁症和创伤后应激障碍。