机器学习系统可实现更流畅的流媒体 可更好地适应不同的网络条件

我们在YouTube上经历了两件非常令人沮丧的事情：我们的视频突然变得像素化，或者完全停止了回放。

这两种情况都是因为特殊算法将视频分解成小块，然后加载。如果您的互联网速度很慢，YouTube可能会在接下来的几秒内降低视频分辨率，以确保您仍然可以不间断地观看 - 因此，像素化。如果您尝试跳过尚未加载的视频的一部分，您的视频必须停止以缓冲该部分。

YouTube使用这些自适应比特率(ABR)算法尝试为用户提供更一致的观看体验。它们还可以节省带宽：人们通常不会一直观看视频，因此，每天流动的视频流量达到10亿小时，为所有用户缓冲数千个长视频将浪费大量资源。倍。

虽然ABR算法通常已完成工作，但观众对流媒体视频的期望仍在不断膨胀，而且当Netflix和YouTube等网站不得不在视频质量与视频质量之间做出不完美的权衡时，往往无法实现这一点。拒绝。

“研究表明，如果质量太低，用户就会放弃视频会话，导致内容提供商的广告收入大幅下降，”麻省理工学院教授Mohammad Alizadeh说。“网站不断寻求新的创新方式。”

在这些方面，Alizadeh和他在麻省理工学院计算机科学与人工智能实验室(CSAIL)的团队开发了“Pensieve”，这是一种人工智能(AI)系统，它使用机器学习根据网络条件选择不同的算法。通过这种方式，它已经被证明可以提供更高质量的流媒体体验，同时比现有系统更少的重新缓冲。

具体来说，在实验中，团队发现Pensieve可以比其他方法更少地减少10%到30%的视频流，并且用户在关键的“体验质量”(QoE)指标上评分高出10%到25%。

Pensieve也可以根据内容提供商的优先级进行定制。例如，如果地铁上的用户即将进入死区，YouTube可以调低比特率，以便它可以加载足够的视频，使其在网络丢失期间无需重新缓冲。

“我们的系统可灵活适用于任何你想要优化的系统，”博士生Hongzi Mao说，他是Alizadeh和博士生Ravi Netravali的相关论文的第一作者。“你甚至可以想象用户根据他们是否想要优先考虑重新缓解与解决方案来个性化他们自己的流媒体体验。”

自适应比特率如何工作

从广义上讲，有两种ABR算法：基于速率的算法，用于衡量网络传输数据的速度;以及基于缓冲区的算法，用于确保始终存在一定量的未来视频已被缓冲。

两种类型都受到简单事实的限制，即它们不使用有关速率和缓冲的信息。因此，这些算法通常会做出较差的比特率决策，需要人工专家仔细调整手以适应不同的网络条件。

研究人员还尝试将两种方法结合起来：卡内基梅隆大学的一个系统优于使用“模型预测控制”(MPC)的两种方案，这种方法旨在通过预测条件如何随时间演变来优化决策。这是一项重大改进，但仍存在网络速度等因素难以建模的问题。

“建模网络动态很困难，而像MPC这样的方法最终只能与你的模型一样好，”Alizadeh说。

Pensieve不需要模型或任何关于网络速度等事情的现有假设。它将ABR算法表示为神经网络，并在具有广泛缓冲和网络速度条件的情况下反复测试它。

系统通过奖励和惩罚系统调整其算法。例如，它可以在任何时候提供无缓冲，高分辨率体验时获得奖励，但如果必须重新缓冲则会受到惩罚。

“它了解不同的策略如何影响绩效，并且通过观察实际的过去表现，它可以更加健壮的方式改进其决策政策，”毛泽东说，他是新论文的第一作者。

像YouTube这样的内容提供商可以根据他们想要为用户划分优先级的指标来定制Pensieve的奖励系统。例如，研究表明，观众在视频早期比在以后更容易接受重新缓冲，因此可以对算法进行调整，以便随着时间的推移给予更大的回报惩罚。

使用深度学习技术学习融合机器

该团队在几个环境中对Pensieve进行了测试，包括在咖啡馆和LTE网络中使用Wifi，同时走在街上。实验表明，Pensieve可以达到与MPC相同的视频分辨率，但是重新缓冲的数量减少了10%到30%。

“先前的方法试图使用基于人类专家直觉的控制逻辑，”卡内基梅隆大学电子和计算机工程助理教授Vyaz Sekar说，他没有参与这项研究。“这项工作展示了机器学习方法的早期前景，该方法利用了新的'深度学习'技术。”

毛说，该团队的实验表明，即使在以前没有见过的情况下，Pensieve也能很好地运作。

“当我们使用合成数据在'训练营'设置中测试Pensieve时，它发现ABR算法对于真实网络足够强大，”毛说。“这种压力测试表明，它可以很好地概括出现实世界中的新情景。”

Alizadeh还指出，Pensive只接受了一个月的下载视频培训。如果团队拥有Netflix或YouTube所拥有的数据，他表示他希望他们的性能改进更加重要。

作为下一个项目，他的团队将致力于测试Pensieve的虚拟现实(VR)视频。

Alizadeh说：“4K质量VR所需的比特率可以轻松达到每秒数百兆比特，而今天的网络根本无法支持。” “我们很高兴看到像Pensieve这样的系统可以为VR这样的事情做些什么。这实际上只是看到我们能做什么的第一步。”