规模至关重要:如何向全球现场观众提供五九流

去年8月，在一次流媒体连接中采访Jarred Wilichin-sky派拉蒙广告运营高级副总裁流媒体广告感知专栏作家Nadine Krefetz 我问他是什么导致了大规模直播的中断. 威利金斯基打趣道:“一切. 所有的优惠. 有了数字，没有什么是100%的.”

大规模的实时流在每个阶段都有潜在的故障点, 从摄取到运送, 从头到尾. 相机或编码器可能会在原点失效. 在满负荷网络中的某个地方出现不可预见的容量瓶颈可能会降低质量，或导致视频在全球任何目的地区域的观众都无法观看. 比如世界杯决赛或超级碗中场秀, 音频或视频中断的影响, de-lays, 否则，差距可能会带来巨大的代价.

在任何给定点都有可能发生小故障或灾难性故障，这意味着那些开发流媒体架构和解决方案并向大量受众提供广播质量流的人，在努力实现受众所期望的高可靠性时，必须注意潜在的无数故障点, 内容所有者, 赞助商要求.

任何流工作流程的强度取决于其最弱(或最少测试)的链接. 水流越大, 不幸的是, 机会越大，犯错的余地就越小. So, 专家们对维持朝九晚五的正常运行时间和广播质量的架构需求和挑战有何看法? 他们推荐了什么解决方案?

冗余，冗余，冗余

这是大规模维持成功流的关键, 据亚当·米勒说, 云资产管理平台提供商CEO No-mad，正在实现尽可能多的冗余. “当你谈到可靠性时, 这是一个棘手的话题，因为溪流可以在大约一百万个地方中断,他说. “如果我有一个客户或同事进来说, “我们要直播一些事情, 而且必须有百分之百的可能性有效,“那么你就必须从一点科学知识开始，画出(摄入源)和观看它的人之间的所有接触点。. 你会发现那里可能有一百个接触点会破裂.”

所面临的挑战, 米勒说, 是决定在冗余上投入多少以及在哪里投入以获得最大回报. “我们实际上在三个接触点上方放了一个小图表, 我们说, “让这种冗余变得更好的成本是多少? 要做得更好需要付出多大的努力?’”他继续说道. ”,, 最终, 我们看了这些，看到了一条非常清晰的投资路径, 你的预算、时间和精力该放在哪里. 当你这样做的时候, 你会在这100个潜在的破损点中找到它, 大概六岁左右的孩子会成为最杰出的. 这就是你可以投入精力来帮助提高可靠性的地方. 而不是有人说, ‘嘿, 我需要多个编码器,你把精力放在最重要的地方. 这就是我们开始研究冗余时所做的.”

“我们正在构建的是非常复杂的系统,彼得·沃顿说。, QoS监控平台制造商首席战略和云官 TAG视频系统. “试着向那些不是我们行业的人解释一下，从现场制作到播放，媒体工作流程是多么复杂, 通过交付, 通过奥特, 还有所有这些活动部件，变种和梯子. 你需要监控整个过程, 特别是当你在做系统的特别构建或者你在按需设置一个实时系统的时候. 因为这样你就有了所有这些活动的部分，你只是在瞬间建造一些东西. 你必须确保所有的活动部件都在工作.”

像米勒, 沃顿商学院坚持认为，要想获得最好的回报，就必须提高信息流的可靠性, 你必须明智地选择你要强调的地方. “工作流程中的每个点都有不同的价值. 显然，原创和播放部分为之后的一切提供了素材. 所以，你真的要确保它是完美的. 但当你沿着食物链走下去, 每一个能够影响观众的触点都在影响越来越少的观众. So, 因此, 您还必须确保您的监控方式实际上是根据工作流程中每个点的内容价值来调整监控成本. 这是一个挑战，既要把所有这些都做好，又要确保它在所有地方都有效. 因为你不能花同样多的钱在CDN的边缘去影响核心区域.”

负载均衡交付

科里史密斯, CBS体育部高级制作技术总监，动视暴雪前现场运营总监, 在大型电子竞技赛事的旋风中工作了多年. 他特别强调的不仅仅是最后一英里, 但最后几英里的河流可能会纵横交错. 全球流的成功, 他说, 依赖于以深思熟虑的多cdn方法智能地分配流量. 史密斯赞同沃顿的观点，即将你的注意力分配到你预计会经历最高流量的地区，以及“预测你的流量将如何扩展”的价值.他还认为保持流扩展时的可靠性一个方向或另一个方向取决于您如何流畅地与多个cdn一起工作，这些cdn正在为您的事件共享流量负载.

“当我还在Xbox的时候, 我们做了很多事情来扩大大型客户活动, 无论是E3主题演讲，还是那天主机上发生的任何事情,史密斯说。. “我们对实际测试到失败点感到非常自豪. 但如果你去Aka-mai、Edgio或其他CDN说，‘嘿，我要对我的网络进行压力测试. 你能帮忙支持吗.每秒5 - 3tb的流量因为我想扩展到250万并发流量?’他们会嘲笑你说，‘我们的网络无法吸收这些内容. 让我们尝试构建一个有意义的配置.’ ”

史密斯说，关键是要做好重新引导流量和智能负载平衡的准备. “其中很多是了解你的流量流向，并与多个CDN无关，或者与单一CDN提供商无关, 但也要从客户那里得到反馈和遥测, 所以你可以把它变成实际的, 智能交通决策在接近实时的情况下，你的客户实际上看到了什么,他解释道. “So, 如果你的比特率是10兆以上, 你并不拥有你实际部署到的所有边缘生态系统, 你需要得到反馈，这样你才能说, 这家CDN提供商在这个特定地区做得不是很好, 而另一家CDN提供商是我们需要开始减少流量的地方.“你必须将这些遥测系统构建到应用程序的实际基础中，因为就像编码器一样，你不能把它关掉再打开。, 动态, 在现场活动期间. 你必须能够让你的流量在全球互联网上起伏不定，并且做到无缝衔接. So, 弄清楚来自外部的遥测信息和客户对事件的体验是一门真正的艺术. 如果事件的前几分钟完全被宏阻塞和重新缓冲, 他们会转投你的竞争对手.”

全球直播流的负载平衡CDN流量的一个重要部分是发挥您的CDN合作伙伴的优势，因为您确定按区域定向流量的位置，以获得最大的可靠性和正常运行时间. 约书亚·约翰逊说, 云CDN EdgeNext解决方案架构师总监, 关键是要知道你的受众在哪里, CDN-wise, “谁是好人?. 哪个供应商在该领域占主导地位? 谁有基础设施? 你是在依赖他们，还是在依赖他们和他们的伴侣? 你知道他们的搭档是谁吗?”

史密斯也表示赞同:“很多这样的合作伙伴只有在他们的对等协议下才能做到最好。. “在某种程度上，这仍然是一种商业对话. 理论上，在纸上，你可以给世界上的任何人提供比特.“然而，对于大规模流的可靠性来说，最重要的是”如何优化这些路由.”

当然，重要的是，回到原点，不要忽视显而易见的东西，米勒说. 当时间到了，不要去修理它，如果它没有坏. “当接近部署时间时，不要碰任何东西. 人们会忘记这一点，他们会想，‘哦，让我们在最后一刻换掉这个编码器吧.“如果你想可靠地分发一些东西，那就尽量少碰. 如果你要做10次，不要碰它. 创建一次，然后就把它留下，重复使用10次. 我发现很多人都忘记了这条黄金法则:不要提前两分钟去换东西,米勒说。.

监控和利用实时数据

没有什么可以替代构建健壮的流架构，从起源到播放再到交付, 沿途都有冗余的关键点. 拥有一个健全的多cdn战略也是至关重要的. 但在科技领域，这句“不要碰”的格言可能同样有价值, 大规模流媒体绝不是一种放任自流的努力. 让它工作意味着无情的监控和数据收集，并在任何需要的地方进行实时调整，以保持高水平的交付和质量，无论你在哪里推动流.

需要收集可用的分析数据，而不需要大量的数据淹没您可能无法吸收或分析的区域，这适用于在工作流程的所有阶段测量性能和维护可靠性, 不仅仅是送货和最后一英里. 但这一切都是关于获取你可以实时有效地使用和应用的数据.

“你想要监控工作流程中的所有点”, TAG的沃顿商学院说, “但你不一定想在屏幕上放上一千个监测点，让操作员盯着它们，只会收到噪音. So, 你也需要一些情报，实际上可以看到所有的监测点，知道他们都是完全一样的原点, 你可以看到一个并且知道它在工作流程中的任何地方都是正确的. 然后当出现错误时, 它将告诉您错误在哪里，以便您可以快速发现它并进行补救，因为您的根本原因分析也由系统完成. 所以，我们在这些系统中寻找某种程度的智能. 我们正在寻找能够监控所有这些点的东西，实际上可以深入到这些点的内容，而不仅仅是说, “这里有数据流动,’”他解释道. “你发现的很多问题可能是信号路由错误, 哪里是错误的东西在错误的地方播出，因为你正在建立这些工作流程，你可能会因为广告时间而离开，而不会回来, 或者你离开了，却没有得到合适的回报. 它是复杂的, 但是工具是现成的, 现在你可以非常经济有效地监控整个过程.”

类似的, 当涉及到CDN负载平衡时, 要使多cdn战略有效，需要明智地收集和应用实时数据. 斯特凡·范德·齐尔他是云流媒体平台提供商的首席执行官射流, 描述了他的公司在全球范围内进行大规模数据流时基于监控的方法:“我们在世界各地都有代理，他们不断地探测数据流的性能，因为这让我们对cdn的性能和可用性有了全球的了解. 它没有用户指标的细粒度, 但我们这样做是为了让用户可以在不执行任何参数的情况下使用任何玩家, 至少我们有一些基本的见解. 然后，我们的客户自己使用像Conviva或Mux这样的服务来衡量性能. 它们实际上可以实时地将这些信息反馈给我们的负载平衡器, 这样他们就可以学习他们的算法，在CDN性能低于一定水平时切换到另一个CDN.”

但是一旦你有了这些数据，你该如何分析呢? 有这么多不同的信息来源，来自不同的地方，不同的时间, 派拉蒙的史密斯说, “你需要一个聚合器, 像Datazoom, 或者是其他近乎实时的分析引擎，它把这些数据点聚集在一起，给你一个准确的画面. Conviva和Mux都很棒. 我过去曾使用LTN工具进行负载平衡，然后在不同的cdn之间切换, 但这更像是一种手动的API方法. 现在在流量自动负载平衡方面当然有更复杂的技术. 但是再一次, 这一切都是关于分析百家乐软件，并确定客户应该去哪里.“如果你只是不分青红皂白地转移流量来卸载流量, 他解释说, 你永远不知道你是否将它们发送到另一个可能有问题的CDN.”

范德齐尔承认，你收集的流媒体性能数据“永远不会100%准确”. “也可能出现假阳性. 您不希望算法决定将所有流量切换到另一个CDN，因为您可以直接将它们发送出去或使性能更差. 所以这些仍然是我们面临的挑战，以及如何解决这些问题.”

建立可靠的伙伴关系

当您将合作伙伴纳入其中时，交付可靠直播流的障碍通常变得更易于管理, 而不是端到端处理整个工作流, 因为它可以让你放弃某些关键任务. 但是，如果你的伴侣不像你那样忠于你的可靠性，或者不像你那样为你的活动投入精力，这也会让你更加头疼.

“了解在现场活动期间网络上的流量故障点还意味着监控你正在投资的合作伙伴,史密斯说。. “如果他们说，‘别担心这个. 把你的视频发给我们. 我们将继续发行它，’这将是我的第一个危险信号. 如果你有头等大事要办, 作为一个组织，它具有不可思议的营销和公关价值, 但另一边似乎没有人在乎, 这是个问题.”

具体地说, 这意味着收集与你的合作伙伴正在做的事情一样多的数据点，包括在边缘的内容交付——就像你在你已经到位的本地接触点上做的一样. “当你开始与合作伙伴和其他公司合作时, 你需要将这些分析数据重新输入到你的系统中，并且能够看到它们,沃顿说。. “有时你甚至把自己的监控放在边缘，让自己相信他们实际上在做你认为他们在做的事情.沃顿认为，这个游戏的核心是“信任和核实”.”

云经济

一个不可避免的问题, 鉴于疫情以来云工作流程的进步，以及云供应商的优势，以及将关键架构元素迁移到云的选择, 迁移到云的优点和缺点是什么?当你扩展时，要保持流的质量和可靠性, 同时，你的成本也不会大幅上升?

David Hassoun，云媒体解决方案首席技术专家杜比.io, 主张一种混合方法, 同时对目前将流媒体大规模迁移到云上表示了一些保留意见. “尤其是在我们现在所处的世界, 不再有很多人在办公室了吗, 到处都有生产, 这是云能够如此强大的一个重要因素,哈桑说。.

但是远程控制的能力并不总是一个优势. 哈桑继续说:“缺点是当我们谈论像玻璃上的眼睛这样的东西时. “你越接近金属，你就越能控制它，尤其是在出现问题的时候. 使用云服务增加了额外的风险. 但这也是一个必要的因素. 我相信混合动力将给我们带来我们需要的持续寿命和灵活性以及控制元素. 在成本和管理方面也有很大的利弊, 但是他们都为我们的团队做出了贡献, 他们在哪里?, 在我们将要面对和需要适应的情况下. 我们还看到了云元素出现故障的情况. 如果我们有什么问题, 我们可以自动恢复和引导交通, 必要时, 去他们想去的地方.”

当您考虑将直播工作流(或其元素)迁移到云端时，另一个关键考虑因素是, Nomad的磨坊主说, 内容的本质是什么. “如果我有12个高质量的全天候频道, 我可能不会把它直接放到云中作为我的主编码器. 我将通过互联网发送大量的内容, 只需要在上面编码并简化它.在这种情况下, 他说, 更谨慎的方法是本地编码，“获取最后的提要，然后发送出去”. 这将是一个巨大的成本优势. 这在很大程度上取决于你的内容是什么样子的，收件人是谁. 最终，它会降落在云端. 你无法摆脱这一点. 但是在这个过程的什么时候你把它放在那里，为了什么好处?”

据史密斯说, 诸如是否将编码器保留在地面上的问题是“如何构建实际可扩展的基础设施的所有挑战的一部分”.“而应对这一挑战的最佳方式可能因流媒体场景而异, 尽管在过去的几年里，将所有数据都转移到云端的可能性已经突飞猛进.

Smith说道:“当我还在动视暴雪时，我们是云优先的. “一切都在向云转移，因为这是2019年到2020年的模式. 当大流行袭来时，我们不得不大规模转向云主控制. 我们必须采用主控制的理念，并使用它进行全面的基于云的生产, 一开始会很混乱. 但技术得到了改进，今天，它比2019年的水平高出了数光年. 在云中进行完整生产的能力, 你基本上是把一个演播室的反馈加上你的反馈来自你的场地，然后在云端混合一个节目作为PCR解决方案, 今天在这里. 生态系统的组成部分今天已经存在，但要靠我们把它们拼接在一起. 90%是现成的零件，10%是把它们粘合在一起的胶水.”

沃顿认为，对这种“粘合剂”的需求，正是许多“大到不能倒”的业务流在当今环境下可能会犹豫的地方. “我还没有见过那种让我在云端为现场制作构建整个工作流程的编排:做我的排练, 试驾一下吧, 然后关闭它，从现在开始2天，让它运行3个小时的生产，不付钱让它运行2天，直到现场活动-或者坐在那里，能够在活动期间动态调整它,他说. “我认为，当我们得到这种动态的编排，我们可以信任的现场生产, 然后经济和商业模式才会真正契合, 它会起飞的.”

大规模流媒体的三个R:到达偏远地区

在大规模流媒体中，最大的移动目标之一是将流从一个区域推送到另一个区域, 特别是进入国际和洲际市场, 确保在全球范围内提供可靠的服务, 尤其是当你事先不知道某个特定活动的观众来自哪里时. 到达最后一英里的地理因素带来了许多挑战, 正如EdgeNext的约翰逊所说, “事情一点也不容易.”

很多都涉及到利用优势, 正如约翰逊解释的那样, 但最后一英里的可靠性挑战归根结底是对基础设施的控制. 当谈到今天的偏远地区的流媒体, 他说, “人们更多地关注利用互联网服务提供商的能力，并将你的物理基础设施接入这些远程互联网服务提供商. 世界上也有很大一部分人开始接受, 令人惊讶的是, 更多的是P2P类型的架构,他继续说道。. “但你无法控制P2P架构, 虽然这可能会降低你的成本, 在世界上一些偏远地区，它并不总是提供最好的性能. 互联网服务提供商内部的监管较少, 所以他们正在做一些事情来吸引业务，为他们的ISP带来流量，以增加他们的收入，而不是总是为最终用户提供优势. 虽然ISP很可能会把它带来, 他们的延迟可能不如其他供应商的好. 现在他们开始重新引导流量，把它拉进来. 因此，世界上某些地区的监管改革是必要的, 尤其是在电信方面.”

约翰逊承认，世界上一些地区的监管状况正在改善，这些地区在历史上一直存在不足，并且正在接近标准化. 但他补充说:“我不认为这会变得更容易，因为技术也在变化. 每个人都试图在他们的流媒体中采用不同的技术, 你必须能够为所有这些提供支持.”

“产能才是真正的杀手，”史密斯说. “我认为流媒体受益于对其他类型大文件传输能力建设的需求. 电子游戏的容量已经从原来的6 - 7g扩展到80 - 120g. 如果你有一款内容更新的AAA级游戏, 现在突然之间, 你正在每秒传送数tb的流量. 由于需求，你可以很容易地通过视频流媒体活动做到这一点. 健康后, 流媒体世界正受益于全球的内容传输能力，由于iPhone的更新和视频游戏公司推出了这些大文件，流媒体世界多年来建立了所有这些全球性能.”

但对于大规模的流媒体事件和交付它们的cdn来说, 当容量未被使用，或者没有持续或可预测地填充时，可管理的扩展经济就会崩溃. 从CDN的角度来看满足大规模流媒体需求所面临的挑战, 反过来, CDN的成本和挑战如何传递给那些做流媒体的人), 约翰逊说, “CDN的容量成本很高, 让它可用，而不是真的填充它. 在CDN的世界里——我已经在这个世界里呆了很长时间——我们尽量保持最大60%的容量使用，这样你就有足够的空间. 但同时, 如果你在某个地区有爆炸事件, 你如何确保你有额外的能力? 你如何确保你能支持它? It’s not just your bandwidth; it’s your server capacity. 这是您的DNS容量和能够处理不断变化的能力, 不断的要求, 指挥交通之类的. 这样做有时会成为基础设施的噩梦. 很多数据中心都知道你需要它. 现在，突然之间，他们的价格开始不断上涨. 当你考虑投资一个新领域，并试图确保有能力，你有表现, 你是先建造它，然后再卖给它吗, 还是先卖了再造?”

史密斯认为，当满足潜在需求对网络的生存至关重要时，“为销售而建”的问题就变得没有意义了. “无论如何，许多小容量网络都会在某些事件中被破坏, 因为他们的客户群来自他们的网络将不得不接收这些流量, 无论是大文件下载还是现场直播. So, 纯粹靠生存的意志, 他们必须建立能力，并希望他们的过境和对等协议变得更好, 所以他们可以在其他地方减少一些成本.”

为成功而建，还是为失败而建?

本杰明·富兰克林有句名言:“不做好准备就是在准备失败。.“但当涉及到大规模流媒体时, 它似乎有无数的潜在失败点, 专门为失败做准备—或者至少确定流可能在哪里失败，并确定当它发生时您将做什么—可能是准备成功的最可靠的方法, 虽然这看起来很矛盾.

“这是我们经常使用的一句话, 这是, 你建立了一个成功的系统吗, 还是为失败而建立系统?Nomad的米勒说. “如果成功的话, 你会去一个很棒的地方, 如果失败了，如果你计划失败, 那太好了. 那么你打算在哪一边?”

的关键, 米勒坚持, 不仅仅是确定你的流可能在哪里中断, 而是尽可能多地从失败到恢复. “我认为问题在于，大多数人没有按照实际可能发生的情况去做,他解释道. “编码器停了，网络停了，摄像头停了. 他们只是假设他们能够在飞行中想出他们的备用计划. 在现实中，你必须去尝试. 大多数人在这些事件发生之前都很疯狂, 所以他们最不想做的就是拔掉插头，看看它们是否真的有效. 但是你必须对这些系统进行压力测试. 打开监控，看看有什么信号响起. 然后你做什么?只有一种方法可以知道:“你需要提前把这些东西看完。.”