直播平台转码集群组网最容易被忽视的带宽细节，不是总出口不够，而是内网东西向流量叠加、转码节点间同步和推流突发把交换机缓存打满。
直播转码集群内网带宽要求怎么看
转码集群和普通Web服务最大的不同,在于流量方向，普通服务是南北向为主，用户请求进来、数据出去；转码集群内部，节点之间要来回传递源流、中间转码文件和不同码率的输出流，东西向流量经常比南北向大出数倍，规划带宽时只盯着公网出口，内网很容易先成为瓶颈。
内部流量模型：东西向为什么常常是南北向的数倍
以一路1080P直播流为例,进入转码集群后，通常不是只处理一次，源流被拉到一个转码节点，转出720P、480P、360P等不同档位，再分发到多个边缘节点，这个过程中：
- 源流可能被多个转码节点同时拉取,每多一个节点，内网就多一份源流带宽消耗。
- 转码中间文件在节点间同步,比如切片后的临时文件、关键帧索引。
- 转码后的多码率流回传到源站或CDN回源节点,走内网或跨机房链路。
- 任务调度、状态同步、日志回传也会占用内网带宽。
如果并发转码路数达到数百路,内网东西向流量会迅速超过南北向公网流量。转码集群内网带宽要求怎么看，核心就是先把这个流量模型算清楚，而不是按公网出口的几倍简单估算。
直播转码集群内网带宽在线计算：按并发路数推导
可以用一个简单公式先算底数：
单路并发带宽 = 输入码率 + 输出各档码率之和 × 副本数 + 中间同步损耗
以H.264编码为例：
| 分辨率 | 常见输入码率范围 | 转码输出路数 | 单路并发带宽估算 |
|---|---|---|---|
| 720P | 2-3Mbps | 3路输出 | 约8-12Mbps |
| 1080P | 4-8Mbps | 4路输出 | 约20-35Mbps |
| 4K | 15-25Mbps | 5路输出 | 约80-150Mbps |
如果平台同时并发200路1080P转码,内网核心交换带宽需求就不是200乘源流码率，而是200乘单路并发带宽估算值，按上表取中间值，200路并发1080P的内网东西向流量轻松突破5Gbps甚至更高，这还不包括副本、重试和监控流量。
直播平台转码集群组网带宽怎么规划
规划带宽不能只看平均值,直播平台有强突发特性，开播时间集中、活动高峰、断流重连，都会让带宽需求在几秒内冲高。
直播平台转码集群组网带宽怎么规划，要同时考虑收敛比、突发系数和链路冗余。
组网前先算清收敛比和突发系数
收敛比是接入层到核心层的带宽比值,普通办公网收敛比可能做到10:1甚至20:1，但转码集群不能这么激进，行业共识认为，直播转码集群的收敛比最好控制在3:1以内，核心层到汇聚层尽量接近1:1。
- 接入交换机下联服务器端口：25Gbps或100Gbps
- 上联核心交换机：至少按服务器端口总带宽的三分之一到二分之一预留
- 核心交换机之间：做链路聚合，避免单条光缆或单台核心故障导致带宽腰斩
突发系数方面,转码任务启动时会集中拉流、集中输出关键帧，瞬时流量明显高于平均流量，规划时把平均带宽乘以1.5到2倍作为可承受峰值，是比较稳妥的做法。
服务器网卡与交换机端口的匹配细节
服务器网卡和交换机端口不匹配,会造成流量在某个环节被悄悄限速，常见操作：
- 检查网卡实际协商速率：
ethtool eth0 | grep Speed - 确认交换机端口没有因为光模块或线缆问题降速到千兆甚至百兆
- 服务器使用双网卡或四网卡绑定,提升冗余和总带宽
- 绑定模式选择802.3ad（LACP）或mode 4，不要用主备模式浪费带宽
- 交换机侧开启LACP,接口配置
channel-group并启用lacp rate fast - 调整网卡队列：
ethtool -l eth0查看队列数，ethtool -L eth0 combined 8提升多队列能力
网卡多队列没有打开时,高并发下单个CPU核心会被软中断占满，带宽看起来没跑满，但延迟已经升高，这是转码集群里非常隐蔽的带宽细节。
直播转码服务器带宽成本对比：内网便宜还是公网贵
很多团队在做组网决策时,会纠结转码集群放在同一机房还是跨地域部署，这个问题绕不开成本。直播转码服务器带宽成本对比，通常要分三种链路来看：同机房内网、跨地域专线、公网传输。
同机房内网与跨地域专线的带宽成本差异
同机房内网带宽多数情况下按端口速率计费或不单独计费,服务器接入交换机的25G端口、交换机之间的100G端口，成本相对固定，适合转码节点间的频繁大流量同步。
跨地域专线则完全不同,专线带宽按Mbps或Gbps按月计费，相同速率下价格可能是同机房内网端口成本的数倍甚至十倍以上，转码集群如果分布在不同城市，内部同步流量走专线会大幅推高成本。
公网推拉流带宽计费对转码集群组网的影响
公网推拉流一般按带宽峰值或流量计费,常见的是按95计费：每天采样流量峰值的95分位作为计费带宽，这种模式下，偶尔的突发不会立即导致费用飙升，但持续高带宽会直接拉高账单。
如果转码集群和源站、CDN回源节点之间走公网传输，需要特别留意：
- 按峰值计费时,组网要尽量削峰，避免转码任务集中在同一时间启动
- 按流量计费时,转码输出码率越高，流量成本越高
- 跨地域公网传输还受公网质量影响,丢包和抖动会反过来增加重传，变相增加带宽消耗
多数直播平台会将转码集群和源站部署在同一机房或同一可用区,内网推拉流，只有最终分发走CDN公网出口。
直播平台推流卡顿和带宽不够有关系吗
卡顿不一定是带宽不够,这是一个很容易被误判的问题。直播平台推流卡顿和带宽不够有关系吗，回答是：有关系，但很多时候不是总带宽不足，而是短时间内的微突发和缓存设计不合理。
微突发：带宽监控图看起来正常但卡顿
微突发是指毫秒级到秒级的流量尖峰,普通SNMP监控的采样间隔通常是一分钟或五分钟，微突发在这种粒度下根本看不出来，交换机缓存被瞬间打满，数据包在端口排队，延迟突然升高，观众端就开始卡顿、花屏。
业内专家指出,很多转码集群卡顿并不是公网出口带宽不足，而是内网微突发没有被监控到，解决办法包括：
- 使用sFlow、NetFlow或流式遥测做秒级甚至亚秒级采样
- 检查交换机端口队列丢包计数：
show interface counters - 调大服务器网卡发送和接收缓冲区：
ethtool -G eth0 rx 4096 tx 4096 - 在汇聚层和核心层开启适当的队列调度,优先保障转码节点间的同步流量
转码集群组网中QoS和缓存调优
QoS在转码集群内网中不是可选项,转码任务调度流量、状态同步流量优先级应高于普通日志和监控流量，可以在交换机上对DSCP标记做队列映射：
- 视频流同步：DSCP EF或AF41，高优先级
- 转码任务调度：DSCP AF21，中优先级
- 日志、监控、日常管理：DSCP AF11或BE，低优先级
服务器侧也可以用tc命令做简单的出口限速和优先级管理，微突发不可完全避免，但充足的缓存和合理的QoS能显著降低丢包。
直播平台转码集群组网方案中交换机和链路怎么选
交换机选型看背板带宽和线速转发
转码集群的交换机不能光看端口数量,背板带宽和线速转发能力决定了所有端口同时打满时会不会丢包，选型时要确认：
- 交换机标称背板带宽不低于所有端口双向速率之和
- 转发速率支持所有端口线速,不靠“超额订阅”撑规格
- 支持MLAG或堆叠,核心交换机之间做多链路冗余
- 支持Jumbo Frame，转码集群内部传输大文件时减少CPU中断
链路聚合和负载均衡配置要点
链路聚合不是把两条10G线绑成20G就一定跑满20G,LACP的负载均衡算法基于源目MAC、IP或端口，某些情况下流量会集中在一条成员链路上。
配置时注意：
- 交换机聚合口使用
src-dst-ip或src-dst-ip+l4-port负载均衡 - 服务器绑定模式用802.3ad，交换机侧
channel-group模式为active - 不要混用不同速率和双工模式的物理链路
- 定期查看聚合成员端口利用率,避免单边跑满
转码集群的节点间流量大且来源分散,用IP和端口做哈希会更容易打散到不同成员链路。
直播平台转码集群组网带宽不够会有什么现象？
带宽不够的表现不止一种,内网瓶颈常见现象是转码任务排队时间变长，节点间同步延迟升高，监控图上内网端口利用率长期接近满载，公网出口不够时，观众端会出现开播缓慢、频繁缓冲、画质自动降档，如果是微突发造成的丢包，则表现为偶发卡顿，监控平均带宽却并不高。
直播转码集群内网带宽怎么快速排查瓶颈？
从下往上排查,先看服务器网卡协商速率和网络统计：ethtool eth0、ethtool -S eth0，重点看rx_missed_errors、tx_aborted_errors，再看交换机端口错误计数和队列丢包，使用show interface counters或对应厂商命令，然后检查核心层链路利用率，配合sFlow看瞬时峰值，最后看转码任务调度日志，确认是否有任务因等待同步而超时。
直播平台转码集群组网带宽预留多少冗余比较合理？
按并发峰值的1.5到2倍预留比较稳妥，核心层和汇聚层尽量保持低收敛比，公网出口要单独按95计费规则估算，不要和内网带宽混在一起，日常运行时，内网端口利用率长期超过七成就应该考虑扩容或重新压平衡。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/article/666901.html
