山西公司全力保障客户尽享春晚完美视觉盛宴
顼春元 庞晔 裴宏江 2017-02-06 人民邮电报
分享:

央视春节联欢晚会已经成为亿万中国人不可或缺的“年夜饭”,天翼高清业务如何平稳度过第一个春节将是对中国电信山西公司运维战线员工的一次严峻考验。面对责任和压力,山西电信省公司成立天翼高清业务保障党员先锋队,带头保障天翼高清业务,兑现了给用户“完美视觉盛宴”的承诺。

宜未雨而绸缪 毋临渴而掘井

天翼高清业务是一项集约化业务,无论从组网的复杂程度,还是从业务的开通模式,涉及设备网元之多、应用技术之复杂、业务部门跨度之大、人员协同之艰难,需要集团、运营中心、云公司、牌照方和省市公司的多方协同。面对几十万的天翼高清用户,任何一个环节的缺失都会直接影响用户的体验感知。为了打好“春节晚会”保障这场硬仗,山西电信运维人做了充足的准备工作,做到“能前知其当然,事至不惧,而徐为之图”。一是扩容拥塞电路,节前省市各级维护人员经过多个不眠之夜,将电路拥塞率降为零,将电路预警率降在3%以下;二是增强CDN能力,在节前短短半月时间,完成了全省中心节点和地市边缘节点共67台服务器的扩容,300多块千兆变万兆网卡的更换,保证了整体服务器集群的业务能力,解决了单台服务器的出口压力;三是健全监控手段,在网络核心节点部署了单组播探针直观查看直播源的情况,在IP综合网管实现了100多条天翼高清关键电路的实时监控;四是提升人员素养,多次对省市人员进行天翼高清专业知识的培训;五是编写应急预案,针对直、点播业务全阻、私网无法获取IP和用户鉴权失败等六大典型场景进行分析并制订快速响应措施,针对省核心回源电路、地市边缘回源电路以及CDN上行电路分别制订了应急措施。

厉兵秣马铸利剑 枕戈待旦竞风流

上万人在同一时间观看同一频道的春晚,平时难遇,未知状况随时都会发生,此时每一位运维战线的人员都绷紧了弦,时刻处在待战状态。

从除夕8时开始,市分公司按小时实时上报地市边缘节点的流量情况,以及CDN服务器的流量情况,发现丝毫异常,立即消灭在萌芽状态。10时左右客服部门反馈,临汾报障用户较多,经核实为一台OLT掉电引起,在半小时内恢复供电,及时保障了用户业务。19时左右,流量已突破预警值,山西电信省公司快速反馈和沟通,联系云公司进行流量倒换,将负荷较高的CDN服务器流量调度到其他空闲服务器上,及时保障了业务感知。尽管严防死守,但在晚会高峰期21时左右,还是出现了惊心动魄的小插曲,部分市分公司人员反馈直播卡顿,网管监控CDN几台服务器出现流量突增的情况;快速核实为单台服务器负荷较高导致(仅影响小部分单播用户),随即快速联系云公司处理,5分钟内将负荷较高服务器剔除新增服务后业务恢复。

天翼高清保障春晚会战结束了,山西电信运维人实现了当初为用户提供“完美视觉盛宴”的承诺。而未来,等待运维人的将是更漫长而执着的岗位坚守和业务钻研。