故障预处理应用实践

摘要:本报告针对故障派单收敛不充分、各专业故障场景处理要求不一致的现状，在集团派单基础上，增加了故障单预处理模块，通过叠加省内专业间关联数据和网管交互接口，提高了故障派单的准确性；增加故障通知单，关联故障宿主单，实现跨专业关联故障的告知和过程跟踪，既减轻了一线维护人员工单处理压力，又解决了业务侧对故障处理过程的跟踪需求。在故障精准派单的基础上，针对故障场景进行分级和细化管控，通过对关键步骤的管控实现对处理过程的透视。

关键词：工单预处理；分级管理；智慧运营平台

一 背景和问题描述

2016年初开始，河北联通开始网络故障自动派单能力建设，最初告警收敛逻辑和故障派单规则都是由各专业主管根据专业特点和当时的数据现状进行的部署，随着数据的逐步完善和能力的逐步提升，派单规则也在进行不断的优化和完善。随着集团统一能力的完善和细化，各省的本地化应用逐步被集团智能监控3.0所替代，在实际应用过程中，仍然存在省分个性化需求无法满足的问题。

问题一，专业之间拉通不足。页面配置能力对跨专业支撑不够，专业间关联数据支撑不足，如对于2+3组网方式的IPRAN网络中承载的BBU业务无法实现业务级别的关联，又比如无线传输与动环的关联，只能依靠局站信息和收敛时间窗实现关联，对于时间窗范围以外的告警无法实现收敛。问题二，专业内收敛不够。主要体现在故障派单及时性与故障派单准确性的矛盾。目前的故障收敛都是将收敛时间窗内发生的告警，根据一定业务逻辑进行收敛，等待时间越长，故障收敛程度越高，故障定位的准确性也越高，但是长时间的等待无法满足故障发现的及时性要求。所以通常情况下都是牺牲了准确性来满足及时性要求。问题三，电子运维统一故障处理流程，注定只能满足常规的管理要求，对于处理过程的细节关注不够，无法透视员工生产效率。上述问题的存在，导致了一线维护网格对同一故障会出现同时接收多张故障单的问题，增加了维护人员的困扰和工作强度。

针对这样的现状，河北联通在省内智慧运营平台基础上，增加了工单预处理模块，在省内工单中心对故障处理过程分场景细化，对不同故障场景进行不同管控要求。

二 解决方案

2.1 指导思路

在充分利用集团能力的基础上，将电子运维故障工单通过接口方式全部接入省内，在省内智慧运营平台上部署工单预处理模块实现工单收敛，同时在工单调度模块实现故障处理过程的管控和赋能。

在能力建设过程中，充分了解和利用集团能力中台各中心的原子能力，遵循集团已有能力坚决不重复建设的指导思想构建省内个性化应用。

2.3 职责分工

团队按照PDCA工作法进行闭环管理，工作流程与职责分工如图二所示。运营主管牵头专业内故障单分析，梳理故障根因，进行跨专业根因验证，从而制定收敛策略，明确关键数据。云网中心创新组负责数据收集，数据质量评估和治理，最后牵头收敛策略的开发和部署。策略部署上线后由运营组牵头，创新组配合完成策略的验证和效果评估。根据评估结果进行策略调整和功能的迭代优化。

特别说明：运营主管牵头本专业故障单分析，提炼并优化专业内工单收敛策略；跨专业关联则由受影响的专业牵头梳理故障关键信息，并向底层支撑专业进行场景关联，由支撑专业提供根因故障关键信息并配合业务验证。

图一 工作流程与职责分工

2.4 架构设计

利用省内智慧运营平台实现工单的入口统一，在智慧运营平台DOP模块中增加工单预处理模块（DOP平台中红色部分内容），打造生产策略中心；在智慧运营平台TOP模块中对故障工单处理动作组件化改造（TOP平台中红色部分内容），建立通用组件20个，自定义组件15个，在故障处理通用流程基础上满足专业个性化场景流程自定义。

图二 智慧运营平台系统架构图

2.5 收敛策略

截止到10月底，已累计梳理并部署预处理策略30个，下面用无线专业举例说明故障预处理业务逻辑。

无线专业设备数量最多，故障单的体量也最大，除了无线设备自身故障以外，为无线设备提供传送通道的承载设备及更底层的动力环境问题都有可能造成无线设备的退服或降质告警。

在开始进行无线收敛策略梳理之前，先对无线故障工单进行系统分析，对故障单进行分类，通过故障单标题或告警的关键信息，实现对故障场景的自动打标。梳理后，无线故障单共分为7类，分别为群发故障、基站退服、小区退服、基站硬件故障、GPS时钟故障、传输时钟故障和无线驻波故障，如图四所示。

图三 无线故障单打标处理逻辑

场景打标完成后，针对不同场景实现不同的收敛策略，同时关联不同的派单逻辑。我们以基站退服（图五所示）为例进行收敛策略说明。

基站退服后，首先排查无线设备硬件故障，通过子告警标题关键字段进行关联，如果关联成功则按无线硬件故障进行派单，否则进一步关联是否为停电原因导致。停电判定逻辑需要区分自有机房和铁塔机房，对于自有机房，可直接通过基站设备所在局站是否存在在途停电故障工单进行关联，如关联成功，则该无线工单派发标题为“自有机房停电导致基站退服”故障通知单，同时给被关联的停电故障单追加基站已退服信息；而铁塔机房关联逻辑则通过和铁塔公司的网管接口查询站点直流电压值，如直流电压低于50V，则判定为铁塔站点停电，通过省内系统接口给铁塔公司派停电工单，同时该无线工单派发标题为“铁塔机房停电导致基站退服”故障通知单。如未关联停电工单，且铁塔直流电压高于门限或查询未果的情况下，则继续对该退服基站进行传输专业关联，关联逻辑则是利用了BBU设备与承载设备的业务拓扑，如承载该BBU的传输网元有“网元脱管”故障，则判定为传输原因导致基站退服，此时该基站退服故障将派发标题为“传输原因导致基站退服”的故障通知单，同时给被关联的传输脱管工单追加基站已退服信息，否则根据基站类型不同选择派发故障单给一线网格或者综合代维。

特别说明：

无线与传输关联所使用的这部分数据，一方面直接利用了集团能力中台BBU清单数据，另一方面对于IPRAN承载的基站业务，利用省内采集数据进行了补充回填，从而提升了传输原因导致基站退服的关联成功率，数据处理逻辑这里不赘述。

关联逻辑中先与动环关联再与传输关联的处理逻辑是考虑到接入站点内供电设备存在一次下电和二次下电逻辑，一旦出现停电原因导致的基站退服情况，一般来说一定会出现站点停电的故障单，但此时停电原因导致传输设备脱管问题不一定出现。

引入故障通知单，免去一线维护人员签单压力，同时关联成功的故障通知单和宿主工单（被关联专业的故障工单）会自动进行信息同步，解决了业务专业了解根因专业故障处理进度的需求。通知单收到清除信息后，会自动归档并短信通知包机人，同时会将业务恢复信息追加到宿主工单。通知单未收到清除信息且宿主工单已处理完成的情况下，会短信/语音通知包机人进行业务确认，如确认业务恢复则手工结单，如业务未恢复，可将通知单一键转为故障单进行处理。

图四 无线基站退服故障预处理逻辑

2.6 流程细化

完成了故障场景达标和派单逻辑细化之后，对每一类故障处理流程进行梳理，在通用故障处理流程的基础上，可根据工单管理要求分场景进行个性化配置，可通过网管接口实现部分故障单的自动质检等，限于篇幅原因，流程的场景细化和环节管控这里不再展开描述。

三 应用效果

截止到十月份工单预处理模块已部署4个专业30个收敛规则，其中专业内收敛逻辑21个，专业间收敛逻辑9个。自7月份故障通知单上线以来，累计派发通知单1.5余万张，其中无线停电类3206张，跨专业关联动环1006张，关联铁塔11478张，关联传输7张（传输收敛逻辑10月中旬完成部署），传输关联动环5张。截止到9月底统计数据，故障单同比压降20%以上，无线专业故障单同比压降30%以上，有效提升了故障派单的准确性，减少了一线网格对于冗余工单的处理工作量。

通过与铁塔及动环网管建立接口，提升了业务专业跟动环专业关联的准确性，解决了因为告警时间差过大导致的故障单多派的情况，同时利用与网管的接口交互实现了重要故障的自动质检能力，提升中台故障管控效率。

四 下一步计划

将故障预处理及场景细化专业范围进一步扩大，加强中台的统一调度能力，提供快速便捷的调度工具；同时网管能力抽象，在生产过程中提供通用查询工具，提升一线自助服务能力，打造全面好用的数字化生产工具。