数据中心精密完美在线(中国)设备故障应急处置预案

为了确保机房完美在线(中国)系统安全运行，建立健全完美在线(中国)系统设备故障保障和恢复应急工作机制，提高应对设备突发故障的组织指挥能力和应急处置能力，满足突发故障下机房完美在线(中国)系统工作正常和恢复工作的需要，特制定机房完美在线(中国)故障应急处置预案。

应急方案启动条件：机房完美在线(中国)系统出现故障，导致机房局部产生高温，将会对其他业务产生影响，造成数据设备运行不正常时，立即启动“完美在线(中国)设备故障应急处理预案”。

应急方案执行原则如下：

1、完美在线(中国)设备故障应急处置预案，要坚持统一指挥、分级负责、快速反应、保障有力，坚持先抢通、后修复的原则。

2、出现完美在线(中国)设备重要故障时，值班人员要在5分钟内逐级上报主管领导和相关维护人员，相关主管和维护人员不得擅离岗位，随时保持通信畅通。

3、维护人员严格遵循完美在线(中国)设备维护和故障处理的规范要求，熟悉故障紧急处理流程，熟练掌握操作步骤和方法，在处理故障时应尽量缩短障碍时间。

4、处理完美在线(中国)设备故障时，深入查看和分析完美在线(中国)设备告警日志，根据告警内容来确定故障处理的方向。

5、对处理完毕的完美在线(中国)设备故障，事后必须做故障分析，查清故障原因，确定故障性质和责任，采取防范措施，避免同类故障再次发生。

网络/设备/系统现状：配套完美在线(中国)系统设备主要包括10台10KV高压离心冷水机组及其配套设施、380V离心冷水机组5台及其配套设施、屋顶15台开式冷却塔及其配套设施、冷冻水型机房专业完美在线(中国)318台等组成。

破坏原因及破坏结果分析：完美在线(中国)设备突发故障，包括完美在线(中国)本身设备故障、人为原因造成完美在线(中国)故障，将导致机房温度升高不能满足数据设备运行的环境需要，严重影响设备的正常工作。

预防保障措施如下：

（1）加强机房完美在线(中国)设备的预防性维护工作，定期查看和分析完美在线(中国)设备的运行参数、告警内容，掌握完美在线(中国)设备运行情况。

（2）严格按照完美在线(中国)维护作业计划，定期查看完美在线(中国)设备告警是否正常，及时发现、排除完美在线(中国)设备运行隐患。

（3）加强技术骨干人员的学习和培训，提高业务技能水平，保证应急情况下完美在线(中国)设备故障的及时处理。

（4）做好完美在线(中国)设备的测试仪表、应急备品备件储备管理，保证应急处置故障时抢修工作顺利进行。

应急措施如下：

（1）机房完美在线(中国)设备发生一般故障时，值班人员立即通知维护主管进行处理，保证在3个小时内处理完毕。

（2）如果完美在线(中国)冷机或者管路故障，启动备用完美在线(中国)工作，安排维护人员在3小时内更换故障器件或者疏通管路，处理完毕冷机和管路问题。

（3）机房完美在线(中国)设备发生重大故障后，值班人员发现异常情况后在5分钟内及时逐级上报领导和启动故障处理过程，组织技术骨干全力抢修。

（4）发生机房完美在线(中国)系统设备重大故障，将造成机房的温度短时间升高，危害数据设备的正常运行。发生此类故障后，如果一时无法修复，必须采取应急措施，保障机房环境符合要求。

（5）冷水机组故障。

冷水机组发生严重故障无法复位时，应马上停机，启动备用冷水机组，要注意开启或关闭相应系统切换阀门。

在5分钟内逐级通知相关负责人，并通知设备厂家工程师，在四小时内赶赴现场维修，在事后组织现场分析会填写维修报告，由维护人员和项目主管确认并存档备案。

（6）循环水泵故障（冷冻水泵、冷却水泵）

巡查时发现运行水泵异常，应先暂停对应主机，后停异常水泵，开启备用水泵，启动主机继续供冷。

维护人员检查维修设备故障，当场解决的问题即时修复并在值班日志上记录。

水泵故障较严重，应报告主管工程师，由其安排组织人员后续维修，并在事后填写维修报告。

（7）冷却水塔风机故障

冷却水塔风机故障，应立即停止该机，转开备用冷却塔和风机。

维护人员检查维修设备故障，当场解决的问题即时修复并在值班日志上记录。

风机故障较严重，应报告主管工程师，由其组织人员后续抢修，并在事后填写维修报告。

（8）冷却水塔底盘漏水

巡查人员发现水塔底盘漏水，应即刻开启备用水塔，将漏水水塔平衡管阀关闭。

故障报告主管工程师，由其组织抢修，并在事后填写维修报告。

（9）冷却水塔溢、漏水

冷却水塔溢水或者漏水时，马上检查相应的浮球开关，可当场解决的即时修复。

浮球开关损坏即刻停止该塔运行，关闭对应的进水阀，并开启备用水塔。

故障问题报告主管工程师，由其组织人员维修，并在事后填写维修报告。

（10）主管道漏水

主管道漏水时应迅速关闭冷水机组和冷冻水、冷却水水泵，并关闭漏水管道的前端阀门，将漏水引入地漏，及时清扫机房地面积水。

现场用沙包拦住电梯口、走廊口，以防水流入电梯井和用户房，将水引入地漏。

将冷水机房内集水器和分水器的底部排水阀打开排水，留意水泵房污水泵抽水情况，一旦发现集水池水位过高，则需关闭排水口。

事后报告技术主管，安排抢修并填写维修报告。

（11）水平管网漏水

水平管网漏水时，应迅速将事发楼层管道井旁的水平管阀门关闭。

现场用沙包拦住设备间门口、电梯口、走廊口，以防水流入走廊、电梯井和用户房，关闭完美在线(中国)水平衡管阀门，并及时组织人员进行抢修。

事后报告技术主管，安排抢修并填写维修报告。

（12）末端完美在线(中国)机房内的管道漏水

末端完美在线(中国)机房内管道漏水，带好地板吸到达漏水地点，检查漏水现场有无触电隐患，防止造成二次伤害。

关闭管道对应阀门，开启机房内对应管道的排水口排水，使用防汛沙袋进行临时封堵，启动备用完美在线(中国)设备。

对漏水管道进行检查，找出漏水点进行维护，使用吸水器做好积水清理工作。

（13）市政补水系统停水

市政管线停水时，为避免制冷机组因缺水造成停机事故，在发现市政停水后，在3分钟通知部门领导，及时和市政供水部分联系处理紧急情况。

开通阀门使用备用水源对冷却水系统供水。

文章来源：精密完美在线(中国) /