机房应急处置处理方案.doc

/1.1. 应急处置方案应急处置方案1.1.1.概述概述为了确保攀枝花市电子政务办协同办公平台在突发紧急情况、自然灾害（地震、水灾等）等时的安全、稳定运行，保障业务系统和数据系统的正常运转，减少因各类突发紧急情况造成的损失和影响，提高应对紧急情况的综合管理水平和应急处置能力，保证网上公文办理与传输的高效、安全运行，维护政令畅通,特建立紧急情况下有效的应急机制，结合工作实际进行应急管理。1.1.2.工作原则工作原则由于突发紧急情况故很容易导致大面积的设备瘫痪、网络阻塞、数据丢失、业务中断等严重后果，具有很大的危害性。为提高处理效率、并尽最大的限度降低此类事故的损失，在应急管理之前，应充分考虑并遵循以下应急管理的基本工作原则：1、统一指挥，协调配合。在应急管理机构的统一指挥、调配下，各应急力量快速就位，快速地开展紧急情况应急处置行动。督促相关部门遵照“统一领导、分级负责、各司其职、协调配合”的原则协同配合，开展应急工作。2、实时监控，加强防范。各相关部门要加强对平台实时监控和防范。要防止利用平台办理和传输涉密公文和敏感信息；针对黑客、病毒可能会对平台、网络、数据库发起的攻击和破坏活动，及早发现苗头、动态，提前做好应急响应工作。3、快速行动，控制事态。发生突发紧急情况时，要按照处置优先、快速反应的机制，及时获取充分而准确的信息，跟踪研判，果断决策，充分利用现有设施，整合内、外部的应急力量，充分依靠系统应急力量，形成应急工作合力。按照相关应急预案进行迅速处置，最大程度地减少危害和影响。4、全程记录，追查根源。各单位在发生平台安全事故时，要及时做好事故情况记录，以便与有关部门紧密配合，追查事故的根源，并协助相关部门进行处理。5、应急管理以快速恢复设备的正常运行与业务的提供为核心，因此，提高紧急事故处理效率的关键是：及时制定各种紧急事故的处理预案，并定期组织相关管理人员与维护人员进行学习、演练。/6、维护人员在上岗前必须接受必要的应急管理培训，学习判断紧急事故的基本方法、掌握处理紧急事故的基本技能。7、当系统或设备发生紧急事故时，维护人员应首先保持镇静，然后检查硬件设备、承载网等的运行是否正常，最后判断事故的起因是否由本系统引起，若是，请按照紧急事故处理预案或参考本方案中的相关流程进行事故处理。8、当维护人员完成紧急事故的处理以后，请及时采集与本次事故有关的设备紧急情况告警信息，并将相关的事故处理报告、设备告警文件、日志文件等发送给川大智胜公司进行分析与定位，以便我们能够更好地提供售后服务。1.1.3.应急响应体系应急响应体系应急响应体系的建立，主要的目的就是为了处理突发事件,在发生应急情况能够快速响应，并按照正确流程进行处理工作。1.1.3.1.紧急事件定义紧急事件定义对于应急而言，具体发生下列情况之一，应视为紧急事件，需要采取相应的紧急措施：1、当平台硬件受到破坏性攻击不能正常发挥其部分功能或全部功能时。2、当平台软件受到破坏性攻击不能正常发挥其部分功能或全部功能时。3、当平台受到计算机病毒的侵害，局部或全部数据和功能受到损坏，使系统不能工作或工作效率急剧下降。4、当平台物理设备被人为毁坏，无法正常工作。5、当受到自然灾害的破坏，如：地震、水灾、火灾、雷电。6、当出现意外停电而又无后备供电措施。7、当重要的关键岗位人员不能上岗。1.1.3.2.应急计划要求应急计划要求攀枝花市电子政务办协同办公平台项目建成后，应制订详细可行的应急处理计划方案，应急计划应满足以下要求。1、应急计划应条理清楚、语言简洁、步骤分明、具有强可操作性。2、应急计划应有多种备用方案，每种方案均可独立实施，应有各种方案的优先排序。/3、应急计划应有明确的负责人与各级责任人的职责。4、应急计划应便于培训和实施演习。5、应急计划简单流程图应公布在显著和方便的位置，以便发生事故时，能迅速、方便地执行。1.1.3.3.应急响应计划应急响应计划应急计划应包括紧急措施、资源就绪、恢复过程、演练和应急计划关键信息等。1.1.3.3.1. 紧急措施制定对各种紧急事件的响应的规程、抢救计划、救护计划和撤离计划，以保护人员生命，降低财产损失。1.1.3.3.2. 应急资源就绪1、资源备用软资源备用：对每一信息资源需要有足够的备份，并将备份存放于攻击和灾害不能及的地方。设备备用：在工作现场可以有主板、硬盘、光驱等备件，及备用的外部设备。2、电源备用应配置不间断电源，一般不间断电源应可在断电后维持工作一小时以上。应配置备用交流稳压电源。重要系统和大型系统应配备多种供电来源，甚至配用发电设备。3、备份恢复重要或大型系统中的关键设备和信息安全产品应采用双机热备份。关键数据应采取异地系统备份，并确保数据可用。本次平台建设数据库服务器采用了双机热备，并在异地也进行了数据备份。1.1.3.3.3. 恢复过程制定和实现恢复过程计划。对数据恢复的每一步有详细的跟踪验证，确保恢复过程在可控的范围内进行。/1.1.3.3.4. 应急演练为保证在出现紧急事件后，应急措施的有效实施，应定期进行应急计划的演习，通过定期、常态化的演练过程，使每个工作人员知晓应急知识和在应急计划中应采取的措施和应负的责任，以利于紧急事故出现时能迅速执行应急计划。1.1.3.3.5. 应急响应计划关键信息应急计划关键信息应张贴在显著和方便的位置，应急计划关键信息包括：供应商电话、系统维护人员、火警电话、报警电话、应急负责人电话和住址等。平台安全可靠的运行，防止有意或无意的操作错误，防止和发现计算机犯罪案件，利用对计算机信息系统的审计方法，对计算机信息系统的运行状态进行详尽的审计，并保存审计记录和审计日志，从中发现问题，调整安全策略并以此降低安全风险。1.1.3.4.应急响应流程应急响应流程针对不同紧急事件的影响程度，当发生紧急事件后，所动用的资源和采取的运行也相应变化，下图按照一般事件、突发事件列出了应急处理的通用流程，显示了突发事件从发现、处理、恢复、总结的全过程，按照这一处理方案，可很好的将突发事件的损失控制在可有效范围内。具体本项目的应急处理流程需要在后期项目实施过程中给予完善。/图 Error! No text of specified style in document.-1 应急处理流程1.1.4.应急处置应急处置应急处置是在系统发生相关等级事件后而根据其所对应的应急响应程序而启动的应急预案执行过程。根据以往项目建设经验,在本项目中，主要有以下处置措施。/1.1.4.1.机房遭到毁灭性破坏时的处理措施机房遭到毁灭性破坏时的处理措施1.1.4.1.1. 处理流程协同办公平台网络技术维护人员系统监控发现机房毁灭性破坏判断毁坏设备损坏情况财政申请资金购买新设 备应急小组组织相关单位 进行系统恢复或者重建系统恢复开通报送指挥部设备到位人人为为毁毁坏坏不不可可抗抗拒拒毁毁坏坏报告公安机关图 Error! No text of specified style in document.-2 机房遭到毁灭性破坏时的处理流程1.1.4.1.2. 处理措施1、事件发现：网络技术维护人员应对系统运行情况进行实时监控,发现问题及时处理，消除紧急情况隐患，当机房发生毁灭性破坏时，应及时报送指挥部。/2、应急指挥：指挥部及主管领导要迅速到达一线指挥紧急情况处理,判断毁坏设备损坏情况,若发现为人为损坏,需及时向公安机关报告,若因不可抗拒原因损坏,则采取应急措施。3、应急处理：确定设备损坏数量,指挥部发起采购申请,待采购新设备到位后,由应急小组组织相关单位进行系统恢复或重建工作,由于协同办公平台进行了数据集的异地备份,待新购设备到位后,可快速实现系统平台恢复和数据恢复工作。4、应急结束：情况处理完毕，系统恢复正常运行，应视为应急结束。由应急小组领导负责宣布应急结束。/1.1.4.2.黑客攻击时的紧急处置措施黑客攻击时的紧急处置措施1.1.4.2.1. 处理流程协同办公平台网络技术维护人员系统监控发现入侵判断攻击严重性切断网络连接追踪来源/查找原因恢复系统数据系统恢复开通通知网络安全员/保护好 现场确定攻击性质报告公安机关指挥部讨论解决并记录严严重重:断断网网处处理理一一般般:联联网网处处理理严严重重一一般般网络安全人员图 Error! No text of specified style in document.-3 黑客攻击时的处理流程1.1.4.2.2. 处理措施1、事件发现：网络技术维护人员进行系统实时监控,发现黑客攻击时,立刻通知网络安全员并保护好现场,网络安全员判断黑客攻击的严重性,并通知指挥部。2、应急指挥：由指挥部根据判断黑客攻击的严重性进行统一指挥，若为一般攻击，则可联网处理，若为严重攻击，则需切断网络连接。/3、应急处理：根据攻击严重性，判断是否需要断网处理，追踪攻击来源，查找系统攻击原因，确定攻击性质，若为一般攻击，则由指挥部讨论解决方法解决并记录，若为严重攻击，则需及时报告公安部门，攻击处理后，恢复系统数据，并恢复开通运行。4、应急结束：情况处理完毕，系统恢复正常运行，应视为应急结束。由指挥部领导负责宣布应急结束。1.1.4.3.病毒安全紧急处置措施病毒安全紧急处置措施1.1.4.3.1. 处理流程协同办公平台网络技术维护人员系统监控发现系统病毒感染判断感染严重性 通知指挥部门切断网络连接清除病毒恢复系统系统恢复开通是否解决指挥部讨论解决并记录严严重重:断断网网处处理理一一般般:联联网网处处理理是网络安全人员杀毒软件提供商否技术支持通知网络安全员图 Error! No text of specified style in document.-4 病毒安全的处理流程/1.1.4.3.2. 处理措施1、事件发现：网络技术维护人员进行系统实时监控,发现病毒感染时,及时通知网络安全员,网络安全员判断病毒感染的严重性,并通知指挥部。2、应急指挥：由指挥部根据判断病毒感染的严重性进行统一指挥，若为一般感染，则可联网处理，若为严重感染，则需切断网络连接。3、应急处理：根据病毒感染严重性，判断是否需要断网处理，先由内部相关人员进行病毒清除，若完成清理，则由指挥部记录处理情况及结果，若内部相关人员无法解决，则尽快联系杀毒软件提供商给予技术指出，病毒完全清除后，恢复系统，并恢复运行。4、应急结束：情况处理完毕，系统恢复正常运行，应视为应急结束。由指挥部领导负责宣布应急结束。/1.1.4.4.数据库安全紧急处置措施数据库安全紧急处置措施1.1.4.4.1. 处理流程数据库网络技术维护人员系统监控发现数据库服务器异常判断异常程度 通知指挥部切断网络连接检查异常原因恢复备份数据库系统恢复开通是否解决指挥部讨论解决并记录严严重重:断断网网处处理理一一般般:联联网网处处理理是网络安全人员川大智胜公司/硬件提供 商否技术支持备份系统通知网络安全人员图 Error! No text of specified style in document.-5 数据库安全的处理流程1.1.4.4.2. 处理措施1、事件发现：网络技术维护人员进行系统实时监控,发现数据库异常时,及时通知网络安全员,网络安全员判断数据库异常程性,并通知指挥部。2、应急指挥：由指挥部根据判断数据库的异常程度进行统一指挥，若为一般异常，则可联网处理，若为严重异常，则需切断网络连接。/3、应急处理：根据数据库的异常程度性，判断是否需要断网处理，先由内部相关人员进行异常检查并处理，若解决异常，则由指挥部记录处理情况及结果，若内部相关人员无法处理，则尽快联系数据库软硬件提供商给予技术支持，数据库异常完全解决后，恢复备份数据库，恢复系统，并恢复运行。4、应急结束：情况处理完毕，系统恢复正常运行，应视为应急结束。由指挥部领导负责宣布应急结束。/1.1.4.5.服务器故障紧急处置措施服务器故障紧急处置措施1.1.4.5.1. 处理流程服务器网络技术维护人员系统监控发现服务器故障判断故障程度 通知指挥部检查故障原因系统恢复开通是否需要维修指挥部讨论解决并记录一一般般:服服务务器器可可正正常常运运行行 严严重重:服服务务器器无无法法正正常常运运行行否否网络安全人员川大智胜公司/硬件供应 商是技术支持通知网络安全人员是否解决川大智胜公司/软硬件供 应商是是恢复系统是否可维修是已维修设备否财政申请资金购买新设 备或可调配设备设备到位应急小组组织相关单位 进行系统恢复系统恢复开通图 Error! No text of specified style in document.-6 服务器故障的处理流程/1.1.4.5.2.1.1.4.5.2.处理措施1、事件发现：网络技术维护人员进行系统实时监控,发现服务器异常时,及时通知网络安全员,网络安全员判断服务器故障程性,并通知指挥部。2、应急指挥：由指挥部根据判断服务器故障的程度进行统一指挥。3、应急处理：如果紧急情况可以在 2 小时之内排除，则由网络安全员、系统管理员立即排除紧急情况，恢复系统正常运行；若紧急情况排除不能在小时之内完成时，应该断开服务器的网络连接，通知系统管理员启动冷备份服务器，完成应用系统的安装、设置，并进行数据的恢复，保证系统正常运行（本次项目应用服务器采用了负载均衡，数据库服务器采用了互为热备方式，当一台服务器出现故障时，不会影响系统正常运行）；网络安全员、系统管理员在确认安全的情况下，重新启动紧急情况服务器系，重启系统成功，则检查数据丢失情况，利用备份数据恢复；若重启失败，立即联系相关厂商和技术支持，请求援助，分析紧急情况原因，若经设备厂商或技术支持认定是硬件损坏，那么需要请求厂商更具维修协议，进行保修或维修。在服务器硬件正常的情况下，尽快做好系统软件的恢复或重新安装，之后再进行应用软件的恢复或重新安装，再进行应用系统的数据恢复，应用系统完全恢复正常运行后，重新启用恢复的应用系统服务器，再将备用系统停掉。4、应急结束：情况处理完毕，系统恢复正常运行，应视为应急结束。由指挥部领导负责宣布应急结束。/1.1.4.6.平台故障紧急情况处置平台故障紧急情况处置1.1.4.6.1. 处理流程协同办公平台网络技术维护人员系统监控判断故障程度用户 平台问题反馈平台检查记录问题解决问题是川大智胜运维小组一般：系统正常运行发现平台故障通知指挥部严重：系统无法正常运行图 Error! No text of specified style in document.-7 平台故障的处理流程1.1.4.6.2. 处理措施1、事件发现：网络技术维护人员接收到用户的平台问题反馈或发现平台异常，网络技术维护人员、系统管理员应立即对服务器进行查看，分析紧急情况原因，采取并及时报告指挥部。2、应急指挥：由指挥部联系根据分析情况原因统一安排工作。3、应急处理：在紧急情况发生后立即查看服务器系统状态，如果是系统软件出现紧急情况，并且能进入系统，且可以清晰定位紧急情况原因，并可以立即排除，那么立即进行排除。如果估计在 3 小时之内都不能定位紧急情况原因，那么报告指挥部，由川大智胜公司技术支持协助排除，或根据技术支持的建议进行重新安装操作系统和应用系统。排除操作系统紧急情况的方法，检查操作系统进程是否都正常，有无非法进程，操作系统文件有无损坏丢失，是否受到病毒和木马程序侵害，黑客攻击。/如果不是操作系统紧急情况，应对平台进行检查，检查方法，查看平台代码和数据是否被破坏，损坏，丢失，如果丢失，从正确的备份进行恢复。4、应急结束：情况处理完毕，应视为应急结束。由指挥部宣布应急结束。/1.1.4.7.短信发送应急处置措施短信发送应急处置措施1.1.4.7.1. 处理流程协同办公平台网络技术维护人员系统监控短信异常 通知指挥部用户短信问题反馈短信接口检查是否解决问 题记录问题解决问题攀枝花电信公司否是川大智胜运维小组短信通道检查图 Error! No text of specified style in document.-8 短信发送的处理流程/1.1.4.7.2. 处理措施1、事件发现：网络技术维护人员接收到用户的短信问题反馈，查看短信异常情况并报指挥部。2、应急指挥：由指挥部联系川大智胜公司进行短信接口检查。3、应急处理：川大智胜公司对短信接口进行排查，若问题解决，则记录问题原因与处理结果，若未能解决问题，则联系攀枝花市电信公司，由攀枝花市电信公司进行短信通道检查，问题解决后，记录问题原因与处理结果。4、应急结束：情况处理完毕，应视为应急结束。由指挥部宣布应急结束。1.1.5.保障措施保障措施1、组织保证要成立应急处理指挥小组，明确机构、职能、人员及工作制度，落实责任。发生紧急情况，信息系统主管部门负责人要到事故或突发事件第一现场进行指挥、组织、协调。2、资源储备保障要从人员、技术、设备等方面做好储备，建立系统及数据的备份机制，以应对各类突发事件的发生。3、资金保障发生紧急情况后，财会部门要采取得力措施，确保事故应急处置的资金需求。4、技术保障要明确系统及硬件技术支持单位和支持方式，建立支持专家库，明确联系方式，定期充实更新。5、应急培训要加强具体工作人员的应急预案的培训、学习，熟练掌握应急处置的应知应会内容，正确处理事故或突发事件。并做好应急预案的演练。6、信息共享发生紧急情况，要及时沟通应急处置过程的相关信息，并按照有关程序通/知其他信息系统做好预警、防范工作。1.1.6.后期处置后期处置1、善后处理：事故或突发事件处理后，信息部门要深入调查、分析原因，进行整改。2、总结修改预案：对全过程进行全面总结，形成文案，备今后参考借鉴，并完善修改预案，报上级主管部门。成功案例说明：以下成功案例中体现了川大智胜负责项目在应急响应的事前规划、事中处理、事后完善的整体应急响应体系策划与实施能力。其中：宜宾市政府系统公文无纸化办理及传输平台（2008 年建成），平台历经 5年的运行，目前已是宜宾市电子政务的重要平台，目前平台应用部门达 2612个，涵盖宜宾市、县（区）、乡镇（街道）和社区等各个行政部门和企事业单位，系统用户数量达 32185 人，平均在线人数在千人左右，大数据量传输、大用户量使宜宾市政府系统公文无纸化办理及传输平台的稳定运行、风险规避与应对成为系统日常运行维护的重要工作。在项目建成之初，我们即与用户单位共同制定了平台应急响应保障体系，并通过实践对体系内容不断完善和优化，通过体系的执行与落实，使每次险情发生时，我们都能做到快速响应，最小程序减少系统宕机时间，最小程度减少用户损失。宜宾市政府系统公文无纸化办理及传输平台的安全稳定运行是其在全国各项政府电子政务平台的绩效评估中，十余年来一持保持全国前列的原因之一。