BSS产品北京奥运会保障方案gmr.docx

中兴通讯ZXG10-BSS产品北京奥运会保障方案 中兴通讯ZXG100-BSS产品品北京奥运会会保障方方案中兴通讯股股份有限限公司2008728 中兴通讯ZXG10-BSS产品北京奥运会保障方案目 录第1章 预预防措施施1-111.1 奥奥运前现现场巡检检方案1-111.2 BBSCVV2产品品1-111.2.11 硬件件及组网网检查1-111.2.22 后台台操作维维护系统统检查1-881.2.33 前后后台版本本检查1-1181.2.44 告警警检查1-2211.2.55 数据据检查1-2251.2.66 BSSCV22巡检总总结表1-3311.2.77 BSSCV22巡检操操作表1-3321.3 iiBSCC产品1-3331.3.11 硬件件及组网网检查1-3331.3.22 后台台操作维维护系统统检查1-4411.3.33 前后后台版本本检查1-4481.33.4 告警检检查1-5521.3.55 数据据检查1-5541.3.66 iBBSC(V6.10) 巡检检总结表表1-6601.33.7 iBSSC（V6.10）巡巡检重要要操作自自检表1-6611.4 建建立远程程维护1-6621.5 重重要备件件准备1-6621.66 客户户支持中中心支持持电话1-6621.7 外外购设备备的技术术支持1-662第2章 故故障应急急指导2-11第3章章 保障障演练3-11第4章 奥奥运会期期间维护护规范4-11第5章 附附件5-11-2- 中兴通讯ZXG10-BSS产品北京奥运会保障方案第1章 预防措施1.1 奥运前现场场巡检方方案根据产品分分类，本本次方案案分成BBSCVV2产品品和iBBSC产产品两类类巡检方方案。1.2 BSCV22产品1.2.1 硬件及组网网检查对相关硬件件的运行行状态及及网间状状态的检检查，如如时钟、MMP、单单板、网网间连接接等运行行情况进进行检查查，可使使用的工工具有后后台测试试工具等等.1.2.1.1 最忙时段话话务量（EErl）1登录录OMCCR2.0系统统，如图图1。图12进入入性能分分析台，如如图2所所示。图2 性能能分析台台界面3选择择网管域域和报表表类型。单击【性能能报表创建性性能报表表】菜单单或<创创建性能能报表>>工具钮钮，进入入“工作报报表参输输入向导导”。第一一步选择择网管域域和报表表类型（如如3所示示）。首首先，在在下拉框框中选择择网管域域，然后后通过移移入按钮钮< >> >选选择系统统性能报报表3。图3 4选择择报表分分析对象象BSCC单击上图中中的<下下一步>>按钮，进进入报表表分析对对象选择择窗口（如如图4所所示）。首首先，在在下拉框框中选择择对象级级别为BBSC，然然后通过过移入按按钮< > >>或< >> >选择择对象。图45选择择统计报报表类型型和忙时时时段。单击上图中中的<下下一步>>按钮，进进入报表表类型和和忙时时时段选择择窗口（如如图5所所示）。首首先单击击“日报表表”单选按按钮，然然后单击击<选择择日>选选择日期期，最后后选择忙忙时的起起始和结结束时刻刻。忙时时时段能能且只能能设置相相隔一个个小时。选选择“生成eexceel文件件”，将结结果输出出到exxcell报表。最最后单击击完成。图56根据据报表向向导提示示，生成成exccel文文件。如如图6所所示，单单击完成成。图67查看看exccel报报表，获获取忙时时话务量量数据，如如图7所所示：图7 1.2.1.2 忙时MP负负荷1登录录OMCCR系统统。2进入入性能管管理界面面，选取取历史数数据查询询，如图图8所示示。图8性能管管理界面面3选择择测量类类型，网网管域和和测量对对象。选选择测量量类型为为模块基基本测量量，测量量对象为为所有MMP，然然后单击击下一步步，如图图9所示示。图94选择择计数器器。选择择计数器器118816（处处理器平平均负载载），1118117（处处理器峰峰值负载载），单单击下一一步，如如图100所示。图105选择择查询方方式和时时间范围围。选择择查询时时间范围围为忙时时时段，可可以选择择输出到到exccel报报表，单单击完成成，如图图11所所示。图116查看看结果，单单击确定定，可生生成exxcell报表，如如图122所示图12如果发现某某个模块块CPUU负荷过过高，系系统一般般情况下下CPUU达600%时，会会上报告告警。现现场根据据现网情情况可考考虑更换换PIIII MMP或是是通过调调整站点点端口分分配情况况均衡各各模块负负荷。1.2.1.3 各模块运行行情况1检查查前后台台通信是是否正常常。在OMCRR后台的的主界面面上可查查看前后后台是否否建链，如如图133所示，如如显示各各模块正正常，则则建链正正常。图132观察察MP面面板闪灯灯是否正正常。正常情况下下，主备备MP的的RUNN灯应该该以1HHZ频率率闪烁，FFAU灯灯应该熄熄灭。主主用MPP的MSST灯常常亮，备备用MPP的REES常亮亮。3在告告警管理理物理视视图中查查看是否否有MPP告警。正常情况下下，应该该没有任任何告警警，面板板显示为为绿色，如如图144所示。图144运行行探针，查查看R_ATRRUNKK和R_BTRRUNKK表。正常情况下下，已开开通的AA口中继继和ABBIS口口中继的的staatuss字段应应该为00，如图图14，图图15所所示。在在图166中即为为不正常常状态。图15 RR_ATTRUNNK表图16 RR_BTTRUNNK1.2.2 后台操作维维护系统统检查检查后台操操作维护护系统运运行情况况，如操操作系统统、后台台软件安安装、安安全性能能等。1.2.2.1 主备单板复复位及倒倒换1登录录OMCCR系统统。2进入入告警管管理界面面，选择择物理视视图，如如图177所示。图17告警警管理物物理视图图界面3右击击单板，可可观察到到单板的的主备用用状态，对对备用单单板进行行复位，如如图188所示。图184等待待单板复复位完成成，并且且运行正正常后（可可通过该该单板的的告警恢恢复或者者前台的的运行灯灯指示来来判断），在在主用单单板上进进行主备备倒换操操作，如如图199所示。图195倒换换完成后后（通过过右击单单板查询询单板状状态或者者前台MMST灯灯来判断断），再再对现备备用单板板进行复复位。6对于于MP和和网板等等重要单单板的倒倒换复位位操作需需要征求求维护部部门的统统一，该该操作需需要特别别小心。对对于MPP的主备备倒换，时时间应间间隔在66分钟以以上。且且倒换之之前需先先确认前前后台数数据是否否一致。1.2.2.2 SolarrisOraaclee运行对Solaariss和Orraclle运行行的检查查主要是是对服务务器运行行的负载载，磁盘盘空间，OOraccle进进程运行行是否正正常，OOraccle监监听程序序是否已已启动等等进行检检查。实实际上，如如果OMMCR进进程均在在正常运运行，OOMCRR客户端端可以正正常使用用的情况况下，SSolaarissOrraclle应该该都是运运行正常常的。1检查查方法：服务器器负载查查询,过过程如下下：bash-2.003$ upttimee下午 2点点09分分 运运行 33 天 23 小时 3 useers, 平平均负载载：0.10, 0.19, 0.222服务务器磁盘盘空间查查询，过过程如下下：bash-2.003$ df -k文件系统 千字字节 用用了 可可用 容容量 挂接接在/dev/dskk/c00t0dd0s00 155303359 5586779 1141004666 44% /dev/dskk/c00t0dd0s44 133711103 91133771 40228888 700% /usrr/procc 0 0 00 00% /proocfd 0 0 00 00% /devv/fddmnttaab 0 0 00 00% /etcc/mnnttaab/dev/dskk/c00t0dd0s33 44942235 1193112 42555000 55% /varrswap 122536632 8 1125336244 11% /varr/ruunswap 122536688 664 1125336244 11% /tmpp/dev/dskk/c00t0dd0s55 100181191 21333 95449677 11% /optt/dev/dskk/c00t0dd0s66 811640025 516611444 2292112411 644% /oraacleeappp/dev/dskk/c00t0dd0s77 377094410 84492998 2282330188 244% /expportt/hoomebash-2.003$这里可以看看到各分分区的大大小和已已使用的的磁盘空空间，当当某分区区剩余空空间过小小，要对对这个分分区中的的垃圾文文件进行行清理。3Orraclle进程程运行查查询，过过程如下下：bash-2.003$ ps -u oraacleePID TTTY TTIMEE CMMD330 ? 00:033 tnnslssnr364 ? 00:000 orraclle366 ? 00:011 orraclle368 ? 00:033 orraclle370 ? 00:288 orraclle372 ? 00:011 orraclle374 ? 00:000 orraclle376 ? 00:000 orraclle378 ? 00:011 orraclle380 ? 00:011 orraclle382 ? 00:011 orraclle384 ? 00:011 orraclle2603 ? 0:008 ooraccle2615 ? 0:000 ooraccle2613 ? 0:000 ooraccle2611 ? 0:000 ooraccle2606 ? 0:001 ooraccle1985 ? 0:000 ssh2011 ? 0:000 ssh2608 ? 0:001 ooraccle可以看到ooraccle用用户启动动了多个个oraaclee进程，并并且也启启动了监监听（llsnrr）进程程。更多多具体的的操作方方法请参参看附件件十一：常用用操作及及应急措施施。1.2.2.3 OMCR进进程运行行情况检查方法：通过omccps命命令查看看OMCCR进程程数和启启动时间间，过程程如下：bash-2.003$ omccpsFsmLeengtth=3380 sizzeoff(TPPssIInfoo)=220 Pno PPnno PPnamme Daaemoon Staatuss SStarrtTiime1 0 GGPO TRRUE STAARTEED 111/119 110:558:2270 0 FFALSSE STTARTTED 11/19 10:58:272 0 MMPCOOMM TRRUE STAARTEED 111/119 110:558:22710 0 DDIF TRRUE STAARTEED 111/119 110:558:22711 0 MMPAAA TRRUE STAARTEED 111/119 110:558:22712 0 CCCF TRRUE STAARTEED 111/119 110:558:22713 0 AACF TRRUE STAARTEED 111/119 110:558:22814 0 AAGT TRRUE STAARTEED 111/119 110:558:3304 0 LLMF TRRUE STAARTEED 111/119 110:558:22915 0 BBAF TRRUE STAARTEED 111/119 110:558:33016 0 IIMF TRRUE STAARTEED 111/119 110:558:33117 0 MMPACC TRRUE STAARTEED 111/119 110:558:33018 0 PPMONNLAFF TRRUE STAARTEED 111/119 110:558:33119 0 SSMF TRRUE STAARTEED 111/119 110:558:33220 0 FFTP TRRUE STAARTEED 111/119 110:558:33121 0 CCRONN TRRUE STAARTEED 111/119 110:558:33122 0 RRLOGG TRRUE STAARTEED 111/119 110:558:33223 0 DDMCOOMM TRRUE STAARTEED 111/119 110:558:33224 0 FFALSSE STTARTTED 11/19 14:21:30bash-2.003$可以看到，最最后一个个状态为为TRUUE的进进程应该该是DMMCOMMM，且且各进程程的启动动时间相相差在十十几秒之之内。如如果最后后一个进进程不是是DMCCOMMM且启动动时间与与其他进进程相差差很多，则则说明该该进程曾曾经因为为某种异异常原因因重启。应应将进程程重启时时的相关关日志发发回研究究所进行行分析。1.2.2.4 性能库运行行如果在OMMCR客客户端中中能取到到最新时时段的性性能报表表，且数数据正常常，则说说明性能能库运行行正常。检查方法：1性能能库中记记录数的的查询过过程如下下：bash-2.003$ sqllpluus oomc/omccSQL*PPluss: RReleeasee 8.1.77.0.0 - Prroduuctiion on Wedd Noov 119 114:330:335 220033(c) CCopyyrigght 20000 OOraccle Corrporratiion. AAll rigghtss reeserrvedd.Conneecteed tto:Oraclle8ii Ennterrpriise Ediitioon RReleeasee 8.1.77.0.0 - PrroduuctiionWith thee Paartiitiooninng ooptiionJServver Relleasse 88.1.7.00.0 - PProdducttionnSQL> sellectt coountt(*) frrom pbaasiccm;COUNTT(*)- 94471SQL> quiitDiscoonneecteed ffromm Orraclle8ii Ennterrpriise Ediitioon RReleeasee 8.1.77.0.0 - PrroduuctiionWith thee Paartiitiooninng ooptiionJServver Relleasse 88.1.7.00.0 PProdducttionn2最早早上报时时间查询询过程如如下：bash-2.003$ sqllpluus oomc/omccSQL*PPluss: RReleeasee 8.1.77.0.0 - Prroduuctiion on Wedd Noov 119 114:330:335 220033(c) CCopyyrigght 20000 OOraccle Corrporratiion. AAll rigghtss reeserrvedd.Conneecteed tto:Oraclle8ii Ennterrpriise Ediitioon RReleeasee 8.1.77.0.0 - PrroduuctiionWith thee Paartiitiooninng ooptiionJServver Relleasse 88.1.7.00.0 PProdducttionnSQL> sellectt miin(rrecoordddataatimme) froom ppbassicmm; MIN(RRECOOR-06-NOOV-003SQL> quiitDiscoonneecteed ffromm Orraclle8ii Ennterrpriise Ediitioon RReleeasee 8.1.77.0.0 - PrroduuctiionWith thee Paartiitiooninng ooptiionJServver Relleasse 88.1.7.00.0 - PProdducttionnbash-2.003$如果在性能能管理中中还创建建有其他他测量任任务，则则还应统统计其他他测量的的记录数数和最早早上报时时间。其其他测量量任务的的数据表表名如下下：PABISSSIGGNALLM PAINDDHODDROPPM PASIGGNALLM PBASIICM PBTSMM PCBTSSM PCELLLRADDIOMM PGPRSSBASSICMM PGPRSSBSSSGPMM PGPRSSCHMM PGPRSSNSMM PGPRSSPAGGEM PGPRSSRESSOURRCEMM PHOCOOMMOONM PHOREEASOONM PHOSYYNM PHWAVVAILLM PLAPDDM PLOGRRECOORDMM PMODUULEMM PMPLOOADMM PPAGEENUMMM PRADIIOACCCESSSM PRESOOURCCEAVVAILLM PRMMDDROPPM PRMMIINDMM PSAPII3M PSCCPPANDDCICCM PSCCPPM PSDCCCHM PTCHMM1.2.2.5 告警库运行行如果在告警警管理中中能够查查询到实实时告警警，则说说明告警警库运行行正常。检查方法：1告警警库中记记录数查查询过程程如下：bash-2.003$ sqllpluus oomc/omccSQL*PPluss: RReleeasee 8.1.77.0.0 - Prroduuctiion on Wedd Noov 119 114:551:220 220033(c) CCopyyrigght 20000 OOraccle Corrporratiion. AAll rigghtss reeserrvedd.Conneecteed tto:Oraclle8ii Ennterrpriise Ediitioon RReleeasee 8.1.77.0.0 - PrroduuctiionWith thee Paartiitiooninng ooptiionJServver Relleasse 88.1.7.00.0 - PProdducttionnSQL> sellectt coountt(*) frrom fallarmminffo;COUNTT(*)-341SQL> quiitDiscoonneecteed ffromm Orraclle8ii Ennterrpriise Ediitioon RReleeasee 8.1.77.0.0 - PrroduuctiionWith thee Paartiitiooninng ooptiionJServver Relleasse 88.1.7.00.0 PProdducttionn2告警警库中最最早记录录时间查查询的过过程如下下：bash-2.003$ sqllpluus oomc/omccSQL*PPluss: RReleeasee 8.1.77.0.0 - Prroduuctiion on Wedd Noov 119 114:553:440 220033(c) CCopyyrigght 20000 OOraccle Corrporratiion. AAll rigghtss reeserrvedd.Conneecteed tto:Oraclle8ii Ennterrpriise Ediitioon RReleeasee 8.1.77.0.0 - PrroduuctiionWith thee Paartiitiooninng ooptiionJServver Relleasse 88.1.7.00.0 - PProdducttionnSQL> sellectt miin(rrepoortttimee) ffromm faalarrminnfo;MIN(RREPOOR-13-NOOV-003SQL> quiitDiscoonneecteed ffromm Orraclle8ii Ennterrpriise Ediitioon RReleeasee 8.1.77.0.0 - PrroduuctiionWith thee Paartiitiooninng ooptiionJServver Relleasse 88.1.7.00.0 - PProdducttionn1.2.2.6 Serveer/CClieent 的打印印情况1根据据服务器器磁盘空空间占用用情况，决决定打印印的开关关以及打打印级别别的设定定。查看服务器器$OMMCHOOME/connf目录录下syyscffg.iini文文件：# Syysteem llogggingg paarammeteersSYSCCFGTracee = 1 # 0表示示关闭，11表示打打开TraceePriint = 0TraceePatth = /exxporrt/hhomee/ommc/ttmp/logg #打印印文件存存放路径径# Deffiniitioon oof TTracceLeev:# 5 : BBasee_deebugg# 20 : AAppllicaatioon_ddebuug# 50 : BBasee_teest# 80 : AAppllicaatioon_ttestt# 1000 : EErroor# 1200 : FFataal_eerroor&FFlagg(deefauult)# Thee leess TraaceLLev''s vvaluue iis, thee moore dettailled traace conntennts aree ouutpuut# Thee reecommmennd vvaluue ffor runnninng eenviironnmennt iis 1100TraceeLevv = 1000 #平平时打印印级别开开到1000修改完syyscffg.iini文文件后，需需要让修修改生效效。执行行如下命命令：omcomccsunn2$ ommckiill -huup 2255注：如果服服务器磁磁盘空间间允许的的话，可可将打印印级别打打开以便便出现问问题时分分析loog日志志。2Clliennt打印印是否关关闭。查查看客户户端OMMCHOOME/connf目录录下syyscffg.iini文文件。#The sysstemm's runnninng cconffiguurattionnSYSCCFGTracee = 00 # 0表示示关闭，11表示打打开TraceePriint = 00TraceeModde = 22TraceePatth =TraceeLevv = 11ShowEEvenntMaap = 0ShowNNoEvventtMapp = 0initttimeer = 220topo_reffressh_ssecoondss = 30001.2.3 前后台版本本检查如版本使用用是否正正确、前前后台及及各单板板版本一一致性等等1.2.3.1 前后台版本本及一致致性检查查1检查查目前已已入库版版本软件件。进入软件装装载界面面，并选选择查看看逻辑视视图，如如图200所示。图20 软软件装载载界面在入库软件件中查看看已入库库软件版版本，并并记录版版本信息息，如图图21所所示。图212查看看服务器器上veersiion目目录下有有无相应应版本。使用tellnett工具，以以omcc用户登登录服务务器。查查看过程程如下：bash-2.003$ccd ttmp/ftpp/veersiion/ # 进入入verrsioon目录录bash-2.003$ ls # 查看vverssionn下的目目录bosn ccip cmmm_loog dtii effr frr ffuc_logg ssmb smmt2chp cmmm ddrt eedrtt eefreen ffuc ggpp ssmt11bash-2.003$ cd bossn # 进入入bossn目录录bash-2.003$ ls l # 查看看bossn下的的文件总数 6772-rw-rr-rr- 11 fttpusser ommc 33349976 11月月 144 155:400 02251000088.biin如上红色字字体部分分为版本本文件名名，可将将之与在在软件装装载中查查到的版版本信息息进行比比较，确确认在vverssionn下有无无相应版版本。3查看看MP上上verrsioon目录录下有无无相应版版本。使用omccftpp工具查查看，查查看过程程如下：bash-2.003$ omccftppftp>cconnnectt 1.1.22MP 1.1.22 coonneecteedftp>ccd vverssionnRemotte ddireectoory noww /vverssionn/.ftp>ccd bbosnnRemotte ddireectoory noww /vverssionn/boosn/.ftp>llsF 29881122 00200007000.bbin 20002/111/220 110:558:66F 33449766 00251100008.bbin 20003/111/117 99:400:366F 33449766 00252200001.bbin 20003/110/331 110:446:220F 33449766 00251100004.bbin 20003/110/331 111:111:330F 0 bb 20003/11/15 13:39:28All ttimee ellapssed 0s.Succeess numm:5, faail numm:0.ftp>cconnnectt 1.2.22MP 1.2.22 coonneecteedftp>ccd vverssionnRemotte ddireectoory noww /vverssionn/.ftp>ccd bbosnnRemotte ddireectoory noww /vverssionn/boosn/.ftp>llsF 29881122 00200006003.bbin 20002/88/233 9:59:52F 29881122 00200007000.bbin 20002/110/225 111:554:448F 33449766 00251100004.bbin 20002/112/229 222:336:00F 33449766 00251100002.bbin 20003/66/200 155