数据仓库系统运行维护操作介绍书.doc
《数据仓库系统运行维护操作介绍书.doc》由会员分享,可在线阅读,更多相关《数据仓库系统运行维护操作介绍书.doc(9页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、/数据仓库生产环境操作手册数据仓库生产环境操作手册一运维概述一运维概述“数据仓库生产系统”的运行维护责任在于保障系统运行,运维方式主要是 操作员通过工作机远程登陆到系统中的相关主机,对主机进行操作,包括 automation 调度系统、数据库、磁盘、软件环境、数据情况等,查看批出理的运 行情况,一旦运行出现问题作相应的记录并通知相关的技术人员,作出相应的处 理。 所有运维项目成员严格按照数据仓库系统运维守则.doc文档来进行运维 检查工作,否则出现事故由值班人员和当日值班负责人承担事故责任。二运维内容二运维内容1每日维护每日维护1.1 数据检查数据检查每日批处理运行前运行完成后都需要对源头的数
2、据和生产出的数据进行检查,确保当 日批处理程序正常从事生产。检查工作在每日 9:00-9:30 之间完成,且必须在启动程序 (批处理程序)前执行。具体规定如下:1.1.1 转定长数据的检查转定长数据的检查每天上午 9:00-9:45 之间,运维值班人员进行这项工作具体执行步骤如下: 1.在本地工作机上使用 telnet 远程登录工具登录到 168.7.6.163 服务器上,输入用户名 sjtq, 密码:cib2009edw, 2.输入命令 cd EDW/sh/log 3.输入命令 more yyyymmdd 当天的日志,是否有错误信息,最后数据是否都上传结束。 4.以下错误属于正常情况: 03
3、:00:03 : 1.检查 20091031 标志文件失败 03:00:03 : 1.数据标志检查失败,等待 5 分钟(06001/dta_varied) 正常等待情况 5.检查点如下: 1)每个大任务开始的初始化操作/03:00:00 : = 0.环境变量设置完毕 = 2)数据装载,卸载,上传,整个模块处理结束的情况。 05:41:50 : = 2.装载 Unl 数据完毕 = 05:41:50 : -2.开始装载 BAK 数据 - 05:41:50 : = 2.装载 BAK 数据完毕 = 05:41:50 : -3.开始卸载 fix 数据- 06:26:11 : =3.卸载 fix 数据完毕
4、= 06:26:11 : -4.开始向批量数据交换平台送 fix 数据- 06001 send ok 06001 send ok 06002 send ok 06002 send ok 07002 send ok 07002 send ok 06027 send ok 06027 send ok 06:28:56 : = 4.向批量数据交换平台送 fix 数据完毕 = 06:28:58 : END 6.查找是否存在“错误“, ”出错“字样。 7.检查的模块有 06001,input,06002,07002,06027 几个模块的转定长情况,都要看到正 常 END 结束。 8.检查日志中是否存在
5、跑到一半或一部分就终止的现象。 如果没有转换成功或数据晚到,时间顺延检查,并将异常情况汇报给当日值班负责人和客 户,并记录异常到异常情况登记及处理单_YYYYMMDD.doc中。1.1.2 源数据是否全部到达源数据是否全部到达数据仓库每日 06:00 定时触发加载。在正常情况下,数据仓库项目组要求各系统源数 据抽取必须在每日 05:00 之前完成,并传送到上海数据交换平台。如果数据抽取或传送出 现错误,请源系统接口负责人在 06:00 前完成数据补导操作。 加载触发之后,可以看到每台 etlserver 上都启动了 ftpall 和 getall 两个作业,其中 ftpall 脚本负责从数据交
6、互平台获取源系统文件,getall 脚本负责对源系统文件进行解压、 格式检查,并将检查结果存放在 DQC 日志表中。 检查方法:检查项检查方法1.FTP 是否结束查看 AUTOMATION Monitor 前台界面 Running Job 是否有 FTPALL_ETL1,FTPALL_ETL2,GETALL_ETL1,GETALL _ETL2 任务是否正在运行。若没有以上任务,说明从数据交 换平台 FTP 数据已经完成。如果还在运行,说明有些数据文 件还未到达。2. 哪些接口文件未到达 可能性一:数据交换平台查看当日 initall0090.pl 脚本的日志,例如: ETLLOGCTL2006
7、0530initall0090.pl.32.log,搜索关键字/没有该数据文件miss,就可以看到数据交换平台上哪些文件(包括数据文件 和标志文件)未到3. 哪些接口文件未到达 可能性二:FTP 下载时发 生错误方法一:查看 ftpall0100.pl 脚本的日志,例如: ETLLOGCTL20060530 ftpall_etl10100.pl.29.log,可以看到 每个源系统数据的实时到达情况; 方法二:登陆兴业银行数据仓库 DQC 管理系统,点击左边的 源数据文件接口定义维护源数据文件接口定义维护主题。 输入源表系统名或表名进行模糊查询;处理方法: 如果超过这个时间检查顺延,如果超过 1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 系统 运行 维护 操作 介绍书
限制150内