大数据核心技术A卷.doc
《大数据核心技术A卷.doc》由会员分享,可在线阅读,更多相关《大数据核心技术A卷.doc(8页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、-#岭南师范学院2015 年 2016 学年度第二学期期末考试试题A卷(考试时间: 120 分钟)考试科目: 大数据核心技术 题 号一二三四五总 分总评分人复查人分 值3016202410得 分得分评卷人一、单项选择题(每小题 2 分,共 30 分)请把答案写在下表中,写在试题后无效。题号12345678答案题号9101112131415答案1. 下面哪个程序负责 HDFS 数据存储。 (C )A. NameNode B. JobtrackerC. Datanode D. secondaryNameNode2. HDFS 中的 block 默认保存几个备份。 ( A )A. 3 份 B. 2
2、份C. 1 份 D. 不确定3. HDFS1.0 默认 Block Size大小是多少。 ( B )A. 32MB B. 64MBC. 128MB D. 256MB4. 下面哪个进程负责 MapReduce 任务调度。 ( B )A. NameNode B. JobtrackerC. TaskTracker D. secondaryNameNode5. Hadoop1.0默认的调度器策略是哪个。 ( A )A. 先进先出调度器 B. 计算能力调度器C. 公平调度器 D. 优先级调度器6. Client 端上传文件的时候下列哪项正确? ( B )A. 数据经过 NameNode 传递给 Data
3、NodeB. Client 端将文件切分为 Block,依次上传C. Client 只上传数据到一台 DataNode,然后由 NameNode 负责 Block 复制工作D. 以上都不正确7. 在实验集群的master节点使用jps命令查看进程时,终端出现以下哪项能说明Hadoop主节点启动成功? ( D )A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNodeC. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryName
4、Node8. 若不针对MapReduce编程模型中的key和value值进行特别设置,下列哪一项是MapReduce不适宜的运算。 ( D )A. Max B. MinC. Count D. Average9. MapReduce编程模型,键值对的key必须实现哪个接口? ( A )A. WritableComparable B. ComparableC. Writable D. LongWritable10. 以下哪一项属于非结构化数据。(C)A. 企业ERP数据 B. 财务系统数据C. 视频监控数据 D. 日志数据11. HBase数据库的BlockCache缓存的数据块中,哪一项不一定能
5、提高效率。 ( D )A. ROOT-表 B. .META.表C. HFile index D. 普通的数据块12. HBase是分布式列式存储系统,记录按什么集中存放。 ( A )A. 列族 B. 列C. 行 D. 不确定13. HBase的Region组成中,必须要有以下哪一项。 ( B )A. StoreFile B. MemStoreC. HFile D. MetaStore14. 客户端首次查询HBase数据库时,首先需要从哪个表开始查找。 ( B )A. .META. B. ROOT-C. 用户表 D. 信息表15、设计分布式数据仓库hive的数据表时,为取样更高效,一般可以对表中
6、的连续字段进行什么操作。 ( A )A. 分桶 B. 分区 C. 索引 D. 分表得分评卷人二、判断题(每题 2 分,共 16 分)请在下表中填写或者,写在试题后无效。题号12345678答案 1. Hadoop 支持数据的随机读写。 (hbase支持,hadoop不支持) ( 错 )2. NameNode 负责管理元数据信息metadata,client 端每次读写请求,它都会从磁盘中读取或会写入 metadata 信息并反馈给 client 端。(内存中读取) ( 错 )3. MapReduce 的 input split 一定是一个 block。 (默认是) ( 错)4. MapRedu
7、ce适于PB级别以上的海量数据在线处理。 (离线) ( 错 )5. 链式MapReduce计算中,对任意一个MapReduce作业,Map和Reduce阶段可以有无限个Mapper,但Reducer只能有一个。 ( 对 )6. MapReduce计算过程中,相同的key默认会被发送到同一个reduce task处理。( 对 )7. HBase对于空(NULL)的列,不需要占用存储空间。 (没有则空不存储)( 对 )8. HBase可以有列,可以没有列族(column family)。 (有列族) ( 错 )得分评卷人三、简答题(每小题 5 分,共 20 分) 1. 简述大数据技术的特点。 答:
8、Volume(大体量):即可从数百TB到数十数百PB、甚至EB规模。Variety(多样性):即大数据包括各种格式和形态的数据。Velocity(时效性):即很多大数据需要在一定的时间限度下得到及时处理。Veracity(准确性):即处理的结果要保证一定的准确性。Value(大价值):即大数据包含很多深度的价值,大数据分析挖掘和利用带来巨大的商业价值。2. 启动Hadoop系统,当使用bin/start-all.sh命令启动时,请给出集群各进程启动顺序。答:启动顺序:namenodedatanode-secondarynamenode-resourcemanager-nodemanager 3
9、. 简述HBase的主要技术特点。答:(1)列式存储(2) 表数据是稀疏的多维映射表(3) 读写的严格一致性(4) 提供很高的数据读写速度(5) 良好的线性可扩展性(6) 提供海量数据(7) 数据会自动分片(8) 对于数据故障,hbase是有自动的失效检测和恢复能力。(9) 提供了方便的与HDFS和MAPREDUCE集成的能力。4. Hive数据仓库中,创建了以下外部表,请给出对应的HQL查询语句CREATE EXTERNAL TABLE sogou_ext (ts STRING, uid STRING, keyword STRING, rank INT, order INT, url STR
10、ING, year INT, month INT, day INT, hour INT)COMMENT This is the sogou search data of extend dataROW FORMAT DELIMITEDFIELDS TERMINATED BY tSTORED AS TEXTFILELOCATION /sogou_ext/20160508;(1)给出独立uid总数的HQL语句答:selectcount(distinct UID)fromsogou_ext;(2)对于keyword,给出其频度最高的20个词的HQL语句答:select keyword from sog
11、ou_ext group by keyword order by order desc limit 20;得分评卷人四、设计题(每小题 8 分,共 24 分) 1. 100万个字符串,其中有些是相同的(重复),需要把重复的全部去掉,保留没有重复的字符串。请结合MapReduce编程模型给出设计思路或核心代码。P228Public static class ProjectionMap extends MapperPrivate int clo;Project void setup(Context context) throws IOException,InterruptedException C
12、ol=context.getConfiguration().getInt(“col”,0);Public void map(LongWritable offset,Text line,Context context) RelationA record=new RelationA (line.toString(); Context.write(newText(record.getCol(col),NullWritable.get();REDUCE端实现代码:Public static class ProjectionRedice extends ReducerPublic void reduce
13、(Text key,Iterable value,Context context)throws IOException,InterruptedExceptionContext.write(key,NullWritable.get();2. 倒排索引设计。有一个文档库,包含有大量的文档,现需要使用MapReduce编程技术对文档内容建立一个倒排索引库。要求Reduce最后输出键值对为,并且前后输出的相同的key所对应的文件名是字典序的。如word1 doc1#200word1doc2#10word2doc2#10假设在map阶段已经获取了当前split分片的文件名是 String filenam
14、e。请按要求给出设计思路或核心代码。Map()String filename=fileSplit.getPath().getName();String temp=new String();String line=value.toString().toLowerCase();StringTokenizer iter=new StringTokenizer(line);For(;itr.hasMoreTokens();)Temp=iter.nextToken();If(!stopwords contains(temp) Text word=new Text(); Word.set(temp+”#”
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 核心技术
限制150内