基于树莓派的幼儿认知辅助系统.doc
《基于树莓派的幼儿认知辅助系统.doc》由会员分享,可在线阅读,更多相关《基于树莓派的幼儿认知辅助系统.doc(37页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、摘要幼儿(0-3岁)教育是人一生当中最先也是最为重要的教育。幼儿阶段的孩子主要通过观察、触碰、聆听来认识和了解世界,并且有着极强的模仿和习得能力。在这过程中,如果能及时满足孩子的认知需求,孩子的认知和听说水平将会得到大幅提升。在这过程中,如果能及时满足孩子的认知需求,孩子的认知和听说水平将会得到大幅提升。然而,现在有很多父母忙于工作,并且时刻在孩子身边进行认知引导,也很难实现。此外,家长发音所存在的准确度问题,对孩子可能造成误导。因此,开发具有物体识别和语音功能,能够及时对孩子触及的物品进行语音播报的系统,具有现实的应用价值和意义。本系统由树莓派、USB摄像头和3.5mm音频接口的小音箱构成,
2、主要功能是识别由USB摄像头捕获的图像中的物体并且把识别结果播报出来。与传统的早教系统相比,本系统采用Tensorflow实现智能物体识别和语音播报识别结果,更具智能性和实用性。实验结果表明,本系统识别过程约9秒,语音播报延迟时间约0.02秒,正确识别率80%以上,能够满足系统使用要求。关键词:幼儿教育;树莓派;Tensorflow;USB摄像头;物体识别AbstractThe education of children (0-3 years old) is the first and most important education in ones life.In early childho
3、od, children learn and understand the world mainly by observing, touching and listening, and have a strong ability to imitate and learn.In this process, if the childs cognitive needs can be timely met, the childs cognitive and listening and speaking level will be greatly improved.In this process, if
4、 the childs cognitive needs can be timely met, the childs cognitive and listening and speaking level will be greatly improved.However, many parents are busy with their work and are always around their children for cognitive guidance, which is difficult to achieve.Moreover, the accuracy of parents pr
5、onunciations can be misleading.Therefore, it is of practical application value and significance to develop a system with object recognition that can timely broadcast and interpret the speech of objects touched by children.The system consists of raspberry PI, USB camera and a small speaker with 3.5mm
6、 audio interface. The main function is to identify objects in the image captured by USB camera and broadcast the recognition results.Compared with the traditional early education system, this system USES Tensorflow to realize intelligent object recognition and speech broadcast recognition results, w
7、hich is more intelligent and practical.The experimental results show that the recognition process of the system is about 9 seconds, the delay time of speech broadcast is about 0.02 seconds, and the correct recognition rate is more than 80%, which can meet the requirements of the system.Key words:Ear
8、ly childhood education; Raspberry PI; Tensorflow;USB Camera ; Object Identification目录第一章 绪论11.1 基于树莓派的幼儿认知辅助的概念和意义11.2 幼儿早教机的发展历程11.3 基于树莓派的幼儿认知辅助系统研究的目的2第二章 整体方案设计32.1 系统整体方案32.2 系统整体框架图3第三章 硬件电路设计分析43.1 硬件电路总体设计43.2 主控制器43.2.1 树莓派介绍43.2.2 启动树莓派53.3 USB摄像头73.3.1 谷客USB摄像头介绍73.3.2 USB摄像头与树莓派连接83.4 3.
9、5mm音频接口小音箱9第四章 软件设计分析104.1 程序架构104.2 opencv搭建环境104.2.1 opencv介绍104.2.2 opencv环境搭建114.2.3 系统中的opencv程序部分124.3 图像识别原理和Tensorflow环境搭建134.3.1 图像识别原理134.3.2 Tensorflow介绍144.3.3 Tensorflow的特点144.3.4 搭建Tensorflow环境154.3.5 系统中的Tensorflow程序部分16第五章 测试结果17第一次测试17第二次测试18第三次测试19第四次测试20第五次测试22第六章 改进与创新246.1 改进246
10、.2 创新24结论26参 考 文 献27致谢28附录2930第一章 绪论1.1 基于树莓派的幼儿认知辅助的概念和意义基于树莓派的幼儿认知辅助系统是一款能够进行物体识别以及播放识别结果的新型幼儿早教机。和前几代的早教机不一样,虽然没有前几代早教机的功能齐全,但是,这款早教机具有物体识别功能,它能够告诉摄像头前面的东西是什么,所以,比起前几代早教机,它更加智能化。它能够满足幼儿对陌生事物的好奇心,让幼儿认知这世界上更多的东西。同时,前几代的早教机只能满足某一个年龄段的孩子,但是,我开发的这款基于树莓派的幼儿认知辅助系统的早教机是符合各个年龄段的孩子,只是说,对于幼儿来说,它被使用得更多。因此,这款
11、早教机会比前几代的服务人群更为广泛以及实惠。这里的实惠是指从小到大都能够用,不用跳了一个年龄段就换一部早教机,减少经济支出。幼儿教育在人的一生教育中具有很重要的影响。从小认识这个世界更多的事物,长大后便能够更好地了解事物的本质。另一方面,幼儿教育能够满足孩子的好奇心,激发小孩的求知欲,让孩子从小就养成对未知事物有“打破砂锅问到底”的精神。中所周知,好奇心和求知欲是决定一个人能否学好一门学科或者技术的关键因素。只有自己想学,才能够全身心投入到学习中。幼儿早教机的目的之一也是在于此,培养孩子的学习兴趣和好奇心,为以后学习生涯打下坚实的基础。但是,现在很多父母忙于工作,忽略了对小孩子的幼儿教育。有些
12、父母认为,伴随这年龄的增长,孩子认识的东西也就会越来越多,其实并不是这样子的。父母是孩子的第一任老师,当他们有疑问的时候,父母就应该站出来帮他们解决他们的疑惑,这样才能够满足孩子的好奇心和求知欲。我开发的这款基于树莓派的幼儿认知辅助系统的早教机就能很好的弥补了父母不在孩子身边而缺失的幼儿教育。只需要简单的操作,就能够让孩子明白更多的事物,同样也就能够达到解答疑问的效果,但是,最终,教育还是应该由父母来做会比较好,因为机器也有错误或者识别不出来的时候,因此,这款早教机我加上了“辅助”的字眼,它只是帮助父母不在孩子身边或者没有时间为孩子解答的情况下,告诉孩子手上的东西是什么 ,最好还是由父母自己教
13、育孩子,为他们解答问题。毕竟,父母是孩子的第一任老师同时也是他们的启蒙老师。1.2 幼儿早教机的发展历程第一代的早教机操作麻烦而且大部分需要辅助资料(比如磁带,卡片等资料)插入机子中才能使用,不能够达到随时随地,想学就学的需求。还有一点就是,这类早教产品过于枯燥,孩子的兴趣过后就不会再使用,就被放置一边。第二代早教机比起第一代来说增加了人机互动的功能,比较常见的就是点读笔,哪里不会点哪里。点读笔为孩子打造了一个有声有色的学习氛围,能够提高孩子的学习的积极性,让孩子跟着读。第三代早教机主要是以听为主,它主要通过播放音乐,故事,常识等学习资料的方式,让小孩学到东西。另外,这类早教机很多还拥有华丽的
14、灯光,通过发射灯光来营造浪漫的学习环境,这样一来,即培养了孩子的语言能力,还培养了灯光感受能力,对大脑进行多方位的刺激。第四代早教机升级为有彩色屏幕显示,在基于第三代早教机的基础上,加了个屏幕显示,从而增强孩子对早教资料的掌握程序。不仅如此,在机身内存加大的条件下,第四代早教机的学习资料更加丰富。我开发的这款基于树莓派的幼儿认知辅助系统的早教机,同样也有彩屏显示以及声音播放。虽然没有像前几代的早教机那样,具有讲故事,放音乐等功能,但是它能够识别出摄像头前面物体,识别范围较广,适合多个年龄段的孩子使用,而且操作更加方便,更加智能化。1.3 基于树莓派的幼儿认知辅助系统研究的目的教育要从娃娃开始抓
15、起,从小就教育他们,让他们知道多一点东西有助于他们以后的学习。这款搭载着基于树莓派的幼儿认知辅助系统的早教机具有物体识别的功能,它能够通过摄像头捕获的图像,准确地识别出这个物体是什么,并且大声的播放出结果,让小朋友知道这是什么东西,解答他们的疑惑。目前来说,这个早教机只能播放出英文结果,还不能读出中文,这个缺陷在后续地升级软件的时候会解决。当然,我研发的这款早教机也就仅仅是辅助认知的功能,也就是只能说出“这是什么”,不能够告诉孩子这个“怎么用”。至于“怎么用”以及“有什么用”的疑惑还是要孩子的父母来解答。这款早教机是能够及时解答孩子心中的疑惑,当然,这仅仅是在父母不在身边或者没有空来解答孩子疑
16、惑的情况下使用。孩子最好的老师不是早教机而是他们的父母,因此,我还是认为最好是由父母来解决小朋友心中的疑惑而不是其他各种智能的早教机。第二章 整体方案设计2.1 系统整体方案基于树莓派的幼儿认知辅助系统包括硬件系统设计和软件系统设计。在硬件的选型上,我选择了树莓派4B,这是目前为止最好的树莓派版本。树莓派控制USB摄像头来做捕获图像,运行Tensorflow来识别图像以及把结果输出至3.5mm小音箱来实现播报结果的功能。另外,它还通过SSH登录到PC端以显示图像。摄像头我采用USB的摄像头,音频输出我选择了3.5mm音频输出通道,外接一个3.5mm的小音箱把结果播放出来。软件设计主要是Tens
17、orflow图像识别算法,另外还有OPENCV调用摄像头,保存图片,显示图片,以及把文字转换成语音的程序。Tensorflow使用的版本是tensorflow-1.8.0-cp27,这个是在Python2.7的环境下能够支持的版本。采用的训练模型是ssd_mobilenet_v1_coco_2018_01_28。采用Python2.7作为整个软件程序语言,原因之一就是这些不管是Tensorflow或者OPENCV都有很多支持Python2.7的API,使用起来很方便。2.2 系统整体框架图图2.1 系统整体框图第三章 硬件电路设计分析3.1 硬件电路总体设计处理器我选择了树莓派4B-2G运行内
18、存版本,之前有试过4G运行内存版本,但是发现,处理起来和2GRAM的没什么区别,于是还是选择2G的版本,节约开发成本。摄像头是用谷客高清USB摄像头,这个摄像头有个好处是可以手动调焦,可以针对远近物体拍摄更加清晰的照片,方便准确地识别出物体。3.5mm的小音箱我选择了普通的小音箱,通过3.25mm音频接口与树莓派连接,通过USB连接树莓派给音箱供电。硬件功能框如图3.1所示:图3.1 硬件电路功能框图3.2 主控制器3.2.1 树莓派介绍本设计采用树莓派作为处理器,版本是最新的4B,运行内存是2G。树莓派4B搭载了博通最新的BCM2711处理器,64-bit以及1.5GHz四核处理器CPU。树
19、莓派4B拥有蓝牙5.0,4个USB接口(USB2.0和USB3.0各两个),两个个micro HDMI接口以及真千兆以太网接口和2.4GHz/5GHz双频wifi。供电口变成了Type C(5V 3A)接口。可以用树莓派搭载个人家庭储存服务器,或者自己动动手,做个游戏机;又或者是装上Linux系统,变成简单小巧的电脑。作为一款微型电脑,我认为来做图像识别是再适合不过的了。 图3.1 树莓派3.2.2 启动树莓派既然树莓派可以作为一款微型电脑,那么则需要为树莓派烧入系统。这里,本系统选择了2020-02-13-raspbian-buster-full.img这个最新的镜像,这个镜像的资源还是蛮多
20、的。通过SD卡,把镜像烧入树莓派当中。另外,树莓派的启动还需要有电源输入,最新款的树莓派电源接口是USBTypeC类型,所以,通过USBTypeC和电源适配器给树莓派供电。有了系统和电源的支持,树莓派就可以开始工作了。那么问题来了,该如何显示树莓派呢?这里我选择用SSH的方式。笔记本电脑和树莓派连接到同一个WIFI(这里我选择用手机开启热点),笔记本电脑和树莓派通过网线连接起来。之后打开PUTTY,选择SSH,输入树莓派的IP地址就能够实现在终端登陆树莓派。登陆成功后,需要输入用户名了密码。初始的用户名是pi,初始的密码是raspberry,登陆进去后输入sudo raspi-config,选
21、择开启VNC服务。接下来,在笔记本电脑上下载VNC Viewer这个软件,同样输入树莓派IP地址以及用户名和密码,就可以在笔记本上看见树莓派的桌面,以后便可以图形化操作树莓派了,操作起来更加直观和简洁。图3.2 putty登陆界面图3.3 putty成功登陆界面图3.4 VNC登陆界面图3.5 树莓派桌面界面3.3 USB摄像头3.3.1 谷客USB摄像头介绍我选择谷客HD98这款USB摄像头他的特点有:1.免驱动,即插即用,USB2.0兼容3.0的接口。2.内置8米全指向性吸音降噪麦克风。3.手动调焦镜头,类单反手动调焦镜头设计通过左右旋转可调节清晰度。4.多功能底座,满足不同使用需求挂式设
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 树莓派 幼儿 认知 辅助 系统
限制150内