语音信息处理及相关的语言信息处理精.ppt
《语音信息处理及相关的语言信息处理精.ppt》由会员分享,可在线阅读,更多相关《语音信息处理及相关的语言信息处理精.ppt(39页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、语音信息处理及相关的语言信息处理第1页,本讲稿共39页语音信息处理语音信息处理及相关的语言信息处理及相关的语言信息处理语音信息处理是人机交互的重要组成部分。主要包括语音合成和语音识别。l语音合成语音合成是将文字转换成语音;l语音识别语音识别是将识别语音转写成文字。2第2页,本讲稿共39页演示演示Chinese TTVSVoice masker3第3页,本讲稿共39页什么是语音合成什么是语音合成?l语音合成就是让计算机象人那样讲话。l语音合成的研究目标是:可懂、清晰、自然、具有表现力。某人问你:你愿意和我一起去看电影吗?你的回答可能是:“是的,我很高兴和你一起去看电影。”(肯定,高兴)“抱歉,我
2、不能和你一起去看电影,因为我要去开会。”(无可奈何)“不去,还是你自己去看吧。”(否定)人们用语言进行交流时,用声音来表达事实事实,也表达意向、情感意向、情感。计算机也应该像人那样讲话。4第4页,本讲稿共39页语音合成系统的发展语音合成系统的发展讲话机(Wolfgang)1791年年1990年代年代数据驱动数据驱动拼接合成拼接合成(Festival)1980年代年代规则驱动规则驱动共振峰合成共振峰合成(DecTalk)合成语音可懂与清晰目前目前高表现力的高表现力的语音合成语音合成合成语音自然且表现丰富高表现力的合成可懂度、清晰度高可懂度、清晰度高自然度较好,语调平缓自然度较好,语调平缓表现力(
3、情感、风格、表现力(情感、风格、个性化)欠佳)欠佳自然语音计算机生成语音合成算法韵律表现5第5页,本讲稿共39页l文语转换(TTS)是语音合成技术的延伸,它能把计算机内的文本转换成连续自然的语声流。lText To Speech synthesis involves the computation of a speech signal from input text.文字-语音转换(Text To Speech)6第6页,本讲稿共39页什么是语音识别什么是语音识别?l语音识别就是让计算机听懂人的讲话。l语音识别的研究目标是:听懂连续自然、非特定人。7第7页,本讲稿共39页语音信息处理语音信息处
4、理及相关的语言信息处理及相关的语言信息处理l语音是语言的外壳,文字是语言的转写。l韵律、语法和语义均为语言信息处理的内容。它们相互联系、相互制约,共同构成语言理解的基础。然而对上述语言信息的分析和研究是独立展开的。介绍语音信息处理的基本组成和原理,特别关注语音信息处理中与文字相关的问题。8第8页,本讲稿共39页预处理预处理语言学语言学处理处理波形拼接波形拼接合成合成语音学语音学处理处理文本语音语音语音 数数据库据库TTS的系统结构文本分析韵律生成语音合成9第9页,本讲稿共39页 TTS的系统结构文本分析合成算法基元选取10第10页,本讲稿共39页文本分析模块流程文本分析模块流程语句切分文本规范
5、化符号处理数字处理词典分词合并韵律词合并韵律短语变音处理参数生成12号的天气的确好。12号的天气的确好/。十二号的天气的确好十二/m 号/q 的/u 天气/n 的确/d 好/a十二号的天气/的确好shi2 er4 hao4 de5|tian1 qi4/di2 que4 hao3/读音韵律信息文本11第11页,本讲稿共39页文本分析模块流程文本分析模块流程语句切分文本规范化符号处理数字处理词典分词l根据回车、换行、或其他设置的分句符号进行句子的切分。l后续的处理针对当前得到的句子12第12页,本讲稿共39页文本分析模块流程文本分析模块流程语句切分文本规范化符号处理数字处理词典分词l将语句切分成一
6、个一个的片段Piece,每个Piece具有相同的类别,如:数字、符号、英文字母串(Letter)、汉字等等l患者115万人万人,并且每年又以1500例的例的速度快速大幅增加。13第13页,本讲稿共39页文本分析模块流程文本分析模块流程语句切分文本规范化符号处理数字处理词典分词l进行相关标点符号的处理l数字中,的处理l12.3、166.111.68.142lkm、T等量词的处理l年份1998/07/20、97-10-10、1999.07.05等等l时间23:05:03、比值l5、电话中BP机呼号、区号、转分机等等、5、80100、减号等14第14页,本讲稿共39页文本分析模块流程文本分析模块流程
7、语句切分文本规范化符号处理数字处理词典分词l数字读法的处理l比如年份、公元、日期、电话、电报等等15第15页,本讲稿共39页文本分析模块流程文本分析模块流程词典分词l分词,标记词性合并韵律词合并韵律短语变音处理参数生成l分词不准确许多年轻人手牵五彩的气球合影留念。l分词单位太大自民党领导人日里诺斯基1946年4月出生。发展中国家l语法词与韵律词不等同语法词与韵律词不等同l我我 买买 了了 八八 本本 书。书。16第16页,本讲稿共39页文本分析模块流程文本分析模块流程词典分词合并韵律词合并韵律短语变音处理参数生成17第17页,本讲稿共39页广义的定义:广义的定义:广义地说,韵律结构应当包括重音
8、、节奏和语调三个方面的结构。例如重音的位置分布及其等级差异,韵律边界的位置分布及其等级差异,语调的基本骨架及其跟声调和重音的关系。主要讨论韵律切分问题。包括韵律词的组成与韵律短语切分等等,也就是说话时组词断句的模式,它属于语音的节奏方面的问题。汉语的韵律结构的定义18第18页,本讲稿共39页 韵律成分从小到大依次是莫拉、音节、音步、音系词(phonological word)、附着语素词组、音系短语(phonological phrase)、语调短语和韵律语句。一个较小的韵律成分包含在一个更大的韵律成分中。汉语的韵律成分19第19页,本讲稿共39页汉语的韵律成分 LevelTags012345
9、Break Reduced syllabic boundaryNormal syllabic boundaryProsodic word(PW)Prosodic phrase(PPh)Breath group(BG)Prosodic group(PG)Emphasis ReducedNormalmoderatestrong*Speech Ratevery slowslownormalquickvery quick*Volumevery lowlownormalhighvery high*Pitchvery lowlownormalhighvery high*Rangevery smallsma
10、llnormallargevery large*20第20页,本讲稿共39页我永遠忘不了一張對日抗戰時的新聞照片,轟炸後的廢墟焦土上,一個衣不蔽體、滿身塵土灰煙的幼兒坐在地上無助的大哭著。那是一再令我熱淚盈眶的鏡頭。新聞攝影中的戰爭傳真已不能只稱是照片了。口语语口语语音的例子音的例子几处停顿?这句话是否结束?台湾:郑秋豫教授21第21页,本讲稿共39页韵律层级结构:韵律层级结构:韵律词(prosodic word):一般为三个音节以下的语法词或词一般为三个音节以下的语法词或词组,内部不出现节奏边界组,内部不出现节奏边界 韵律短语(Prosodic phrase):):由一个或几个韵律词组成,具
11、有由一个或几个韵律词组成,具有相对稳定的短语语调模式和短语重音配置模式相对稳定的短语语调模式和短语重音配置模式 语调短语(intonation phrase):长于韵律短语。在语法上相当于较长于韵律短语。在语法上相当于较短的句子或较长的短语,韵律短语之间有音高重设短的句子或较长的短语,韵律短语之间有音高重设汉语的韵律结构的定义22第22页,本讲稿共39页三层韵律层级结构图U:语调短语,PP:韵律短语,PW:韵律词相应的语法结构图S:句子,NP:名词短语,VP:动词短语韵律结构是无递归的:韵律结构是无递归的:韵律词的边界一般是语法词的边界,而韵律短韵律词的边界一般是语法词的边界,而韵律短语的边界
12、一般是韵律词的边界语的边界一般是韵律词的边界韵律词、韵律短语、语调短语分别处于不同的韵律词、韵律短语、语调短语分别处于不同的层级上,一般没有嵌套关系的存在层级上,一般没有嵌套关系的存在平均长度满足,平均长度满足,Len(韵律词韵律词)Len(韵律短语韵律短语)Len(语调短语语调短语)语法结构相对复杂:语法结构相对复杂:短语类型之间存在嵌套的包含关系,比如短语类型之间存在嵌套的包含关系,比如NP内部内部可以有更小的可以有更小的NP等等 汉语的韵律结构与语法结构图23第23页,本讲稿共39页“语法词”-从句法学的角度定义;词典词的长度为1-13个汉字“韵律词”-从韵律学的角度来定义。韵律词一般是
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 语音 信息处理 相关 语言
限制150内