自然语言处理(NLP)入门.docx
《自然语言处理(NLP)入门.docx》由会员分享,可在线阅读,更多相关《自然语言处理(NLP)入门.docx(15页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、自然语言处理(NLP)入门本文扼要介绍Python自然语言处理(NLP)使用Python的NLTK库。NLTK是Python的自然语言处理工具包在NLP领域中最常使用的一个Python库。什么是NLP简单来讲自然语言处理(NLP)就是开发可以理解人类语言的应用程序或者效劳。这里讨论一些自然语言处理(NLP)的实际应用例子如语音识别、语音翻译、理解完好的句子、理解匹配词的同义词和生成语法正确完好句子以及段落。这并不是NLP能做的所有事情。NLP实现搜索引擎:比方谷歌Yahoo等。谷歌搜索引擎知道你是一个技术人员所以它显示与技术相关的结果社交网站推送:比方FacebookNewsFeed。假如Ne
2、wsFeed算法知道你的兴趣是自然语言处理就会显示相关的广告以及帖子。语音引擎:比方Apple的Siri。垃圾邮件过滤:如谷歌垃圾邮件过滤器。以及普通垃圾邮件过滤不同它通过解析邮件内容里面的的深层意义来判断是不是垃圾邮件。NLP库下面是一些开源的自然语言处理库(NLP)Naturallanguagetoolkit(NLTK);ApacheOpenNLP;StanfordNLPsuite;GateNLPlibrary其中自然语言工具包(NLTK)是最受欢送的自然语言处理库(NLP)它是用Python编写的而且背后有非常强大的社区支持。NLTK也很容易上手实际上它是最简单的自然语言处理(NLP)库
3、。在这个NLP教程中我们将使用PythonNLTK库。安装NLTK假如您使用的是Windows/Linux/Mac您可以使用pip安装NLTK:pipinstallnltk翻开python终端导入NLTK检查NLTK是否正确安装importnltk假如一切顺利这意味着您已经成功地安装了NLTK库。首次安装了NLTK需要通过运行以下代码来安装NLTK扩展包:importnltknltk.download()这将弹出NLTK下载窗口来选择需要安装哪些包:您可以安装所有的包因为它们的大小都很小所以没有什么问题。使用PythonTokenize文本首先我们将抓取一个web页面内容然后分析文本解析页面的
4、内容。我们将使用urllib模块来抓取web页面:importurllib.requestresponseurllib.request.urlopen(:/从打印结果中可以看到结果包含许多需要清理的HTML标签。然后BeautifulSoup模块来清洗这样的文字:frombs4importBeautifulSoupimporturllib.requestresponseurllib.request.urlopen(:/如今我们从抓取的网页中得到了一个干净的文本。下一步将文本转换为tokens,像这样:frombs4importBeautifulSoupimporturllib.requestr
5、esponseurllib.request.urlopen(:/统计词频text已经处理完毕了如今使用PythonNLTK统计token的频率分布。可以通过调用NLTK中的FreqDist()方法实现:frombs4importBeautifulSoupimporturllib.requestimportnltkresponseurllib.request.urlopen(:/假如搜索输出结果可以发现最常见的token是PHP。您可以调用plot函数做出频率分布图:freq.plot(20,cumulativeFalse)#需要安装matplotlib库这上面这些单词。比方of,a,an等等这
6、些词都属于停用词。一般来讲停用词应该删除防止它们影响分析结果。处理停用词NLTK自带了许多种语言的停用词列表假如你获取英文停用词:fromnltk.corpusimportstopwordsstopwords.words(english)如今修改下代码,在绘图之前去除一些无效的token:clean_tokenslist()srstopwords.words(english)fortokenintokens:iftokennotinsr:clean_tokens.append(token)最终的代码应该是这样的:frombs4importBeautifulSoupimporturllib.re
7、questimportnltkfromnltk.corpusimportstopwordsresponseurllib.request.urlopen(:/如今再做一次词频统计图效果会比之前好些因为剔除了停用词:freq.plot(20,cumulativeFalse)使用NLTKTokenize文本在之前我们用split方法将文本分割成tokens如今我们使用NLTK来Tokenize文本。文本没有Tokenize之前是无法处理的所以对文本进展Tokenize非常重要的。token化经过意味着将大的部件分割为小部件。你可以将段落tokenize成句子将句子tokenize成单个词NLTK分别
8、提供了句子tokenizer以及单词tokenizer。假设有这样这段文本:HelloAdam,howareyou?Ihopeeverythingisgoingwell.Todayisagoodday,seeyoudude使用句子tokenizer将文本tokenize成句子:fromnltk.tokenizeimportsent_tokenizemytextHelloAdam,howareyou?Ihopeeverythingisgoingwell.Todayisagoodday,seeyoudude.print(sent_tokenize(mytext)输出如下:HelloAdam,how
9、areyou?,Ihopeeverythingisgoingwell.,Todayisagoodday,seeyoudude.这是你可能会想这也太简单了不需要使用NLTK的tokenizer都可以直接使用正那么表达式来拆分句子就行因为每个句子都有标点以及空格。那么再来看下面的文本:HelloMr.Adam,howareyou?Ihopeeverythingisgoingwell.Todayisagoodday,seeyoudude.这样假如使用标点符号拆分,HelloMr将会被认为是一个句子假如使用NLTK:fromnltk.tokenizeimportsent_tokenizemytextH
10、elloMr.Adam,howareyou?Ihopeeverythingisgoingwell.Todayisagoodday,seeyoudude.print(sent_tokenize(mytext)输出如下:HelloMr.Adam,howareyou?,Ihopeeverythingisgoingwell.,Todayisagoodday,seeyoudude.这才是正确的拆分。接下来试试单词tokenizer:fromnltk.tokenizeimportword_tokenizemytextHelloMr.Adam,howareyou?Ihopeeverythingisgoing
11、well.Todayisagoodday,seeyoudude.print(word_tokenize(mytext)输出如下:Hello,Mr.,Adam,how,are,you,?,I,hope,everything,is,going,well,.,Today,is,a,good,day,see,you,dude,.Mr.这个词也没有被分开。NLTK使用的是punkt模块的PunktSentenceTokenizer它是NLTK.tokenize的一局部。而且这个tokenizer经过训练可以适用于多种语言。非英文TokenizeTokenize时可以指定语言:fromnltk.token
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 自然语言 处理 NLP 入门
限制150内