自然语言处理(NLP)入门.docx

自然语言处理(NLP)入门本文扼要介绍Python自然语言处理(NLP)使用Python的NLTK库。NLTK是Python的自然语言处理工具包在NLP领域中最常使用的一个Python库。什么是NLP简单来讲自然语言处理(NLP)就是开发可以理解人类语言的应用程序或者效劳。这里讨论一些自然语言处理(NLP)的实际应用例子如语音识别、语音翻译、理解完好的句子、理解匹配词的同义词和生成语法正确完好句子以及段落。这并不是NLP能做的所有事情。NLP实现搜索引擎:比方谷歌Yahoo等。谷歌搜索引擎知道你是一个技术人员所以它显示与技术相关的结果社交网站推送:比方FacebookNewsFeed。假如NewsFeed算法知道你的兴趣是自然语言处理就会显示相关的广告以及帖子。语音引擎:比方Apple的Siri。垃圾邮件过滤:如谷歌垃圾邮件过滤器。以及普通垃圾邮件过滤不同它通过解析邮件内容里面的的深层意义来判断是不是垃圾邮件。NLP库下面是一些开源的自然语言处理库(NLP)Naturallanguagetoolkit(NLTK);ApacheOpenNLP;StanfordNLPsuite;GateNLPlibrary其中自然语言工具包(NLTK)是最受欢送的自然语言处理库(NLP)它是用Python编写的而且背后有非常强大的社区支持。NLTK也很容易上手实际上它是最简单的自然语言处理(NLP)库。在这个NLP教程中我们将使用PythonNLTK库。安装NLTK假如您使用的是Windows/Linux/Mac您可以使用pip安装NLTK:pipinstallnltk翻开python终端导入NLTK检查NLTK是否正确安装importnltk假如一切顺利这意味着您已经成功地安装了NLTK库。首次安装了NLTK需要通过运行以下代码来安装NLTK扩展包:importnltknltk.download()这将弹出NLTK下载窗口来选择需要安装哪些包:您可以安装所有的包因为它们的大小都很小所以没有什么问题。使用PythonTokenize文本首先我们将抓取一个web页面内容然后分析文本解析页面的内容。我们将使用urllib模块来抓取web页面:importurllib.requestresponseurllib.request.urlopen(:/从打印结果中可以看到结果包含许多需要清理的HTML标签。然后BeautifulSoup模块来清洗这样的文字:frombs4importBeautifulSoupimporturllib.requestresponseurllib.request.urlopen(:/如今我们从抓取的网页中得到了一个干净的文本。下一步将文本转换为tokens,像这样:frombs4importBeautifulSoupimporturllib.requestresponseurllib.request.urlopen(:/统计词频text已经处理完毕了如今使用PythonNLTK统计token的频率分布。可以通过调用NLTK中的FreqDist()方法实现:frombs4importBeautifulSoupimporturllib.requestimportnltkresponseurllib.request.urlopen(:/假如搜索输出结果可以发现最常见的token是PHP。您可以调用plot函数做出频率分布图:freq.plot(20,cumulativeFalse)#需要安装matplotlib库这上面这些单词。比方of,a,an等等这些词都属于停用词。一般来讲停用词应该删除防止它们影响分析结果。处理停用词NLTK自带了许多种语言的停用词列表假如你获取英文停用词:fromnltk.corpusimportstopwordsstopwords.words(english)如今修改下代码,在绘图之前去除一些无效的token:clean_tokenslist()srstopwords.words(english)fortokenintokens:iftokennotinsr:clean_tokens.append(token)最终的代码应该是这样的:frombs4importBeautifulSoupimporturllib.requestimportnltkfromnltk.corpusimportstopwordsresponseurllib.request.urlopen(:/如今再做一次词频统计图效果会比之前好些因为剔除了停用词:freq.plot(20,cumulativeFalse)使用NLTKTokenize文本在之前我们用split方法将文本分割成tokens如今我们使用NLTK来Tokenize文本。文本没有Tokenize之前是无法处理的所以对文本进展Tokenize非常重要的。token化经过意味着将大的部件分割为小部件。你可以将段落tokenize成句子将句子tokenize成单个词NLTK分别提供了句子tokenizer以及单词tokenizer。假设有这样这段文本:HelloAdam,howareyou?Ihopeeverythingisgoingwell.Todayisagoodday,seeyoudude使用句子tokenizer将文本tokenize成句子:fromnltk.tokenizeimportsent_tokenizemytextHelloAdam,howareyou?Ihopeeverythingisgoingwell.Todayisagoodday,seeyoudude.print(sent_tokenize(mytext)输出如下:HelloAdam,howareyou?,Ihopeeverythingisgoingwell.,Todayisagoodday,seeyoudude.这是你可能会想这也太简单了不需要使用NLTK的tokenizer都可以直接使用正那么表达式来拆分句子就行因为每个句子都有标点以及空格。那么再来看下面的文本:HelloMr.Adam,howareyou?Ihopeeverythingisgoingwell.Todayisagoodday,seeyoudude.这样假如使用标点符号拆分,HelloMr将会被认为是一个句子假如使用NLTK:fromnltk.tokenizeimportsent_tokenizemytextHelloMr.Adam,howareyou?Ihopeeverythingisgoingwell.Todayisagoodday,seeyoudude.print(sent_tokenize(mytext)输出如下:HelloMr.Adam,howareyou?,Ihopeeverythingisgoingwell.,Todayisagoodday,seeyoudude.这才是正确的拆分。接下来试试单词tokenizer:fromnltk.tokenizeimportword_tokenizemytextHelloMr.Adam,howareyou?Ihopeeverythingisgoingwell.Todayisagoodday,seeyoudude.print(word_tokenize(mytext)输出如下:Hello,Mr.,Adam,how,are,you,?,I,hope,everything,is,going,well,.,Today,is,a,good,day,see,you,dude,.Mr.这个词也没有被分开。NLTK使用的是punkt模块的PunktSentenceTokenizer它是NLTK.tokenize的一局部。而且这个tokenizer经过训练可以适用于多种语言。非英文TokenizeTokenize时可以指定语言:fromnltk.tokenizeimportsent_tokenizemytextBonjourM.Adam,commentallez-vous?Jespèrequetoutvabien.Aujourdhuiestunbonjour.print(sent_tokenize(mytext,french)输出结果如下:BonjourM.Adam,commentallez-vous?,Jespèrequetoutvabien.,Aujourdhuiestunbonjour.同义词处理使用nltk.download()安装界面其中一个包是WordNet。WordNet是一个为自然语言处理而建立的数据库。它包括一些同义词组以及一些简短的定义。您可以这样获取某个给定单词的定义以及例如:fromnltk.corpusimportwordnetsynwordnet.synsets(pain)print(syn0.definition()print(syn0.examples()输出结果是:asymptomofsomephysicalhurtordisorderthepatientdevelopedseverepainanddistensionWordNet包含了很多定义fromnltk.corpusimportwordnetsynwordnet.synsets(NLP)print(syn0.definition()synwordnet.synsets(Python)print(syn0.definition()结果如下:thebranchofinformationsciencethatdealswithnaturallanguageinformationlargeOldWorldboas可以像这样使用WordNet来获取同义词:fromnltk.corpusimportwordnetsynonymsforsyninwordnet.synsets(Computer):forlemmainsyn.lemmas():synonyms.append(lemma.name()print(synonyms)输出:computer,computing_machine,computing_device,data_processor,electronic_computer,information_processing_system,calculator,reckoner,figurer,estimator,computer反义词处理可以以用同样的方法得到反义词fromnltk.corpusimportwordnetantonymsforsyninwordnet.synsets(small):forlinsyn.lemmas():ifl.antonyms():antonyms.append(l.antonyms()0.name()print(antonyms)输出:large,big,big词干提取语言形态学以及信息检索里词干提取是去除词缀得到词根的经过例如working的词干为work。搜索引擎在索引页面时就会使用这种技术所以很多人为一样的单词写出不同的版本。有很多种算法可以防止这种情况最常见的是波特词干算法。NLTK有一个名为PorterStemmer的类就是这个算法的实现:fromnltk.stemimportPorterStemmerstemmerPorterStemmer()print(stemmer.stem(working)print(stemmer.stem(worked)输出结果是:workwork还有其他的一些词干提取算法比方Lancaster词干算法。非英文词干提取除了英文之外SnowballStemmer还支持13种语言。支持的语言:fromnltk.stemimportSnowballStemmerprint(SnowballStemmer.languages)danish,dutch,english,finnish,french,german,hungarian,italian,norwegian,porter,portuguese,romanian,russian,spanish,swedish你可以使用SnowballStemmer类的stem函数来提取像这样的非英文单词fromnltk.stemimportSnowballStemmerfrench_stemmerSnowballStemmer(french)print(french_stemmer.stem(Frenchword)单词变体复原单词变体复原类似于词干但不同的是变体复原的结果是一个真实的单词。不同于词干当你试图提取某些词时它会产生类似的词:fromnltk.stemimportPorterStemmerstemmerPorterStemmer()print(stemmer.stem(increases)结果:increas如今假如用NLTK的WordNet来对同一个单词进展变体复原才是正确的结果:fromnltk.stemimportWordNetLemmatizerlemmatizerWordNetLemmatizer()print(lemmatizer.lemmatize(increases)结果:increase结果可能会是一个同义词或者同一个意思的不同单词。有时候将一个单词做变体复原时总是得到一样的词。这是因为语言的默认局部是名词。要得到动词可以这样指定fromnltk.stemimportWordNetLemmatizerlemmatizerWordNetLemmatizer()print(lemmatizer.lemmatize(playing,posv)结果:play实际上这也是一种很好的文本压缩方式最终得到文本只有原先的50%到60%。结果还可以是动词(v)、名词(n)、形容词(a)或者副词(r)fromnltk.stemimportWordNetLemmatizerlemmatizerWordNetLemmatizer()print(lemmatizer.lemmatize(playing,posv)print(lemmatizer.lemmatize(playing,posn)print(lemmatizer.lemmatize(playing,posa)print(lemmatizer.lemmatize(playing,posr)输出:playplayingplayingplaying词干以及变体的区别通过下面例子来观察:fromnltk.stemimportWordNetLemmatizerfromnltk.stemimportPorterStemmerstemmerPorterStemmer()lemmatizerWordNetLemmatizer()print(stemmer.stem(stones)print(stemmer.stem(speaking)print(stemmer.stem(bedroom)print(stemmer.stem(jokes)print(stemmer.stem(lisa)print(stemmer.stem(purple)print(-)print(lemmatizer.lemmatize(stones)print(lemmatizer.lemmatize(speaking)print(lemmatizer.lemmatize(bedroom)print(lemmatizer.lemmatize(jokes)print(lemmatizer.lemmatize(lisa)print(lemmatizer.lemmatize(purple)输出:stonespeakbedroomjokelisapurplstonespeakingbedroomjokelisapurple词干提取不会考虑语境这也是为什么词干提取比变体复原快且准确度低的原因。个人认为变体复原比词干提取更好。单词变体复原返回一个真实的单词即使它不是同一个单词也是同义词但至少它是一个真实存在的单词。假如你只关心速度不在意准确度这时你可以选用词干提取。在此NLP教程中讨论的所有步骤都只是文本预处理。在以后的文章中将会使用PythonNLTK来实现文本分析。我已经尽量使文章通俗易懂。祈望能对你有所帮助。SinGaln