龙空技术网

NLTK在去停用词、分词、分句以及词性标注的使用

爱音乐的程序员小新人 176

前言:

现时同学们对“python中文停用词”都比较关怀,咱们都需要了解一些“python中文停用词”的相关内容。那么小编同时在网上搜集了一些对于“python中文停用词””的相关内容,希望咱们能喜欢,看官们一起来学习一下吧!

因为实习的缘故,所以有机会接触到了自然语言处理的一些方面。

这里主要总结一下在python环境下进行自然语言处理的相关包和可能会出现的相关错误,目前接触的都比较Low,但是还是想要记录下来。

Nltk是python下处理语言的主要工具包,可以实现去除停用词、词性标注以及分词和分句等。

安装nltk,我写python一般使用的是集成环境EPD,其中有包管理,可以在线进行安装。如果不是集成环境,可以通过pip install nltk安装。

》pip install nltk #安装nltk

》nltk.download() #弹出一个选择框,可以按照自己需要的语义或者是功能进行安装

一般要实现分词,分句,以及词性标注和去除停用词的功能时,需要安装stopwords,punkt以及

当出现LookupError时一般就是由于缺少相关模块所导致的

就是没有安装stopwords所导致的,可以手动安装,也可以

》nltk.download(‘stopwords’)

如果出现

则是需要安装punkt,这个模块主要负责的是分词功能。同stopwords一样有两种方式安装。

同理当报出

LookupError

Resource ***/maxent_treebank_pos_tagger/

*********************************

对应下载maxent_treebank_pos_tagger就可以,这一部分主要就负责词性标注。

去除停用词,分词以及词性标注的调用方法

from nltk.corpus import stopwords

import nltk

disease_List = nltk.word_tokenize(text)

#去除停用词

filtered = [w for w in disease_List if(w not in stopwords.words('english')]

#进行词性分析,去掉动词、助词等

Rfiltered =nltk.pos_tag(filtered)

Rfiltered以列表的形式进行返回,列表元素以(词,词性)元组的形式存在

标签: #python中文停用词