各位数据挖掘小伙伴，当你好不容易从网页上爬取了一大堆文本意见，然后摩拳擦掌准备大干一番时，忽然发现文本里面有很多乱七八糟的东西，比如：标点、重复词句、字符、无意义短句等等，是不是感觉有点无助。像图1。

下面介绍4个步骤，教你搞定上面问题。

步骤1.删掉中文里面的字母、数字、符号等噪声

咱们做中文含义分析时，不用管英语、字符、数字这些内容。这里主要使用正则表达式来删除标点符号、英文和数字。

关键代码包括：

r='[\\s+\\.!\\/_,$%^*(+\\"\\')]+|[:：+——()?【】“”！，。？、~@#￥%……&*（）]+'

r1='[^\\u4e00-\\u9fa5]'

for a_string in filelist:

a_string=str(a_string)

temp = re.sub(r,'',a_string) #删除标点符号

temp = re.sub(r1,'',temp) #删除英文和数字

filelist2.append(temp)

步骤2. 把重复的语句删掉

相同的话说两遍肯定没有意义，所以后面的完全重复语句通通删掉。

关键代码包括：

data = pd.DataFrame(data[0].unique())

步骤3. 连续的相同字词压缩

像“哈哈哈哈”、“很好很好很好”这种不严肃的表达，都需要精简为人话。

这里自己写了一个find_chinese程序，主要原理就是反复比对，实现文本机械压缩。

关键代码是这样的：

for a_string in filelist:

a_string=str(a_string)

temp1 = a_string.strip('\\n')

temp2 = temp1.lstrip('\\ufeff')

temp3 = temp2.strip('\\r')

temp4 = wenben.find_chinese(temp3)

temp5 = ""

if temp4!='':

temp5 = wenben.delete_copy(temp4)

filelist2.append(temp5)

步骤4. 无意义的短句子删除

有时候评论内容特别草率，像：“很好”、“不错”。所以我们认为少于4个字的文本没有意义，需要删掉。

关键代码是这样的：

for a_string in filelist:

a_string=str(a_string)

if(a_string == ''):

continue

else:

if(len(a_string)<4):

continue

else:

filelist2.append(a_string)

最后，看到的就是清清爽爽的文字材料了。像下图这样：

接下来，就可以进行更细致的文本挖掘啦。