python 词云生成

2018-02-27 11:11:21来源:https://www.jianshu.com/p/af4b3c2c05d2作者:freelands人点击

分享


背景

最近在研究一些深度学习序列模型,比如RNN和LSTM,这种主要来处理时序数据的神经网络。传统的语言模型主要是通过词袋,多元语法分析,序列预测主要通过概率模型来分析,应用比较多的是隐马尔科夫模型,但是隐马尔科夫模型是通过前一个单词预测下一个单词,这样就会出现记忆力短暂的问题,有时候前一个词和后面的词的关系几乎为0,这个时候就要一个能够记住之前所有的信息,这个时候RNN就出来了,但是RNN是一个很难去训练的一个网络,因为RNN是对当前层的循环,共用参数,会导致梯度消失和梯度爆炸等问题.此时LSTM应运而生,有一个记忆gate,来控制记住历史哪些记忆。好像说了那么多和词云一点关系都没有,其实在训练语言模型的时候需要去表示每一个词,也就是word embedding,词嵌套,也就是把单词转换成向量,变成模型可以识别的内容,当然how to representation是一个大学问,在深度学历里面就有专门一个主题研究 representation learning,因为表示的不够好,那么模型所能够理解和学习的就更少。


好吧,又扯偏了。。。。。在给一篇文章分词的时候会生成很多单词,词云就是有很多词组成的,所以就顺便弄了下。


依赖
因为用python画图所以用引用matplotlib库
因为要分词所以要引用分词库 这里用中文分词jieba(自称中文最好的分词工具)
因为要制作词云所以引用开源词云wordcloud库
如果没有意思库的话 自行 pip install 或通过其他方式下载
注意事项

因为wordcloud是国外人开发的词云库,所以默认中文乱码,因此需要引入中文字体


WordCloud构造函数可以看到有个字体选项





image.png

网上搜索了一下这个地方ttf格式的中文字体可以用
wget http://labfile.oss.aliyuncs.com/courses/756/DroidSansFallbackFull.ttf


实战1
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba
import os
//中文字体的路径
path_of_font = os.path.join(os.path.dirname("/Users/heiqie/cloud/"), "DroidSansFallbackFull.ttf")
//需要分词的内容
news = "昨天,伊朗外交部发言人表示,中方在“桑吉”号油船救援过程中已经给予了伊方最大程度配合。但也有消息称,中方在救援中未尽全力。中国外交部发言人陆慷在今天(16日)的例行记者会上表示,事故发生后,中方始终高度重视“桑吉”油船的救援工作,指责中方未尽全力的说法与事实不符。";
wordlist_after_jieba = jieba.cut(news, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

//分词后的内容 构造词云
my_wordcloud = WordCloud(font_path=path_of_font,max_font_size=60).generate(wl_space_split)
plt.imshow(my_wordcloud)
//不显示 x y 轴
plt.axis("off")
plt.show()



image.png
实战2
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba
import os
path_of_font = os.path.join(os.path.dirname("/Users/heiqie/cloud/"), "DroidSansFallbackFull.ttf")
//从本地文件系统读取内容
text_from_file_with_path = open('/Users/heiqie/cloud/heiqie.txt').read()
wordlist_after_jieba = jieba.cut(text_from_file_with_path, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

my_wordcloud = WordCloud(font_path=path_of_font,max_font_size=60).generate(wl_space_split)
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()



image.png

wordcloud官方文档
jieba中文分词文档
nltk英文分词文档








最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台