基于维基百科中文语料库构建Word2Vec模型的应用研究

相关资料下载：

中文维基百科下载地址：https://dumps.wikimedia.org/zhwiki/20180720/

WikiExtractor项目git地址：https://github.com/attardi/wikiextractor

OpenCC项目git地址：https://github.com/BYVoid/OpenCC

中文分词jieba项目git地址：https://github.com/fxsjy/jieba

gensim官网地址：https://radimrehurek.com/gensim/install.html

一、语料库的下载

我下载是zhwiki-20180720-pages-articles.xml.bz2文件，1.5G左右是一个压缩包，下载的时候需要注意文件的名称。

二、语料库文章的提取

下载完成之后，解压缩得到的是一个xml文件，里面包含了许多的文章，也有许多的日志信息。所以，我们只需要提取xml文件里面的文章就可以了。我们通过WikiExtractor来提取xml文件中的文章，它是一个意大利人写的一个Python脚本专门用来提取维基百科语料库中的文章，将每个文件分割的大小为500M，它是一个通过cmd命令来设置一些参数提取文章，提取步骤如下：

a、WikiExtractor的安装

将整个WikiExtractor项目clone或者下载到本地，打开cmd窗口，切换到WikiExtractor项目中的setup.py文件的路径中，执行以下命令安装WikiExtractor

python setup.py install

b、维基百科语料库文章的提取

使用WikiExtractor来提取语料库中的文章，还需要使用到WikiExtractor.py脚本，与setup.py文件在同级目录下，通过以下命令来提取语料库中的文章

python WikiExtractor.py -b 500M -o zhwiki zhwiki-20180720-pages-articles.xml.bz2

参数介绍：

-b，设置提取文章后的每个文件大小

-o，制定输出文件的保存目录

zhwiki-20180720-pages-articles.xml，下载的维基百科语料库文件

更多参数的使用，可以通过以下命令查看：

python WikiExtractor.py -h

使用WikiExtractor提取文章，会在指定目录下产生一个AA的文件夹，里面会包含很多的文件。使用WikiExtractor提取的文章格式如下：

其中省略号表示的就是文章的内容，所以后面我们还需要通过正则化表达式来去除不相关的内容。

c、中文简体和繁体的转换

因为维基百科语料库中的文章内容里面的简体和繁体是混乱的，所以我们需要将所有的繁体字转换成为简体。这里我们利用OpenCC来进行转换。

OpenCC的使用教程请参考：https://blog.csdn.net/sinat_29957455/article/details/81290356

d、正则表达式提取文章内容并进行分词

使用WikiExtractor提取的文章，会包含许多的，所以我们需要将这些不相关的内容通过正则表达式来去除。然后再通过jieba对文章进行分词，在分词的时候还需要将一些没有实际意义的词进行去除，所以在分词的之后加了一个停用词的去除。将分割之后的文章保存到文件中，每一行表示一篇文章，每个词之间使用空格进行分隔。

获取停用词

去除停用词和不必要的内容

将文章转换成为词

e、将分词后的文件合并为一个

将分词后的多个文件合并为一个文件，便于word2vec模型的训练

三、word2vec模型的训练

训练word2vec模型的时候，需要使用到gensim库，安装教程请参考官网，通过pip命令就可以进行安装。训练过程需要30分钟到1个小时，具体训练时间与电脑的配置相关。

四、word2vec模型的使用

训练完成之后，我们可以利用训练好的模型来做一些词的预测，主要包括三个方面的应用。

1、找出与指定词相似的词

返回的结果是一个列表，列表中包含了制定个数的元组，每个元组的键是词，值这个词语指定词的相似度。

2、计算两个词的相似度

最后计算出来的相似度有，similarity:0.7241

3、根据前三个词来类比

五、资源下载地址

git项目下载地址:https://github.com/steelOneself/NLP_learn/tree/master/zhwiki_chinese

git项目中没有包含模型文件，因为模型文件比较大，我上传到百度云了，下载地址：

链接：https://pan.baidu.com/s/1o-7H-0h9fGCsdCyjmxJPUQ 密码：javh

下载后，将解压的模型文件放到项目中的model文件夹中。