[0003] 本发明针对现有中文分词标注数据不足和领域适应性问题，公开一种融合多种分词工具共性信息和部分监督学习的跨域中文分词方法，提高跨领域分词的准确率。
[0004] 本发明解决其技术问题所采用的技术方案包括以下步骤：
[0005] 一种基于分词工具共性信息和部分监督学习的分词方法。按照如下步骤进行：
[0006] 步骤(1)使用大量无标注数据和BiLSTM神经网络预训练一个具有多种分词工具共性信息的BiLSTM模块，获得训练好的BiLSTM神经网络模块；所述的BiLSTM神经网络模块是初始分词模型的一部分。
[0007] 步骤(2)使用少量标注数据训练初始分词模型，得到一个基于卷积神经网络和多种分词工具共性信息的初始分词模型M0。
[0008] 步骤(3)利用初始分词模型M0对大量无标注数据集进行标注，得到大量伪标签数据。修改初始分词模型M0中的损失函数，利用少量标注数据和大量伪标签数据共同训练损失函数修改后的分词模型M0，得到基于多种分词工具共性信息和部分监督学习的中文分词模型M1。
[0009] 步骤(4)迭代步骤(3)，直到n次,得到最终分词模型Mn。
[0010] 进一步的，步骤(1)具体为：
[0011] 1‑1用现有的四种分词工具(Jieba,THULAC,SnowNLP和Stanford)分别对大量无标注数据进行标注，并在句子的首尾加上准则标记。
[0012] 1‑2使用步骤1‑1获得的标注数据作为输入，BiLSTM神经网络作为特征提取层，预训练一个富含多种分词工具共性信息的BiLSTM神经网络模块。
[0013] 1‑3BiLSTM神经网络模块以字符嵌入为输入，输出含有多个分词工具共性信息的上下文表示：
[0014]
[0015] 其中，表示句子的嵌入层向量，i表示句子中第i个字符， 表示第i个字符的特征。
[0016] 进一步的，步骤(2)具体为：
[0017] 2‑1设输入句子x＝[c1,c2...cn]，使用word2vec将其转换为字符嵌入层向量[0018] 2‑2使用步骤2‑1获得的字符嵌入层向量 作为输入，CNN和蕴含多种分词工具共性信息的BiLSTM神经网络模块作为特征提取层。
[0019]
[0020] 其中，W和b都是卷积核的参数，k是卷积核的大小， 表示从第个字符到第 个字符之间的连接。
[0021]
[0022] 其中， 是CNN网络获取第i个字符的特征， 是蕴含多种分词工具共性信息模块获取的特征，hi是 和 相融合的特征。
[0023] 2‑3将特征提取层的输出输入到CRF层解码。
[0024] 对于输入句子x＝[c1,c2...cn]，通过初始分词模型M0可以获得一个预测标签序列y＝[y1,y2...yn],这个预测标签序列打分的公式如下：
[0025]
[0026] 其中， 表示标签转移矩阵，Pi,yi表示标签得分矩阵。句子x的标签序列为y的似然概率定义为：
[0027]
[0028] 其中，Yx表示句子x所有可能的标注序列集合，y'表示随机的一个标注序列损失函数的公式如下：
[0029]
[0030] 其中,xi是第i个训练句子，yi是这个句子正确的标签序列，Nl是训练集中标注句子的数量，θ是初始分词模型的所有参数。
[0031] 进一步的，步骤(3)具体为：
[0032] 3‑1.使用初始分词模型M0对大量无标注数据进行标注，获得伪标签数据集PUL。
[0033] 3‑2.利用少量标注数据和步骤3‑1获得的伪标签数据集PUL共同训练初始分词模型M0，伪标签标注数据的损失函数被定义为：
[0034]
[0035] 其中，θt‑1是第t‑1次迭代学习到的模型参数，Nu为伪标签数据集中句子的数量，pt‑1 t‑1(yi|xi；θ )是根据上一轮迭代的模型θ 对伪标签句子xi生成标签yi的概率分布。
[0036] 进一步的，步骤(4)具体为：
[0037] 按照步骤(3)的流程迭代的训练模型。此时，模型的更新既基于标注数据，也基于无标注数据。在第t次迭代，模型更新的目标函数为：
[0038]
[0039] 其中，θt是第t次迭代学习到的模型参数，l(θt)是标注数据的损失函数，lUL(θt)是伪标注数据的损失函数，λ是一个可训练的参数。
[0040] 本发明由于采取以上技术方案，具有如下优点：本发明融合多种分词工具共性信息和部分监督学习缓解特定领域标注数据不足的问题，提高跨领域中文分词的准确率。在同等标注数据的情况下，融合多种分词工具共性信息可以将分词模型的准确率提升约3.2％，融合无标注数据进行迭代训练后可进一步提升约2.8％。标注数据越少，本文方法相对于其他方法的优势越明显。
