[0038] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039] 本发明用于对金融文本的负面信息判定和负面主体判定，因此金融文本对应的实体列表需提前通过专业手段获取。
[0040] 一种基于大数据的金融信息负面主体判定分类方法，如图1所示，该方法包括：获取金融文本数据，对金融文本数据进行预处理；将预处理后的金融文本和对应的实体列表转换成单实体金融文本的输入样本；将输入样本输入到BERT模型中进行单词编码；将编码后的数据输入到训练好的联合模型中进行对应分类；根据分类结果判断当前金融行情。
[0041] 由于互联网金融文本千变万化，将互联网金融文本数据划分为验证集和训练集。对金融文本数据进行预处理的过程包括：将原始金融文本数据集D中的金融文本输入到TF‑IDF模型中进行向量化表示；随机选取N条文本作为训练集的初始样本，计算初始样本与原始金融文本数据集D中其他样本的余弦相似度；当余弦相似度的值大于阈值0.6时，将得到该相似度的样本加入训练集S中，其余样本作为验证集T。
[0042] 预处理后的金融文本对应的实体列表可通过专业的抽取方式进行抽取得到。将预处理后的金融文本和对应的实体列表转换成单实体金融文本的输入样本的过程包括：对于每个金融实体，截取金融实体在金融文本首次出现的上下文作为单实体金融文本格式的输入样本；其中每条金融文本的输入样本数为N，即该金融文本中已知金融实体的个数为N。
[0043] 如图2所示，将金融文本和对应的实体列表转换成单实体金融文本的输入样本的一个具体实施例。对一条有4个金融实体的金融文本，对每一个金融实体，由于在互联网相关金融文章中，往往首次出现的实体都包含了关于这个实体的观点信息，因此截取金融实体在金融文本首次出现的上下文，文本长度和为510，作为单实体+金融文本的格式的输入样本，构造4条单实体金融文本的格式的输入样本。
[0044] 本发明为排除其他金融实体对输入的样本带来语义影响，使用[unused1]掩盖当前输入样本中的其他金融实体字符，为了强调当前实体需要考察的语义位置，使用[unused2]添加到当前输入样本对应的当前实体M中，即M对应“[unused2]M[unused2]”。将当前输入样本输入到预训练BERT模型中，得到输入样本向量表示。
[0045] 单实体金融文本的格式的输入样本为：
[0046] X＝{e1,e2,…,em,x1,x2,…xn}
[0047] 通过BERT模型对输入样本进行编码过程为：
[0048] 步骤1：将输入样本X的数据格式转换为X*，其中X*的表达式为：
[0049] X*＝{cls,e1,e2,…,em,seq,x1,x2,…xn}
[0050] 其中，ei表示实体位置i的字，m表示实体的字个数，xi表示金融文本位置i的字，n表示金融文本的长度，cls表示句子标识，seq表示金融实体与文本分隔符。
[0051] 步骤2：将X*输入BERT模型进行编码，得到输入样本的向量表示；输出结果为：
[0052]
[0053] 其中，li∈Rd表示一个字的向量表示，R表示实数空间，d表示字向量的维度。
[0054] 如图3所示，根据BERT模型输出的结果构建联合模型，所述联合模型是指根据负面信息判定分类任务和负面主体判定任务搭建深度学习结构。联合模型处理数据的过程为：首先对一条金融文本中的负面信息判定分类和负面主体判定，先判定一条文本的负面信息类型；根据负面信息类型的信息和对应的主体判定当前主体是否是负面主体。其具体的过程为：
[0055] 步骤1：建立负面信息判定分类任务；首先将BERT模型输出的金融文本的字表征向量LA输入到平均池化层中，得到文档表征A＝{a1,a2,…,ad}；将文档表征A输入到全连接层，得到负面信息判定分类任务的输出
[0056] 金融文本的字表征向量LA为：
[0057]
[0058] A表示d维向量，i表示金融文本字的位置i， 表示金融文本中位置i的字的向量。
[0059] 负面信息判定分类任务的输出 的表达式为：
[0060]
[0061] 其中，FFN(.)表示全连接层，A表示文档表征。 的输出结为负面信息判断分类的预测结果，为一个概率值，概率值越大，说明该金融文本越有可能为负面金融文本。
[0062] 步骤2：建立负面主体判定任务；将BERT模型输出的金融实体的字表征Le输入到平均池化层中，得到金融实体的词表征向量LE＝{b1,b2,…,bd}。
[0063] 当BERT模型输出的金融实体的字表征为
[0064]
[0065] 其中， 表示金融实体位置i的字向量表示，LE为d维向量。
[0066] 步骤3：将BERT模型输出的金融实体的字表征向量 和金融实体的词表征向量LE＝{b1,b2,…,bd}，对金融文本表征 做基于key字
的点积注意力机制和基于key词的点积注意力机制组合运算，得到金融实体的关键信息特征Latt。金融实体的关键信息特征Latt的公式为：
[0067]
[0068]
[0069]
[0070] 其中，fmean表示平均池化函数，表示连接符号，表示点乘符号，LE表示金融实体的词表征， 表示金融文本表征LA的转置，softmax(.)表示注意力权重归一化函数，LA表示金融实体的字表征。
[0071] 步骤4：将关键信息特征Latt和负面信息判定分类任务的输出预测 输入到全连接层中进行合并，得到负面主体判定任务的输出预测 其中 为二分类的概率，与步骤1的输出的维度一致。
[0072] 联合模型是用于对负面主体进行任务判定；如图4所示，在进行任务判定时，可以在负面信息判定分类任务之后进行，也可以和负面信息判定分类任务并行判断。
[0073] 在对联合模型进行训练的过程中，采用不同的学习率和训练策略对模型及进行训练；训练后的结果进行融合优化得到最终的结果，其具体过程为：
[0074] 步骤1：获取原始文本数据集，将数据集划分为训练集和测试集；
[0075] 步骤2：同时对负面信息判定分类任务和负面主体判定任务用相同学习率L1＝0.002进行训练，直到验证集的准确率不再提升时停止训练，得到model1。
[0076] 验证集的准确率为分类正确的样本除以总的样本。
[0077] 步骤3：对负面信息判定分类任务以学习率L1＝0.002进行训练，直到验证集负面信息判定分类任务的准确率不再提升；对负面信息判定分类任务使用学习率为ω1L1进行训练，其中ω1＝0.1为缩小权重；负面主体判定任务用学习率L1进行训练，直到验证集准确率不再提升；负面信息判定分类任务和负面主体判定任务用学习率ω2L1进行训练，ω2＝0.05为缩小权重，直到验证集准确率不再提升，停止训练得到model2。
[0078] 步骤4：将验证集中的数据分别输入到model1和model2中，得到model1输出的验证集准确率和model2输出的验证集准确率；
[0079] 步骤5：对model1输出的验证集准确率和model2输出的验证集准确率进行归一化处理，得到加权和权重；
[0080] 步骤6：根据加权和的权重对model1的负面信息判定分类任务的输出概率和model2的负面信息判定分类任务输出概率进行加权和，得到负面信息判定分类任务的输出概率；
[0081] 步骤7：根据加权和的权重对model1的负面主体判定任务的输出概率和model2的负面主体判定任务输出概率进行加权和，得到负面主体判定任务的输出概率。
[0082] 模型model1和模型model2是利用不同训练方法得到的模型，这里是对两个模型进行概率融合，即每个模型输出都有两个概率，一个是负面信息判定任务的概率，一个是负面主体判定任务的概率，分别对这两个概率进行融合，比如模型model1的负面信息判定任务的概率为0.7，model2的负面主体判定任务的概率为0.8，最终负面信息判定任务的概率为W1*0.7+W2*0.8，而W1，W2是对验证集准确率比值归一化的权重。对负面主体判定任务也是一样的，可以理解成这就是一个多任务通过不同的训练策略得到了两个模型，然后对结果进行概率融合。
[0083] 对model1和model2进行加权和的公式为：
[0084]
[0085] 其中，acc1，acc2是两个模型验证集的准确率，y1，y2是两个模型的输出概率，最后得到的输出y可认为是最终的任务输出概率，即可以是负面信息判断任务的输出或者是负面主体判断的输出，最终可将两个输出概率相加判断当前金融文本是否包含了当前金融实体的负面信息，概率越大，可能性越大。
[0086] 以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
