[0073] 图1为根据本发明实施方式结合中英知识资源的中文词语语义关系识别方法的流程图;
[0074] 图2为根据本发明实施方式结合中英知识资源的中文词语语义关系识别装置的结构示意图;
[0075] 图3为根据本发明实施方式反义关系识别单元的结构示意图;
[0076] 图4为根据本发明实施方式整体部分关系识别单元的结构示意图;
[0077] 图5为根据本发明实施方式同义关系识别单元的结构示意图;
[0078] 图6为根据本发明实施方式上下位关系识别单元的结构示意图;
[0079] 图7为根据本发明实施方式汉英转译单元的结构示意图;
[0080] 图8为根据本发明实施方式英文词语语义关系识别单元的结构示意图;具体实施方式:
[0081] 为了使本技术领域的人员更好地理解本发明实施例的方案,下面结合附图和实施方式对发明实施例作进一步的详细说明。
[0082] 以对由词语A“机动车”和词语B“卡车”组成的词语对进行语义识别处理为例。
[0083] 本发明实施例结合中英知识资源的中文词语语义关系识别方法的流程图,如图1所示,包括以下步骤:
[0084] 步骤101,反义关系识别。
[0085] 结合多种中文知识资源获取反义词集合,根据反义词集合判定词语间语义关系是否具有反义关系,具体为:
[0086] 步骤1-1)利用HowNet中显式定义的反义关系,对给定词语A和B进行词语A的反义词集合ASETA提取操作,如果B∈ASETA,那么两词语存在反义关系,否则转步骤1-2),另外
HowNet中定义的对义关系也作为一种反义关系处理;
[0087] 在HowNet中提取词语A“机动车”的反义词(包括对义词)集合得ASETA={“板车”,“大板车”,“大车”,“单车”,“东洋车”,“独轮车”,“黄包车”,“黄鱼车”,“架子车”,“胶皮车”,“脚踏车”,“驴车”,“马车”,“毛驴车”,“牛车”,“排子车”,“平板车”,“平板三轮”,“平车”,“人力车”,“三轮”,“三轮车”,“山地车”,“手车”,“手推车”,“兽力车”,“推车”,“小车”,“洋车”,“助力车”,“自行车”,“轺”,“辂”,“毂”,“鞅”},显然词语B“卡车” 故转步骤1-
2)。
[0088] 步骤1-2)使用百度汉语提取给定词语A的反义词集合ASETA,利用哈工大同义词词林扩展版提取词语A的同义词集合SSETA,对于每个词语W∈SSETA提取其反义词并合并到
ASETA,如果词语B∈ASETA,则词语A和B存在反义关系,否则转步骤1-3);
[0089] 在百度汉语中提取词语A“机动车”的反义词集合得 由于词语B“卡车”故转步骤1-3)。
[0090] 步骤1-3)使用百度百科提取词语A的反义词集合ASETA,如果词语B∈ASETA,则两词语存在反义关系,否则转步骤2-1)。
[0091] 在百度百科中提取词语A“机动车”的反义词集合得 由于词语B“卡车”故转步骤2-1)。
[0092] 步骤102,整体部分关系识别。
[0093] 使用多种中文知识资源提取部分词集合,根据部分词集合判定词语间是否具有整体部分关系,具体为:
[0094] 步骤2-1)利用HowNet分别提取词语A和B的部分词集合MSETA和MSETB,如果B∈MSETA或A∈MSETB,那么两词语存在整体部分关系,否则转步骤2-2);
[0095] 在HowNet中提取词语A“机动车”和B“卡车”的部分词集合得MSETA={“大灯”,“方向盘”,“防晒板”,“后备箱”,“后车窗”,“后挡板”,“后灯”,“后视镜”,“驾驶室”,“挎斗”,“跨斗”,“汽车发动机”,“汽车喇叭”,“汽车配件”,“汽缸”,“前灯”,“燃油表”,“尾灯”,“行李箱”,“油门”,“遮阳板”,“遮阳篷顶”}, 因B“卡车” “机动车”所以转步骤2-2)。
[0096] 步骤2-2)使用HowNet义原定义进行处理,在定义中含有义原“part|部件”的词语表示该词作为某个词语的部分词(部件),定义中的“whole”属性的值指示了其整体词的义
原定义,据此提取词语A和B的义原定义集合DEFSETA和DEFSETB,如果存在DEFA∈DEFSETA和
DEFB∈DEFSETB,满足DEFA含有“whole”属性且其值为DEFB,或DEFB含有“whole”属性且其值为DEFA,则词语A和B存在整体部分关系,否则转步骤3-1);
[0097] 此外,有些词语对直接利用义原定义不能有效识别出整体部分关系,可以通过泛化的方式进行处理,将上述中“whole”属性的值泛化为其上位概念,其余操作不变。
[0098] 利用HowNet提取词语A“机动车”和B“卡车”的义原定义集合DEFSETA={“{LandVehicle|车:modifier={automatic|自动}}”}和DEFSETB={“{LandVehicle|车:
modifier={automatic|自动},{transport|运送:instrument={~},patient=
{physical|物质}}}”},显然不存在DEFA∈DEFSETA或DEFB∈DEFSETB含有义原“part|部件”,因此转步骤3-1)。
[0099] 步骤103,同义关系识别。
[0100] 利用多种中文知识资源提取同义词集合,基于同义词集合判定词语间是否具有同义关系,具体为:
[0101] 步骤3-1)根据哈工大同义词词林扩展版中标有“=”的行表示同义词,获取词语A的同义词集合SSETA,如果B∈SSETA,则词语A和B存在同义关系,否则转步骤3-2);
[0102] 在哈工大同义词词林扩展版中,提取词语A“机动车”的同义词集合得 B“卡车” 故转步骤3-2)。
[0103] 步骤3-2)利用HowNet提取词语A的同义词集合SSETA,如果词语B∈SSETA,则词语A和B存在同义关系,否则转步骤3-3);
[0104] 在HowNet中,提取词语A“机动车”的同义词集合得SSETA={“机动车”,“机动车辆”,“汽车”,“轿车”,“汽车”,“小车”,“小轿车”,“小汽车”,“小卧车”},因B“卡车”所以转步骤3-3)。
[0105] 步骤3-3)利用百度汉语提取词语A的同义词集合SSETA,如果词语B∈SSETA,则词语A和B存在同义关系,否则转步骤3-4);
[0106] 在百度汉语中,提取词语A“机动车”的同义词集合得 因B“卡车”所以转步骤3-4)。
[0107] 步骤3-4)根据百度百科的页面链接,分别获取词语A和B的百科链接页面集合PSETA和PSETB,如果满足 则词语A和B存在同义关系,否则转步骤4-1)。
[0108] 在百度百科中,分别提取词语A“机动车”和B“卡车”的百科链接页面集合得PSETA={“https://baike.baidu.com/item/机动车”}和PSETB={“https://baike.baidu.com/
item/卡车/4339”,“https://baike.baidu.com/item/卡车/15281831”,“https://
baike.baidu.com/item/卡车/622401”,“https://baike.baidu.com/item/卡车/
3697802”,“https://baike.baidu.com/item/卡车/7109303”,“https://
baike.baidu.com/item/卡车/3697784”},由于 故转步骤4-1)。
[0109] 步骤104,上下位关系识别。
[0110] 借助于多种中文知识资源提取下位词集合,根据下位词集合判定词语间是否具有上下位关系,具体为:
[0111] 步骤4-1)利用HowNet分别提取词语A和B的下位词集合HSETA和HSETB,如果B∈HSETA或A∈HSETB,则词语A和B存在上下位关系,否则转步骤4-2);
[0112] 在HowNet中分别提取词语A“机动车”和B“卡车”的下位词集合得HSETA={“奥迪”,“巴士”,“班车”,“包车”,“宝马”,“奔驰”,“本田”,“别克”,“长途汽车”,“出租车”,“出租汽车”,“大巴”,“大客车”,“大宇”,“的士”,“电车”,“丰田”,“福特”,“公车”,“公共汽车”,“公交车”,“黑车”,“货车”,“货柜车”,“机场巴士”,“急救车”,“计程车”,“交通车”,“教练车”,“警车”,“救护车”,“救火车”,“旧式汽车”,“卡车”,“卡迪拉克”,“空车”,“林肯”,“漏斗车”,“旅行车”,“旅游车”,“梅塞德斯”,“面包车”,“区间车”,“双层公共汽车”,“私车”,“私家车”,“通勤车”,“往返巴士”,“无轨电车”,“现代”,“消防车”,“小巴”,“小公共”,“小公共汽车”,“小客”,“小客车”,“巡逻车”,“游览车”,“越野车”,“运输车”,“载重汽车”,“自动倾卸卡车”,“自卸车”,“自卸卡车”}和 因词语B“卡车”∈HSETA,所以词语A“机动车”和B“卡车”存在上下位关系,也即至此完成语义关系识别操作。
[0113] 步骤4-2)根据HowNet义原定义蕴含的上下位关系,分别提取词语A和B的义原定义集合DEFSETA和DEFSETB,如果存在DEFA∈DEFSETA和DEFB∈DEFSETB,满足主要义原一致且
或 则词语A和B具有上下位关系。
[0114] 步骤105,汉英转译。
[0115] 使用汉英词典将中文词语对翻译转换为英文,具体为:
[0116] 步骤5-1)利用汉英词典将词语A和B分别翻译转换为相应的英文集合ENSET(A)和ENSET(B)。
[0117] 步骤106,英文词语语义关系识别。
[0118] 利用英文知识资源对步骤五所得英文词语对进行词语语义关系识别,以确定原中文词语对的语义关系,具体为:
[0119] 步骤6-1)对于每个英文词语ENA∈ENSET(A),ENB∈ENSET(B),根据英文知识资源提取词语ENA的反义词集合ENASETA,如果词语ENB∈ENASETA,则英文词语ENA和ENB存在反义关
系,也即原中文词语对存在反义关系,否则转步骤6-2;
[0120] 步骤6-2)对于每个英文词语ENA∈ENSET(A),ENB∈ENSET(B),根据英文知识资源分别提取词语ENA和ENB的部分词集合ENMSETA和ENMSETB,如果词语ENB∈ENMSETA或ENA∈
ENMSETB,则英文词语ENA和ENB存在整体部分关系,也即原中文词语对存在整体部分关系,否
则转步骤6-3);
[0121] 步骤6-3)对于每个英文词语ENA∈ENSET(A),ENB∈ENSET(B),根据英文知识资源提取词语ENA的同义词集合ENSSETA,如果词语ENB∈ENSSETA,则英文词语ENA和ENB存在同义关
系,也即原中文词语对存在同义关系,否则转步骤6-4);
[0122] 步骤6-4)对于每个英文词语ENA∈ENSET(A),ENB∈ENSET(B),根据英文知识资源分别提取词语ENA和ENB的下位词集合ENHSETA和ENHSETB,如果词语ENB∈ENHSETA或ENA∈
ENHSETB,则英文词语ENA和ENB存在上下位关系,也即原中文词语对存在上下位关系。
[0123] 同理,可完成对词语对“人”和“脑袋”的语义关系识别操作,为了说明具体的泛化操作,以下直接过渡到步骤2-2):
[0124] 在HowNet中,分别提取词语A“人”和B“脑袋”的义原定义集合得DEFSETA={“{Behavior|举止:host={human|人}}”,“{Physique|体格:host={AnimalHuman|动
物}}”,“{Strength|力量:host={community|团体}}”,“{human|人}”,“{human|人:
PersonPro={3rdPerson|他}}”,“{human|人:PersonPro={3rdPerson|他},quantity=
{mass|众}}”,“{human|人:modifier={adult|成年}}”,“{human|人:quantity={mass|
众}}”,“{human|人:{engage|从事:agent={~},content={fact|事情:modifier=
{specific|特定}}}}”},DEFSETB={“{part|部件:PartPosition={head|头},whole=
{AnimalHuman|动物}}”},显然不存在DEFA∈DEFSETA和DEFB∈DEFSETB,使得DEFA含有
“whole”属性且其值为DEFB,或DEFB含有“whole”属性且其值为DEFA,故进行泛化操作,泛化DEFA=“{human|人}”为其上位概念的义原定义“{AnimalHuman|动物}}”,此时满足存在DEFB∈DEFSETB含有“whole”属性且其值为“{AnimalHuman|动物}}”,因此词语“人”和“脑袋”存在整体部分关系。
[0125] 对于中文知识资源不能识别的词语对,通过步骤5-1)至步骤6-4)完成其语义关系识别操作,以下以词语A“佐料”和B“醋”为例说明:
[0126] 根据步骤5-1)利用Iciba汉英词典和HowNet将词语A“佐料”和B“醋”分别翻译转换为相应的英文集合得ENSET(A)={“accessory food”,“condiments”,“seasoning”}和
ENSET(B)={“vinegar”,“jealousy”}。
[0127] 根据步骤6-1)在英文知识资源BabelNet中提取词语EN“A accessory food”的反义词集合得 提取EN“A condiments”的反义词集合得 提取ENA
“seasoning”的反义词集合得 显然词语 因此转步骤6-2。
[0128] 根据步骤6-2)在英文知识资源BabelNet中,提取词语EN“A accessory food”的部分词集合得 提取词语EN“A condiments”的部分词集合得 提
取词语EN“A seasoning”的部分词集合得 提取EN“B vinegar”的部分词集合
得 提取EN“B jealousy”的部分词集合得 显然
故转步骤6-3)。
[0129] 根据步骤6-3)在英文知识资源BabelNet中,提取词语EN“A accessory food”的同义词集合得 提取词语EN“A condiments”的同义词集合得 提
取词语EN“A seasoning”的同义词集合得ENSSETA={“flavorer”,“flavourer”,
“flavoring”,“flavouring”,“seasoner”,“seasoning”},因词语 故转步骤
6-4);
[0130] 根据步骤6-4)在英文知识资源BabelNet中,提取词语EN“A accessory food”的下位词得 提取词语EN“A condiments”的下位词得ENHSETA={“relish”,
“dip”,“mustard”,“table mustard”,“catsup”,“ketchup”,“cetchup”,“tomato ketchup”,“chili sauce”,“chutney”,“Indian relish”,“steak sauce”,“taco sauce”,“salsa”,“mint sauce”,“cranberry sauce”,“duck sauce”,“hoisin sauce”,
“horseradish”,“marinade”,“soy sauce”,“soy”,“vinegar”,“acetum”,“sauce”,“spread”,“paste”,“wasabi"},此时满足EN“B vinegar”∈ENHSETA,故英文词语ENA和ENB存在上下位关系,也即原中文词语对存在上下位关系。
[0131] 通过以上操作步骤,即可完成给定词语对的语义关系识别工作。
[0132] 相应地,本发明实施例还提供一种结合中英知识资源的中文词语语义关系识别装置,其结构示意图如图2所示。
[0133] 在该实施例中,所述装置包括:
[0134] 反义关系识别单元201,用于使用多种中文知识资源获取反义词集合,根据反义词集合判定词语间语义关系是否具有反义关系;
[0135] 整体部分关系识别单元202,用于使用多种中文知识资源提取部分词集合,根据部分词集合判定词语间是否具有整体部分关系;
[0136] 同义关系识别单元203,用于利用多种中文知识资源提取同义词集合,基于同义词集合判定词语间是否具有同义关系;
[0137] 上下位关系识别单元204,用于借助于多种中文知识资源提取下位词集合,根据下位词集合判定词语间是否具有上下位关系;
[0138] 汉英转译单元205,用于使用汉英词典将中文词语对翻译转换为英文;
[0139] 英文词语语义关系识别单元206,用于利用英文知识资源对汉英转译单元所得英文词语对进行词语语义关系识别,以确定原中文词语对的语义关系。
[0140] 图2所示装置的反义关系识别单元201的结构示意图如图3所示,其包括:
[0141] HowNet反义关系识别单元301,用于利用HowNet中显式定义的反义关系,对给定词语A和B进行词语A的反义词集合ASETA提取操作,如果B∈ASETA,那么两词语存在反义关系,
否则转百度汉语反义关系识别单元,另外HowNet中定义的对义关系也作为一种反义关系处
理;
[0142] 百度汉语反义关系识别单元302,用于使用百度汉语提取给定词语A的反义词集合ASETA,利用哈工大同义词词林扩展版提取词语A的同义词集合SSETA,对于每个词语W∈
SSETA提取其反义词并合并到ASETA,如果词语B∈ASETA,则词语A和B存在反义关系,否则转
百度百科反义关系识别单元;
[0143] 百度百科反义关系识别单元303,用于使用百度百科提取词语A的反义词集合ASETA,如果词语B∈ASETA,则两词语存在反义关系,否则转整体部分关系识别单元。
[0144] 图2所示装置的整体部分关系识别单元202的结构示意图如图4所示,其包括:
[0145] HowNet整体部分关系识别单元401,用于利用HowNet分别提取词语A和B的部分词集合MSETA和MSETB,如果B∈MSETA或A∈MSETB,那么两词语存在整体部分关系,否则转义原
定义整体部分关系识别单元;
[0146] 义原定义整体部分关系识别单元402,用于使用HowNet义原定义进行处理,在定义中含有义原“part|部件”的词语表示该词作为某个词语的部分词(部件),定义中的“whole”
属性的值指示了其整体词的义原定义,据此提取词语A和B的义原定义集合DEFSETA和
DEFSETB,如果存在DEFA∈DEFSETA和DEFB∈DEFSETB,满足DEFA含有“whole”属性且其值为
DEFB,或DEFB含有“whole”属性且其值为DEFA,则词语A和B存在整体部分关系,否则转同义关系识别单元;
[0147] 此外,在义原定义整体部分关系识别单元中,有些词语对直接利用义原定义不能有效识别出整体部分关系,可以通过泛化的方式进行处理,将上述中“whole”属性的值泛化
为其上位概念,其余操作不变。
[0148] 图2所示装置的同义关系识别单元203的结构示意图如图5所示,其包括:
[0149] 词林同义关系识别单元501,用于根据哈工大同义词词林扩展版中标有“=”的行表示同义词,获取词语A的同义词集合SSETA,如果B∈SSETA,则词语A和B存在同义关系,否则
转HowNet同义关系识别单元;
[0150] HowNet同义关系识别单元502,用于利用HowNet提取词语A的同义词集合SSETA,如果词语B∈SSETA,则词语A和B存在同义关系,否则转百度汉语同义关系识别单元;
[0151] 百度汉语同义关系识别单元503,用于利用百度汉语提取词语A的同义词集合SSETA,如果词语B∈SSETA,则词语A和B存在同义关系,否则转百度百科同义关系识别单元;
[0152] 百度百科同义关系识别单元504,用于根据百度百科的页面链接,分别获取词语A和B的百科链接页面集合PSETA和PSETB,如果满足 则词语A和B存在同
义关系,否则转上下位关系识别单元。
[0153] 图2所示装置的上下位关系识别单元204的结构示意图如图6所示,其包括:
[0154] HowNet上下位关系识别单元601,用于利用HowNet分别提取词语A和B的下位词集合HSETA和HSETB,如果B∈HSETA或A∈HSETB,则词语A和B存在上下位关系,否则转义原定义
上下位关系识别单元;
[0155] 义原定义上下位关系识别单元602,用于根据HowNet义原定义蕴含的上下位关系,分别提取词语A和B的义原定义集合DEFSETA和DEFSETB,如果存在DEFA∈DEFSETA和DEFB∈
DEFSETB,满足主要义原一致且 或 则词语A和B具有上下位关
系。
[0156] 图2所示装置的汉英转译单元205的结构示意图如图7所示,其包括:
[0157] 汉英转译单元701,用于利用汉英词典将词语A和B分别翻译转换为相应的英文集合ENSET(A)和ENSET(B)。
[0158] 图2所示装置的英文词语语义关系识别单元206的结构示意图如图8所示,其包括:
[0159] 英文反义关系识别单元801,用于对每个英文词语ENA∈ENSET(A),ENB∈ENSET(B),根据英文知识资源提取词语ENA的反义词集合ENASETA,如果词语ENB∈ENASETA,则英文词语
ENA和ENB存在反义关系,也即原中文词语对存在反义关系,否则转英文整体部分关系识别单
元;
[0160] 英文整体部分关系识别单元802,用于对每个英文词语ENA∈ENSET(A),ENB∈ENSET(B),根据英文知识资源分别提取词语ENA和ENB的部分词集合ENMSETA和ENMSETB,如果词语
ENB∈ENMSETA或ENA∈ENMSETB,则英文词语ENA和ENB存在整体部分关系,也即原中文词语对
存在整体部分关系,否则转英文同义关系识别单元;
[0161] 英文同义关系识别单元803,用于对每个英文词语ENA∈ENSET(A),ENB∈ENSET(B),根据英文知识资源提取词语ENA的同义词集合ENSSETA,如果词语ENB∈ENSSETA,则英文词语
ENA和ENB存在同义关系,也即原中文词语对存在同义关系,否则转英文上下位关系识别单
元;
[0162] 英文上下位关系识别单元804,用于对于每个英文词语ENA∈ENSET(A),ENB∈ENSET(B),根据英文知识资源分别提取词语ENA和ENB的下位词集合ENHSETA和ENHSETB,如果词语
ENB∈ENHSETA或ENA∈ENHSETB,则英文词语ENA和ENB存在上下位关系,也即原中文词语对存
在上下位关系。
[0163] 可以将图2~图8所示的结合中英知识资源的中文词语语义关系识别装置集成到各种硬件实体中。比如,可以将结合中英知识资源的中文词语语义关系识别装置集成到:个
人电脑、智能手机、工作站等设备之中。
[0164] 可以通过指令或指令集存储的储存方式将本发明实施方式所提出的结合中英知识资源的中文词语语义关系识别方法存储在各种存储介质上。这些存储介质包括但不局限
于:软盘、光盘、硬盘、内存、U盘、CF卡、SM卡等。
[0165] 综上所述,在本发明实施方式中,通过结合多种中文知识资源获取反义词集合,根据反义词集合判定词语间语义关系是否具有反义关系;使用多种中文知识资源提取部分词
集合,根据部分词集合判定词语间是否具有整体部分关系;利用多种中文知识资源提取同
义词集合,基于同义词集合判定词语间是否具有同义关系;借助于多种中文知识资源提取
下位词集合,根据下位词集合判定词语间是否具有上下位关系;使用汉英词典将中文词语
对翻译转换为英文;利用英文知识资源对汉英转译所得英文词语对进行词语语义关系识
别,以确定原中文词语对的语义关系。由此可见,应用本发明实施方式之后,实现了结合中
英知识资源的中文词语语义关系识别。本发明实施方式可以利用多种不同的中文知识资源
进行词语语义关系识别,充分利用了每种知识资源;在进行整体部分识别过程中,针对
HowNet的义原定义的特点,本发明通过泛化的方法加以补充,使识别方法适应性得到提升;
在进行上下位关系识别操作中,本发明充分挖掘HowNet中义原定义的蕴含的信息,有效地
提高了识别的正确率;本发明结合了中英文知识资源,利用英文知识资源补充中文知识资
源未覆盖的词语语义关系,提高了识别率;本发明提出的结合中英知识资源的中文词语语
义关系识别方法和装置,能够自动识别给定词语对的语义关系,包括反义关系、整体部分关
系、同义关系、上下位关系,具有较高的识别正确率。
[0166] 本说明书中的实施例采用递进的方式描述,彼此相同相似的部分互相参见即可。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之
处参见方法实施例的部分说明即可。
[0167] 以上对本发明实施例进行了详细介绍,本文中应用了具体实施方式对本发明进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法和装置;同时,对于本领域的一
般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,故本说明
书不应理解为对本发明的限制。