[0018] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0019] 请参阅图1,在本实施例一中:提供一种基于AR眼镜的会议模拟系统,该系统包括会议模拟平台构建模块、信息交互模块、时间预测模块、算法模块、信息提醒模块;所述会议模拟平台构建模块用于构建会议模拟平台,所述会议模拟平台包括虚拟会议室,所述虚拟会议室允许多端口接入;所述信息交互模块用于实现所述多端口的任一端口与AR眼镜进行数据交互,所述数据交互包括语音数据交互、图像数据交互;所述时间预测模块用于AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;所述AR云平台指AR眼镜的数据云平台处理器;所述算法模块用于实现对AR眼镜的技术校正;所述信息提醒模块用于反馈提示信息至用户端口;
所述会议模拟平台构建模块的输出端与所述信息交互模块的输入端相连接;所述信息交互模块的输出端与所述时间预测模块的输入端相连接;所述算法模块的输出端与所述时间预测模块的输入端相连接;所述时间预测模块的输出端与所述AR云平台相连接;所述AR云平台的输出端与所述信息提醒模块的输入端相连接。
[0020] 所述会议模拟平台构建模块包括平台构建单元、虚拟会议室构建单元;所述平台构建单元用于构建会议模拟平台;所述虚拟会议室构建单元用于在会议模拟平台上构建虚拟会议室,并创立虚拟会议室的多端口,允许用户进行接入;
所述平台构建单元的输出端与所述虚拟会议室构建单元的输入端相连接。
[0021] 所述信息交互模块包括语音数据交互单元、图像数据交互单元;所述语音数据交互单元用于获取与AR眼镜进行数据交互的语音交互数据;所述图像数据交互单元用于获取与AR眼镜进行数据交互的图像交互数据;
所述语音数据交互单元、图像数据交互单元的输出端与所述时间预测模块的输入端相连接。
[0022] 所述时间预测模块包括历史数据采集单元、指令调用单元;所述历史数据采集单元用于AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;所述指令调用单元用于构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;
所述历史数据采集单元的输出端与所述指令调用单元的输入端相连接。
[0023] 所述算法模块包括标定算法单元、跟踪算法单元;所述标定算法单元用于对人眼和AR眼镜的跟踪图像进行标定,保证人眼能看到准确的虚实融合效果;
所述跟踪算法单元用于对被跟踪的图像进行预处理,得到该图像的特征点集合,然后实时状态下将视频流中的图像进行匹配。
[0024] 所述信息提醒模块包括数据处理单元、信息提醒单元;所述数据处理单元用于获取本次会议下AR云平台调用算法模块任一段实际技术校正时长A,调取时长A下的语音数据信息,记为待处理数据;
在待处理数据中获取数据关键点,所述数据关键点代表任一词语在待处理数据中的语音重复次数超出B次,所述B为系统设置的常数阈值;将所有数据关键点记为集合C,该集合C为时长A的关键数据集合;获取本次会议记录中,时长A后的会议时长记为时长 ;获取时长 中的语音数据信息,获取后续关键词,所述后续关键词代表与时长A的关键数据集合中相同的词语;
所述信息提醒单元用于获取后续关键词的时间点,若存在任一后续关键词的时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中,则反馈提示信息至用户端口;
所述提示信息中包括时长A的会议记录数据以及存在时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中后续关键词。
[0025] 在本实施例二中:设置有一场虚拟会议,与会人U穿戴AR眼镜进行远程会议;
AR云平台通过注册的个人信息数据,挑选出与会人U参与虚拟会议的历史数据内容,获取与会人U在历史数据内容中每次会议下出现技术校正的时长;
构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;
所述技术校正指由于AR眼镜位置变化导致的虚拟图像晃动或卡顿的情况下,AR云平台调用算法模块进行调节的过程。
[0026] 所述AR眼镜位置变化一般是由于与会人参与会议时间过长或身体过于疲惫导致与会人出现大幅度的身体动作,因此在本实施例中以会议总时长、会议开始时间、会议参与人数为条件进行分析,例如在会议总时长过长时,会导致与会人脖颈或者身体关节酸痛,从而出现大幅度的身体动作,这样的情况下会导致AR画面出现大幅摇晃,而技术校正难以及时较真画面,容易让身处其中的用户产生眩晕感觉,严重影响用户体验;而会议开始时间也有可能影响与会人的状态,例如在夜里或午间等;所述构建时间预测模型包括:
构建BP神经网络,设置输入层、隐含层、输出层;
所述隐含层节点个数计算如下:
其中,h为隐含层节点数目,m为输入层节点数目,n为输出层节点数目,为1至10之间的调节常数;
获取K组历史数据内容,将每一组历史数据中的会议指标作为输入,将对应的每次会议下出现技术校正的时间点作为输出;
所述输入包括会议总时长、会议开始时间、会议参与人数;
例如在一场会议中,与会人在会议开始一段时间后,变得疲倦,可能会出现打哈欠,低头等现象,就会导致眼镜内图像晃动,在现有技术中,通过技术标定或者跟踪,能够在一定时间内调整完毕,但依然会出现一段时间的修正和延时,容易导致用户出现眩晕。
[0027] 所述输出包括L组输出,K组历史数据内容中每次会议下出现技术校正的第一次时间点记为第一组输出;所述L代表历史数据内容中单次会议中出现技术校正的时间点数量的最小值;每次选取一组输出,进行计算:
其中,输出层、隐含层均采取S型传递函数计算,即:
其中, 指单极性 sigmoid 函数,x代表输入;
输出误差函数E为:
其中,为期望输出; 为网络的计算输出,i代表序号,不断调节网络权值和阈值使误差函数E达到最小,获取当前的输出值作为时间预测模型的输出值;
计算过程可用matlab软件完成,通常采用Sigmoid可微函数和线性函数作为网络的激励函数。将训练样本数据归一化后输入网络,设定网络隐层和输出层激励函数分别为tansig和logsig函数,网络训练函数为traingdx,网络性能函数为mse,隐层神经元数初设为3。设定网络参数。网络迭代次数epochs为1000次,期望误差goal为0.00000001,学习速率lr为0.01。设定完参数后,开始训练网络。
[0028] 该网络通过G次重复学习使误差函数E达到最小,则完成学习。
[0029] 网络训练完成后,只需要将会议指标输入网络即可得到预测数据。
[0030] 共计选取L组输出进行计算,生成L个技术校正的时间点,输出至AR云平台,作为预测技术校正时间点,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正。
[0031] 还包括获取本次会议下AR云平台调用算法模块任一段实际技术校正时长A,调取时长A下的语音数据信息,记为待处理数据;在待处理数据中获取数据关键点,所述数据关键点代表任一词语在待处理数据中的语音重复次数超出B次,所述B为系统设置的常数阈值;
将所有数据关键点记为集合C,该集合C为时长A的关键数据集合;
获取本次会议记录中,时长A后的会议时长记为时长 ;
获取时长 中的语音数据信息,获取后续关键词,所述后续关键词代表与时长A的关键数据集合中相同的词语;
获取后续关键词的时间点,若存在任一后续关键词的时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中,则反馈提示信息至用户端口;
所述提示信息中包括时长A的会议记录数据以及存在时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中后续关键词。
[0032] 在上述技术方案中,表达的是在技术校正过程中一般体现为与会人出现状态问题或者AR眼镜位置大幅变化,会导致与会人在这一时长内错失会议内容,因此对这一时长的语音数据进行提取关键词,而如果在后续的技术校正时长中也出现相同内容,则会导致与会人两次错失,因此,进行信息提示。能够降低信息误报概率,提升用户体验。
[0033] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0034] 最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。