首页 > 专利 > 唯羲科技有限公司 > 一种基于AR眼镜的会议模拟系统及方法专利详情

一种基于AR眼镜的会议模拟系统及方法   0    0

实质审查 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2022-09-07
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2022-10-28
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2042-09-07
基本信息
有效性 实质审查 专利类型 发明专利
申请号 CN202211086878.2 申请日 2022-09-07
公开/公告号 CN115167688A 公开/公告日 2022-10-11
授权日 预估到期日 2042-09-07
申请年 2022年 公开/公告年 2022年
缴费截止日
分类号 G06F3/01G06N3/04G06N3/08G06T7/246G06T7/70 主分类号 G06F3/01
是否联合申请 独立申请 文献类型号 A
独权数量 1 从权数量 8
权利要求数量 9 非专利引证数量 0
引用专利数量 0 被引证专利数量 0
非专利引证
引用专利 被引证专利
专利权维持 99 专利申请国编码 CN
专利事件 事务标签 公开、实质审查
申请人信息
申请人 第一申请人
专利权人 唯羲科技有限公司 当前专利权人 唯羲科技有限公司
发明人 廖建鲜、朱猛 第一发明人 廖建鲜
地址 广东省深圳市南山区南山街道南光社区南海大道2221号海王大厦A.B座B座16D 邮编 518000
申请人数量 1 发明人数量 2
申请人所在省 广东省 申请人所在市 广东省深圳市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
南京明杰知识产权代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
张文杰
摘要
本发明公开了一种基于AR眼镜的会议模拟系统及方法,属于AR模拟技术领域。该系统包括会议模拟平台构建模块、信息交互模块、时间预测模块、算法模块、信息提醒模块。所述会议模拟平台构建模块的输出端与所述信息交互模块的输入端相连接;所述信息交互模块的输出端与所述时间预测模块的输入端相连接;所述算法模块的输出端与所述时间预测模块的输入端相连接;所述时间预测模块的输出端与所述AR云平台相连接;所述AR云平台的输出端与所述信息提醒模块的输入端相连接。本发明能够实现利用AR眼镜进行模拟会议过程中,提前技术校正的过程,减少数据传输的冗杂程度,降低延时效果;同时也可以对会议状态进行检测,对丢失信息进行提示。
  • 摘要附图
    一种基于AR眼镜的会议模拟系统及方法
  • 说明书附图:图1
    一种基于AR眼镜的会议模拟系统及方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-10-28 实质审查的生效 IPC(主分类): G06F 3/01 专利申请号: 202211086878.2 申请日: 2022.09.07
2 2022-10-11 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于AR眼镜的会议模拟系统,其特征在于:该系统包括会议模拟平台构建模块、信息交互模块、时间预测模块、算法模块、信息提醒模块;
所述会议模拟平台构建模块用于构建会议模拟平台,所述会议模拟平台包括虚拟会议室,所述虚拟会议室允许多端口接入;所述信息交互模块用于实现所述多端口的任一端口与AR眼镜进行数据交互,所述数据交互包括语音数据交互、图像数据交互;所述时间预测模块用于AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;所述AR云平台指AR眼镜的数据云平台处理器;所述算法模块用于实现对AR眼镜的技术校正;所述信息提醒模块用于反馈提示信息至用户端口;
所述会议模拟平台构建模块的输出端与所述信息交互模块的输入端相连接;所述信息交互模块的输出端与所述时间预测模块的输入端相连接;所述算法模块的输出端与所述时间预测模块的输入端相连接;所述时间预测模块的输出端与所述AR云平台相连接;所述AR云平台的输出端与所述信息提醒模块的输入端相连接。

2.根据权利要求1所述的一种基于AR眼镜的会议模拟系统,其特征在于:所述会议模拟平台构建模块包括平台构建单元、虚拟会议室构建单元;
所述平台构建单元用于构建会议模拟平台;所述虚拟会议室构建单元用于在会议模拟平台上构建虚拟会议室,并创立虚拟会议室的多端口,允许用户进行接入;
所述平台构建单元的输出端与所述虚拟会议室构建单元的输入端相连接。

3.根据权利要求1所述的一种基于AR眼镜的会议模拟系统,其特征在于:所述信息交互模块包括语音数据交互单元、图像数据交互单元;
所述语音数据交互单元用于获取与AR眼镜进行数据交互的语音交互数据;所述图像数据交互单元用于获取与AR眼镜进行数据交互的图像交互数据;
所述语音数据交互单元、图像数据交互单元的输出端与所述时间预测模块的输入端相连接。

4.根据权利要求1所述的一种基于AR眼镜的会议模拟系统,其特征在于:所述时间预测模块包括历史数据采集单元、指令调用单元;
所述历史数据采集单元用于AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;所述指令调用单元用于构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;
所述历史数据采集单元的输出端与所述指令调用单元的输入端相连接。

5.根据权利要求1所述的一种基于AR眼镜的会议模拟系统,其特征在于:所述算法模块包括标定算法单元、跟踪算法单元;
所述标定算法单元用于对人眼和AR眼镜的跟踪图像进行标定,保证人眼能看到准确的虚实融合效果;
所述跟踪算法单元用于对被跟踪的图像进行预处理,得到该图像的特征点集合,然后实时状态下将视频流中的图像进行匹配。

6.根据权利要求1所述的一种基于AR眼镜的会议模拟系统,其特征在于:所述信息提醒模块包括数据处理单元、信息提醒单元;
所述数据处理单元用于获取本次会议下AR云平台调用算法模块任一段实际技术校正时长A,调取时长A下的语音数据信息,记为待处理数据;
在待处理数据中获取数据关键点,所述数据关键点代表任一词语在待处理数据中的语音重复次数超出B次,所述B为系统设置的常数阈值;将所有数据关键点记为集合C,该集合C为时长A的关键数据集合;获取本次会议记录中,时长A后的会议时长记为时长 ;获取时长 中的语音数据信息,获取后续关键词,所述后续关键词代表与时长A的关键数据集合中相同的词语;
所述信息提醒单元用于获取后续关键词的时间点,若存在任一后续关键词的时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中,则反馈提示信息至用户端口;
所述提示信息中包括时长A的会议记录数据以及存在时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中后续关键词。

7.一种基于AR眼镜的会议模拟方法,其特征在于:该方法包括以下步骤:
S1、构建会议模拟平台,所述会议模拟平台包括虚拟会议室,所述虚拟会议室允许多端口接入,所述多端口的任一端口与AR眼镜实现数据交互;所述数据交互包括语音数据交互、图像数据交互;
S2、用户穿戴AR眼镜后,注册个人信息数据至AR云平台,AR云平台允许用户通过与当前AR眼镜连接的数据端口连接至虚拟会议室,实现用户远程参与虚拟会议;
S3、AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;
S4、构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;
所述技术校正指由于AR眼镜位置变化导致的虚拟图像晃动或卡顿的情况下,AR云平台调用算法模块进行调节的过程。

8.根据权利要求7所述的一种基于AR眼镜的会议模拟方法,其特征在于:所述构建时间预测模型包括:
构建BP神经网络,设置输入层、隐含层、输出层;
所述隐含层节点个数计算如下:
其中,h为隐含层节点数目,m为输入层节点数目,n为输出层节点数目,为1至10之间的调节常数;
获取K组历史数据内容,将每一组历史数据中的会议指标作为输入,将对应的每次会议下出现技术校正的时间点作为输出;
所述输入包括会议总时长、会议开始时间、会议参与人数;
所述输出包括L组输出,K组历史数据内容中每次会议下出现技术校正的第一次时间点记为第一组输出;所述L代表历史数据内容中单次会议中出现技术校正的时间点数量的最小值;
每次选取一组输出,进行计算:
其中,输出层、隐含层均采取S型传递函数计算,即:
其中, 指单极性 sigmoid 函数,x代表输入;
输出误差函数E为:
其中,为期望输出; 为网络的计算输出,i代表序号,不断调节网络权值和阈值使误差函数E达到最小,获取当前的输出值作为时间预测模型的输出值;
共计选取L组输出进行计算,生成L个技术校正的时间点,输出至AR云平台,作为预测技术校正时间点,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正。

9.根据权利要求8所述的一种基于AR眼镜的会议模拟方法,其特征在于:还包括获取本次会议下AR云平台调用算法模块任一段实际技术校正时长A,调取时长A下的语音数据信息,记为待处理数据;
在待处理数据中获取数据关键点,所述数据关键点代表任一词语在待处理数据中的语音重复次数超出B次,所述B为系统设置的常数阈值;
将所有数据关键点记为集合C,该集合C为时长A的关键数据集合;
获取本次会议记录中,时长A后的会议时长记为时长 ;
获取时长 中的语音数据信息,获取后续关键词,所述后续关键词代表与时长A的关键数据集合中相同的词语;
获取后续关键词的时间点,若存在任一后续关键词的时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中,则反馈提示信息至用户端口;
所述提示信息中包括时长A的会议记录数据以及存在时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中后续关键词。
说明书

技术领域

[0001] 本发明涉及AR模拟技术领域,具体为一种基于AR眼镜的会议模拟系统及方法。

背景技术

[0002] R眼镜是AR技术的具体体现,AR技术是一种将真实世界信息和虚拟世界信息无缝集成的技术,AR技术可以在屏幕上把虚拟世界套在现实世界并进行互动。
[0003] 在目前的技术中,利用AR眼镜实现远程会议已经逐渐成熟,其能够满足用户在远程却能享受到在会议现场的真实感,然而在远程会议的过程中,通常由于会议时间的问题以及与会人的状态变化,导致AR眼镜出现大幅的位置变化,进而导致AR影像晃动,现有的技术标定或者跟踪尚无法做到“零间隔”处理,容易在后续技术校正过程中出现数据拥挤导致宕机或者是用户出现眩晕等不适感觉。同时在这样的技术校正下,容易让用户丢失会议内容。

发明内容

[0004] 本发明的目的在于提供一种基于AR眼镜的会议模拟系统及方法,以解决上述背景技术中提出的问题。
[0005] 为了解决上述技术问题,本发明提供如下技术方案:一种基于AR眼镜的会议模拟系统,该系统包括会议模拟平台构建模块、信息交互模块、时间预测模块、算法模块、信息提醒模块;所述会议模拟平台构建模块用于构建会议模拟平台,所述会议模拟平台包括虚拟会议室,所述虚拟会议室允许多端口接入;所述信息交互模块用于实现所述多端口的任一端口与AR眼镜进行数据交互,所述数据交互包括语音数据交互、图像数据交互;所述时间预测模块用于AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;所述AR云平台指AR眼镜的数据云平台处理器;所述算法模块用于实现对AR眼镜的技术校正;所述信息提醒模块用于反馈提示信息至用户端口;
所述会议模拟平台构建模块的输出端与所述信息交互模块的输入端相连接;所述信息交互模块的输出端与所述时间预测模块的输入端相连接;所述算法模块的输出端与所述时间预测模块的输入端相连接;所述时间预测模块的输出端与所述AR云平台相连接;所述AR云平台的输出端与所述信息提醒模块的输入端相连接。
[0006] 根据上述技术方案,所述会议模拟平台构建模块包括平台构建单元、虚拟会议室构建单元;所述平台构建单元用于构建会议模拟平台;所述虚拟会议室构建单元用于在会议模拟平台上构建虚拟会议室,并创立虚拟会议室的多端口,允许用户进行接入;
所述平台构建单元的输出端与所述虚拟会议室构建单元的输入端相连接。
[0007] 根据上述技术方案,所述信息交互模块包括语音数据交互单元、图像数据交互单元;所述语音数据交互单元用于获取与AR眼镜进行数据交互的语音交互数据;所述图像数据交互单元用于获取与AR眼镜进行数据交互的图像交互数据;
所述语音数据交互单元、图像数据交互单元的输出端与所述时间预测模块的输入端相连接。
[0008] 根据上述技术方案,所述时间预测模块包括历史数据采集单元、指令调用单元;所述历史数据采集单元用于AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;所述指令调用单元用于构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;
所述历史数据采集单元的输出端与所述指令调用单元的输入端相连接。
[0009] 根据上述技术方案,所述算法模块包括标定算法单元、跟踪算法单元;所述标定算法单元用于对人眼和AR眼镜的跟踪图像进行标定,保证人眼能看到准确的虚实融合效果;
所述跟踪算法单元用于对被跟踪的图像进行预处理,得到该图像的特征点集合,然后实时状态下将视频流中的图像进行匹配。
[0010] 所述标定算法、跟踪算法均采用相关的现有技术。
[0011] 根据上述技术方案,所述信息提醒模块包括数据处理单元、信息提醒单元;所述数据处理单元用于获取本次会议下AR云平台调用算法模块任一段实际技术校正时长A,调取时长A下的语音数据信息,记为待处理数据;
在待处理数据中获取数据关键点,所述数据关键点代表任一词语在待处理数据中的语音重复次数超出B次,所述B为系统设置的常数阈值;将所有数据关键点记为集合C,该集合C为时长A的关键数据集合;获取本次会议记录中,时长A后的会议时长记为时长 ;获取时长 中的语音数据信息,获取后续关键词,所述后续关键词代表与时长A的关键数据集合中相同的词语;
所述信息提醒单元用于获取后续关键词的时间点,若存在任一后续关键词的时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中,则反馈提示信息至用户端口;
所述提示信息中包括时长A的会议记录数据以及存在时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中后续关键词。
[0012] 一种基于AR眼镜的会议模拟方法,该方法包括以下步骤:S1、构建会议模拟平台,所述会议模拟平台包括虚拟会议室,所述虚拟会议室允许多端口接入,所述多端口的任一端口与AR眼镜实现数据交互;所述数据交互包括语音数据交互、图像数据交互;
S2、用户穿戴AR眼镜后,注册个人信息数据至AR云平台,AR云平台允许用户通过与当前AR眼镜连接的数据端口连接至虚拟会议室,实现用户远程参与虚拟会议;
S3、AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;
S4、构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;
所述技术校正指由于AR眼镜位置变化导致的虚拟图像晃动或卡顿的情况下,AR云平台调用算法模块进行调节的过程。
[0013] 根据上述技术方案,所述构建时间预测模型包括:构建BP神经网络,设置输入层、隐含层、输出层;
所述隐含层节点个数计算如下:
其中,h为隐含层节点数目,m为输入层节点数目,n为输出层节点数目,为1至10之间的调节常数;
获取K组历史数据内容,将每一组历史数据中的会议指标作为输入,将对应的每次会议下出现技术校正的时间点作为输出;
所述输入包括会议总时长、会议开始时间、会议参与人数;
则 =3,n=1,a为1至10;
所述输出包括L组输出,K组历史数据内容中每次会议下出现技术校正的第一次时间点记为第一组输出;所述L代表历史数据内容中单次会议中出现技术校正的时间点数量的最小值;
每次选取一组输出,进行计算:
其中,输出层、隐含层均采取S型传递函数计算,即:
其中, 指单极性 sigmoid 函数,x代表输入;
输出误差函数E为:
其中,为期望输出; 为网络的计算输出,i代表序号,不断调节网络权值和阈值使误差函数E达到最小,获取当前的输出值作为时间预测模型的输出值;
共计选取L组输出进行计算,生成L个技术校正的时间点,输出至AR云平台,作为预测技术校正时间点,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正。
[0014] BP网络具有高度非线性和较强的泛化能力,但也存在收敛速度慢、迭代步数多、易于陷入局部极小和全局搜索能力差等缺点。可以先用遗传算法对“BP网络”进行优化在解析空间找出较好的搜索空间,再用BP网络在较小的搜索空间内搜索最优解。
[0015] 根据上述技术方案,还包括获取本次会议下AR云平台调用算法模块任一段实际技术校正时长A,调取时长A下的语音数据信息,记为待处理数据;在待处理数据中获取数据关键点,所述数据关键点代表任一词语在待处理数据中的语音重复次数超出B次,所述B为系统设置的常数阈值;
将所有数据关键点记为集合C,该集合C为时长A的关键数据集合;
获取本次会议记录中,时长A后的会议时长记为时长 ;
获取时长 中的语音数据信息,获取后续关键词,所述后续关键词代表与时长A的关键数据集合中相同的词语;
获取后续关键词的时间点,若存在任一后续关键词的时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中,则反馈提示信息至用户端口;
所述提示信息中包括时长A的会议记录数据以及存在时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中后续关键词。
[0016] 与现有技术相比,本发明所达到的有益效果是:本发明能够实现利用AR眼镜进行模拟会议过程中,通过对个人开会时间的历史数据分析,能够预测得知个性化的个人AR眼镜位置变化时间点,提前技术校正的过程,减少在技术校正过程中数据传输的冗杂程度,降低资源消耗,防止在技术校正过程中突然出现的晕眩,提高用户体验;同时也可以对会议状态进行检测,对丢失信息进行提示。

实施方案

[0018] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0019] 请参阅图1,在本实施例一中:提供一种基于AR眼镜的会议模拟系统,该系统包括会议模拟平台构建模块、信息交互模块、时间预测模块、算法模块、信息提醒模块;所述会议模拟平台构建模块用于构建会议模拟平台,所述会议模拟平台包括虚拟会议室,所述虚拟会议室允许多端口接入;所述信息交互模块用于实现所述多端口的任一端口与AR眼镜进行数据交互,所述数据交互包括语音数据交互、图像数据交互;所述时间预测模块用于AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;所述AR云平台指AR眼镜的数据云平台处理器;所述算法模块用于实现对AR眼镜的技术校正;所述信息提醒模块用于反馈提示信息至用户端口;
所述会议模拟平台构建模块的输出端与所述信息交互模块的输入端相连接;所述信息交互模块的输出端与所述时间预测模块的输入端相连接;所述算法模块的输出端与所述时间预测模块的输入端相连接;所述时间预测模块的输出端与所述AR云平台相连接;所述AR云平台的输出端与所述信息提醒模块的输入端相连接。
[0020] 所述会议模拟平台构建模块包括平台构建单元、虚拟会议室构建单元;所述平台构建单元用于构建会议模拟平台;所述虚拟会议室构建单元用于在会议模拟平台上构建虚拟会议室,并创立虚拟会议室的多端口,允许用户进行接入;
所述平台构建单元的输出端与所述虚拟会议室构建单元的输入端相连接。
[0021] 所述信息交互模块包括语音数据交互单元、图像数据交互单元;所述语音数据交互单元用于获取与AR眼镜进行数据交互的语音交互数据;所述图像数据交互单元用于获取与AR眼镜进行数据交互的图像交互数据;
所述语音数据交互单元、图像数据交互单元的输出端与所述时间预测模块的输入端相连接。
[0022] 所述时间预测模块包括历史数据采集单元、指令调用单元;所述历史数据采集单元用于AR云平台通过注册的个人信息数据,挑选出当前用户参与虚拟会议的历史数据内容,获取当前用户在历史数据内容中每次会议下出现技术校正的时长;所述指令调用单元用于构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;
所述历史数据采集单元的输出端与所述指令调用单元的输入端相连接。
[0023] 所述算法模块包括标定算法单元、跟踪算法单元;所述标定算法单元用于对人眼和AR眼镜的跟踪图像进行标定,保证人眼能看到准确的虚实融合效果;
所述跟踪算法单元用于对被跟踪的图像进行预处理,得到该图像的特征点集合,然后实时状态下将视频流中的图像进行匹配。
[0024] 所述信息提醒模块包括数据处理单元、信息提醒单元;所述数据处理单元用于获取本次会议下AR云平台调用算法模块任一段实际技术校正时长A,调取时长A下的语音数据信息,记为待处理数据;
在待处理数据中获取数据关键点,所述数据关键点代表任一词语在待处理数据中的语音重复次数超出B次,所述B为系统设置的常数阈值;将所有数据关键点记为集合C,该集合C为时长A的关键数据集合;获取本次会议记录中,时长A后的会议时长记为时长 ;获取时长 中的语音数据信息,获取后续关键词,所述后续关键词代表与时长A的关键数据集合中相同的词语;
所述信息提醒单元用于获取后续关键词的时间点,若存在任一后续关键词的时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中,则反馈提示信息至用户端口;
所述提示信息中包括时长A的会议记录数据以及存在时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中后续关键词。
[0025] 在本实施例二中:设置有一场虚拟会议,与会人U穿戴AR眼镜进行远程会议;
AR云平台通过注册的个人信息数据,挑选出与会人U参与虚拟会议的历史数据内容,获取与会人U在历史数据内容中每次会议下出现技术校正的时长;
构建时间预测模型,生成当前用户的个性化技术校正预测时间,输出至AR云平台,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正;
所述技术校正指由于AR眼镜位置变化导致的虚拟图像晃动或卡顿的情况下,AR云平台调用算法模块进行调节的过程。
[0026] 所述AR眼镜位置变化一般是由于与会人参与会议时间过长或身体过于疲惫导致与会人出现大幅度的身体动作,因此在本实施例中以会议总时长、会议开始时间、会议参与人数为条件进行分析,例如在会议总时长过长时,会导致与会人脖颈或者身体关节酸痛,从而出现大幅度的身体动作,这样的情况下会导致AR画面出现大幅摇晃,而技术校正难以及时较真画面,容易让身处其中的用户产生眩晕感觉,严重影响用户体验;而会议开始时间也有可能影响与会人的状态,例如在夜里或午间等;所述构建时间预测模型包括:
构建BP神经网络,设置输入层、隐含层、输出层;
所述隐含层节点个数计算如下:
其中,h为隐含层节点数目,m为输入层节点数目,n为输出层节点数目,为1至10之间的调节常数;
获取K组历史数据内容,将每一组历史数据中的会议指标作为输入,将对应的每次会议下出现技术校正的时间点作为输出;
所述输入包括会议总时长、会议开始时间、会议参与人数;
例如在一场会议中,与会人在会议开始一段时间后,变得疲倦,可能会出现打哈欠,低头等现象,就会导致眼镜内图像晃动,在现有技术中,通过技术标定或者跟踪,能够在一定时间内调整完毕,但依然会出现一段时间的修正和延时,容易导致用户出现眩晕。
[0027] 所述输出包括L组输出,K组历史数据内容中每次会议下出现技术校正的第一次时间点记为第一组输出;所述L代表历史数据内容中单次会议中出现技术校正的时间点数量的最小值;每次选取一组输出,进行计算:
其中,输出层、隐含层均采取S型传递函数计算,即:
其中, 指单极性 sigmoid 函数,x代表输入;
输出误差函数E为:
其中,为期望输出; 为网络的计算输出,i代表序号,不断调节网络权值和阈值使误差函数E达到最小,获取当前的输出值作为时间预测模型的输出值;
计算过程可用matlab软件完成,通常采用Sigmoid可微函数和线性函数作为网络的激励函数。将训练样本数据归一化后输入网络,设定网络隐层和输出层激励函数分别为tansig和logsig函数,网络训练函数为traingdx,网络性能函数为mse,隐层神经元数初设为3。设定网络参数。网络迭代次数epochs为1000次,期望误差goal为0.00000001,学习速率lr为0.01。设定完参数后,开始训练网络。
[0028] 该网络通过G次重复学习使误差函数E达到最小,则完成学习。
[0029] 网络训练完成后,只需要将会议指标输入网络即可得到预测数据。
[0030] 共计选取L组输出进行计算,生成L个技术校正的时间点,输出至AR云平台,作为预测技术校正时间点,提前准备调用技术校正数据端口,满足用户在虚拟会议中的及时技术校正。
[0031] 还包括获取本次会议下AR云平台调用算法模块任一段实际技术校正时长A,调取时长A下的语音数据信息,记为待处理数据;在待处理数据中获取数据关键点,所述数据关键点代表任一词语在待处理数据中的语音重复次数超出B次,所述B为系统设置的常数阈值;
将所有数据关键点记为集合C,该集合C为时长A的关键数据集合;
获取本次会议记录中,时长A后的会议时长记为时长 ;
获取时长 中的语音数据信息,获取后续关键词,所述后续关键词代表与时长A的关键数据集合中相同的词语;
获取后续关键词的时间点,若存在任一后续关键词的时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中,则反馈提示信息至用户端口;
所述提示信息中包括时长A的会议记录数据以及存在时间点处于本次会议下AR云平台调用算法模块任一段实际技术校正时长中后续关键词。
[0032] 在上述技术方案中,表达的是在技术校正过程中一般体现为与会人出现状态问题或者AR眼镜位置大幅变化,会导致与会人在这一时长内错失会议内容,因此对这一时长的语音数据进行提取关键词,而如果在后续的技术校正时长中也出现相同内容,则会导致与会人两次错失,因此,进行信息提示。能够降低信息误报概率,提升用户体验。
[0033] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0034] 最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

附图说明

[0017] 附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:图1是本发明一种基于AR眼镜的会议模拟系统及方法的流程示意图。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号