首页 > 专利 > 杭州电子科技大学 > 基于混合神经网络模型的低通气和呼吸暂停检测识别系统专利详情

基于混合神经网络模型的低通气和呼吸暂停检测识别系统   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2020-06-19
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2020-10-20
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2023-01-03
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2040-06-19
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202010570684.4 申请日 2020-06-19
公开/公告号 CN111696575B 公开/公告日 2023-01-03
授权日 2023-01-03 预估到期日 2040-06-19
申请年 2020年 公开/公告年 2023年
缴费截止日
分类号 G10L25/03G10L25/24G10L25/30G10L25/66G10L21/0216A61B5/08A61B5/00 主分类号 G10L25/03
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 5
权利要求数量 6 非专利引证数量 1
引用专利数量 2 被引证专利数量 0
非专利引证 1、2012.03.22CN 105962897 A,2016.09.28CN 107358965 A,2017.11.17刘麟等.基于改进BP神经网络模型的阻塞性睡眠呼吸暂停低通气综合征发病率预测《.国际感染病学(电子版)》.2019,(第04期),9-11. 陈伟伟.基于K均值的阻塞性睡眠呼吸暂停低通气综合症诊断《.中国科技信息》.2010,(第22期),190-192.;
引用专利 EP3231368A、US2012071741A 被引证专利
专利权维持 2 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 刘昊、李文钧、岳克强、孙洁、程思一、潘成铭 第一发明人 刘昊
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州浙科专利事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
孙孟辉
摘要
本发明公开了一种基于混合神经网络模型的低通气和呼吸暂停检测识别系统,属于睡眠鼾声检测技术领域;包括:通过多个麦克风采集整晚鼾声数据;对采集到的鼾声数据使用波束形成进行降噪;截取整晚鼾声数据中有效的鼾声数据片段;提取鼾声数据片段的声学特征;通过混合神经网络模型对鼾声特征进行正常鼾声、低通气鼾声和呼吸暂停鼾声的分类;根据分类结果,统计整晚低通气鼾声和呼吸暂停鼾声的数量,计算被测者整晚的睡眠呼吸暂停低通气指数AHI,进一步的,通过AHI指数完成对阻塞性睡眠呼吸暂停低通气综合征OSAHS患者的识别和检测。
  • 摘要附图
    基于混合神经网络模型的低通气和呼吸暂停检测识别系统
  • 说明书附图:图1
    基于混合神经网络模型的低通气和呼吸暂停检测识别系统
  • 说明书附图:图2
    基于混合神经网络模型的低通气和呼吸暂停检测识别系统
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2023-01-03 授权
2 2020-10-20 实质审查的生效 IPC(主分类): G10L 25/03 专利申请号: 202010570684.4 申请日: 2020.06.19
3 2020-09-22 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于混合神经网络模型的低通气和呼吸暂停检测识别系统,包括鼾声采集模块(1)、波束形成降噪模块(2)、有效鼾声截取模块(3)、鼾声声学特征提取模块(4)、混合神经网络模型鼾声分类模块(5)和鼾声统计模块(6),其特征在于:所述鼾声采集模块(1)通过多个麦克风采集被测者整晚鼾声的数据;所述波束形成降噪模块(2)通过MVDR波束形成方法对多个麦克风采集的鼾声数据进行波束形成降噪;所述有效鼾声截取模块(3)通过小波变换提取整晚鼾声数据中有效的鼾声数据片段;所述鼾声声学特征提取模块(4)通过MFCC算法提取鼾声数据片段的声学特征;所述混合神经网络模型鼾声分类模块(5)通过使用训练完成并保存的混合神经网络模型对未标记的鼾声声学特征数据片段进行正常鼾声、低通气鼾声和呼吸暂停鼾声的分类;所述鼾声统计模块(6)统计模型检测到的整晚低通气鼾声和呼吸暂停鼾声的数量,计算被测患者整晚的AHI指数,通过AHI指数完成对OSAHS患者的检测;
所述混合神经网络模型鼾声分类模块(5),将输入该模块的鼾声MFCC声学特征进行预测分类,输出该鼾声特征可能性最大的类别,包括混合神经网络模型由三种神经网络结构组成,第一部分为卷积神经网络,第二部分为循环神经网络,第三部分为深度神经网络。

2.如权利要求1所述的基于混合神经网络模型的低通气和呼吸暂停检测识别系统,其特征在于:所述鼾声采集模块(1)使用多个麦克风或麦克风阵列采集被测患者鼾声数据,将多个麦克风或麦克风阵列放置在患者附近约1米范围内采集鼾声数据,多个麦克风或麦克风阵列的排列形状包括但不限于环形、线形、方形和矩阵排列等。

3.如权利要求1所述的基于混合神经网络模型的低通气和呼吸暂停检测识别系统,其特征在于:所述波束形成降噪模块(2)将采集到的多个鼾声数据合成单声道的一个鼾声数据,采用MVDR波束形成方法对多个麦克风采集的鼾声数据进行波束形成。

4.如权利要求1所述的基于混合神经网络模型的低通气和呼吸暂停检测识别系统,其特征在于:所述有效鼾声截取模块(3),通过小波变换将整晚的鼾声划分为空白鼾声段和有效鼾声段,之后截取有效的鼾声数据片段,并通过人工标注的方式标记有效鼾声数据段的类别,划分为正常鼾声、低通气鼾声和呼吸暂停鼾声。

5.如权利要求1所述的基于混合神经网络模型的低通气和呼吸暂停检测识别系统,其特征在于:所述鼾声声学特征提取模块(4),将通过MFCC算法从截取的有效鼾声段提取声学特征,MFCC算法利用人的听觉特征,将线性频谱映射到基于听觉感知的Mel非线性频谱,然后再转换到倒谱上。

6.如权利要求1所述的基于混合神经网络模型的低通气和呼吸暂停检测识别系统,其特征在于:所述AHI指数包括呼吸暂停指数(AI)和低通气指数(HI),AHI指数的计算公式为:
其中T为整晚时间,然后根据患者的AHI指数以及OSAHS病情程度与AHI程度判断依据完成对OSAHS患者的识别和检测以及对患者患病程度进行评估。
说明书

技术领域

[0001] 本发明涉及低通气和呼吸暂停鼾声的检测和识别技术领域,具体涉及一种基于基于混合神经网络模型的低通气和呼吸暂停检测识别系统。

背景技术

[0002] 阻塞性睡眠呼吸暂停低通气综合征是一种慢性疾病,发病原因主要是由于上气道塌陷而引起气流阻塞导致呼吸暂停和通气不足。OSAHS患者的典型症状包括白天过度嗜睡、睡眠结构紊乱、常伴有打鼾、频繁发生血氧饱和度下降、反复的呼吸暂停现象等。目前的研究表明,OSAHS会明显地增加心脑血管疾病、糖尿病、代谢系统疾病的风险。OSAHS患者每晚睡眠过程中呼吸暂停会反复发作30次以上或AHI≥5次/小时并伴有嗜睡等临床症状。呼吸暂停是指睡眠过程中口鼻呼吸气流完全停止10秒以上;低通气是指睡眠过程中呼吸气流强度较基础水平降低50%以上,并伴有血氧饱和度较基础水平下降≥4%或微醒觉;睡眠呼吸暂停低通气指数是指每小时睡眠时间内呼吸暂停加低通气的次数。
[0003] 当患者发生呼吸暂停综合征时,常伴有低通气现象的出现。在OSAHS综合征诊治指南中提供了OSAHS诊断标准。临床有典型的夜间睡眠打鼾伴呼吸暂停、日间嗜睡(ESS评分≥9分)等症状,查体发现咽腔狭窄、扁桃体肿大、悬雍垂粗大、腺样体增生,AHI>5次/h者可诊断OSAHS。另外根据AHI和夜间SpO2将OSAHS分为轻、中、重度,其中以AHI作为主要判断标准,夜间最低SpO2作为参考(表1)。
[0004] 表1成人OSAHS病情程度与AHI和/或低氧血症程度判断依据
[0005]
[0006] 因此,提供一个低通气和呼吸暂停检测识别系统非常有必要。

发明内容

[0007] 面对现有技术存在的上述技术问题,本发明提供了一种基于混合神经网络模型的低通气和呼吸暂停的检测识别系统,该系统使用混合神经网络模型对患者的正常鼾声、低通气鼾声和呼吸暂停鼾声进行分类,并统计低通气鼾声和呼吸暂停鼾声数量得出AHI指数,并根据AHI指数判断患者呼吸暂停病症的严重程度。具体技术方案如下:
[0008] 一种基于混合神经网络模型的低通气和呼吸暂停检测识别系统,包括鼾声采集模块、波束形成降噪模块、有效鼾声截取模块、鼾声声学特征提取模块、混合神经网络模型鼾声分类模块和鼾声统计模块,所述鼾声采集模块通过多个麦克风采集被测者整晚鼾声的数据;所述波束形成降噪模块通过MVDR波束形成方法对多个麦克风采集的鼾声数据进行波束形成降噪;所述有效鼾声截取模块通过小波变换提取整晚鼾声数据中有效的鼾声数据片段;所述鼾声声学特征提取模块通过MFCC算法提取鼾声数据片段的声学特征;所述混合神经网络模型鼾声分类模块通过使用训练完成并保存的混合神经网络模型对未标记的鼾声声学特征数据片段进行正常鼾声、低通气鼾声和呼吸暂停鼾声的分类;所述鼾声统计模块统计模型检测到的整晚低通气鼾声和呼吸暂停鼾声的数量,计算被测患者整晚的AHI指数,通过AHI指数完成对OSAHS患者的检测。
[0009] 进一步的,所述鼾声采集模块使用多个麦克风或麦克风阵列采集被测患者鼾声数据,将多个麦克风或麦克风阵列放置在患者附近约1米范围内采集鼾声数据,多个麦克风或麦克风阵列的排列形状包括但不限于环形、线形、方形和矩阵排列等。
[0010] 进一步的,所述波束形成降噪模块将采集到的多个鼾声数据合成单声道的一个鼾声数据,采用MVDR波束形成方法对多个麦克风采集的鼾声数据进行波束形成。
[0011] 进一步的,所述有效鼾声截取模块,通过小波变换将整晚的鼾声划分为空白鼾声段和有效鼾声段,之后截取有效的鼾声数据片段,并通过人工标注的方式标记有效鼾声数据段的类别,划分为正常鼾声、低通气鼾声和呼吸暂停鼾声。
[0012] 进一步的,所述鼾声声学特征提取模块,将通过MFCC算法从截取的有效鼾声段提取声学特征,MFCC算法利用人的听觉特征,将线性频谱映射到基于听觉感知的Mel非线性频谱,然后再转换到倒谱上。
[0013] 进一步的,所述混合神经网络模型鼾声分类模块(5),将输入该模块的鼾声MFCC声学特征进行预测分类,输出该鼾声特征可能性最大的类别,包括混合神经网络模型由三种神经网络结构组成,第一部分为卷积神经网络,第二部分为循环神经网络,第三部分为深度神经网络。
[0014] 进一步的,所述AHI指数包括呼吸暂停指数(AI)和低通气指数(HI),AHI指数的计算公式为:
[0015]
[0016] 其中T为整晚时间,然后根据患者的AHI指数以及OSAHS病情程度与AHI程度判断依据完成对OSAHS患者的识别和检测以及对患者患病程度进行评估。
[0017] 本发明提出一种混合的神经网络模型对呼吸暂停鼾声进行正常鼾声、低通气鼾声和呼吸暂停鼾声的分类。本发明通过多麦克风采集鼾声数据和MVDR波束形成方法获得低噪声高质量的鼾声数据,对后期神经网络识别分类准确率有一定的提升。本发明通过混合神经网络对鼾声分类的结果有一定的改进。最后本发明提出的系统能够方便地移植开发到多种平台,包括手机、电脑和平板等。

实施方案

[0020] 本发明实例提供的呼吸暂停综合征检测识别系统,是利用混合神经网络模型对鼾声声学特征进行正常鼾声、低通气鼾声和呼吸暂停鼾声的分类识别,并统计识别的低通气鼾声和呼吸暂停鼾声的数量,再通过计算被测患者整晚的AHI指数,以此检测评估OSAHS患者的患病程度。另外本实例还提供了一种基于上述方法的呼吸暂停检测识别系统。以下结合附图对本发明实例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
[0021] 如图1和2所示,本发明的基于混合神经网络模型的低通气和呼吸暂停检测识别的系统,包括鼾声采集模块1、波束形成降噪模块2、有效鼾声截取模块3、鼾声声学特征提取模块4、混合神经网络模型鼾声分类模块5和鼾声统计模块6。鼾声采集模块1通过多个麦克风采集被测者整晚鼾声的数据。波束形成降噪模块2通过MVDR波束形成方法对多个麦克风采集的鼾声数据进行波束形成降噪。有效鼾声截取模块3通过小波变换提取整晚鼾声数据中有效的鼾声数据片段。鼾声声学特征提取模块4通过MFCC方法提取鼾声数据片段的声学特征。混合神经网络模型鼾声分类模块5通过使用训练完成并保存的混合神经网络模型对未标记的鼾声声学特征数据片段进行正常鼾声、低通气鼾声和呼吸暂停鼾声的分类。鼾声统计模块6统计模型检测到的整晚低通气鼾声和呼吸暂停鼾声的数量,计算被测患者整晚的AHI指数,通过AHI指数完成对OSAHS患者的检测。
[0022] 所述鼾声采集模块1,用于采集多个麦克风的鼾声数据,其具体方式包括:使用多个麦克风或麦克风阵列采集被测患者鼾声数据。可以将多个麦克风或麦克风阵列放置在患者附近约1米范围内采集鼾声数据,放置的方向性没有具体限制。同时多个麦克风或麦克风阵列的排列形状包括但不限于环形、线形、方形和矩阵排列等。
[0023] 所述波束形成降噪模块2将采集到的多个鼾声数据合成单声道的一个鼾声数据。具体地采用了MVDR波束形成方法对多个麦克风采集的鼾声数据进行波束形成,同时MVDR波束形成方法对鼾声数据还有降噪的效果,提高鼾声数据的信噪比。
[0024] MVDR波束形成的基本步骤如下:
[0025] 1.MVDR波束形成算法通过调整权因子使多个鼾声信号输出功率在期望方向上干扰和噪声最小,同时保证输出期望信号不失真最小。多个鼾声信号的输出功率可以表示为[0026]
[0027] 其中w为权重向量,X为频域的输入向量,即多个麦克风或麦克风矩阵采集到的鼾声信号,E为期望,R为协方差矩阵。
[0028] 2.MVDR波束形成算法可以表示为以下最小化优化问题
[0029] min wHRi+nw
[0030] s.t.wHs=1
[0031] 3.使用拉格朗日乘子将上述最小化公式转化为无约束方程
[0032]
[0033] 4.由上面的公式解得MVDR波束形成算法的最优权重向量为
[0034]
[0035] 5.之后由以下公式
[0036] Y(t)=wH[X(t)+xn(t)]
[0037] 可以得出MVDR波束形成算法的输出向量,该输出向量即为多个鼾声信号的合成鼾声输出。
[0038] 所述有效鼾声截取模块3,通过小波变换将整晚的鼾声划分为空白鼾声段和有效鼾声段,之后截取有效的鼾声数据片段,并通过人工标注的方式标记有效鼾声数据段的类别,划分为正常鼾声、低通气鼾声和呼吸暂停鼾声。
[0039] 小波变换提取有效鼾声段的具体实施方法如下:
[0040] 1.设波束形成降噪模块2输出的鼾声数据为x(n),对鼾声序列数据x(n)加窗分帧处理后,对每帧使用db4小波母函数做10层分解,细节函数 共有10层。对每帧分解的10层,把它的细节系数分为两个部分,1~5层为第一部分,6~10层为第二部分。分别求出每层的平均幅值,第k层小波系数的平均幅值为
[0041]
[0042] 式中,下标i表示第i帧;L(k)表示第k层小波细节系数长度。
[0043] 2.令
[0044]
[0045]
[0046] 3.在1~5和6~10两部分中找出各自平均幅值的最大值,再进一步计算M1(i)和M2(i)的乘积
[0047] MDi=M1(i)×M2(i)
[0048] 4.鼾声数据经过上述变换后,取数值大于阈值的部分既为有效鼾声段。阈值的大小可以根据经验设置为大于零的数值。
[0049] 所述鼾声声学特征提取模块4,将通过MFCC算法从截取的有效鼾声段提取声学特征,MFCC算法利用人的听觉特征,将线性频谱映射到基于听觉感知的Mel非线性频谱,然后再转换到倒谱上。具体地包括:
[0050] 1.统一有效鼾声段时间的长度为1秒至3秒之间,之后对有效鼾声段分帧,分帧时长在15ms至30ms之间,帧位移时长在5ms至15ms之间。
[0051] 2.对每帧数据进行预加重处理,补偿鼾声数据高频分量的损失,预加重的滤波器常设置为
[0052] H(z)=1‑az‑1
[0053] 式中a为常数,z为z变换系数。
[0054] 3.对预加重的每帧数据做快速傅里叶变换(Fast Fourier Transform,FFT)变换,将时域数据转至频域数据:
[0055] X(i,k)=FFT[x,(m)]
[0056] 4.计算每一帧FFT后的数据的谱线能量:
[0057] E(i,k)=[X(i,k)]2
[0058] 5.把求出的每帧谱线能量谱通过Mel滤波器,计算在该Mel滤波器中的能量。在频域中相当于把每帧的能量谱E(i,k)(i表示第i帧,k表示频域中第k条谱线)于Mel滤波器的频域响应Hm(k)相乘并相加:
[0059]
[0060] 6.计算离散余弦变换(Discrete Cosine Transform,DCT)倒谱,即把Mel滤波器的能量取对数后计算DCT。
[0061]
[0062] 得到有效鼾声片段的MFCC特征。式中S(i,m)是Mel滤波器能量;m是指第m个滤波器;i是指第i帧。
[0063] 所述混合神经网络模型鼾声分类模块5,将输入该模块的鼾声MFCC声学特征进行预测分类,输出该鼾声特征可能性最大的类别。具体包括混合神经网络模型由三种神经网络结构组成,第一部分为卷积神经网络,第二部分为循环神经网络,第三部分为深度神经网络。这三个部分的神经网络串联形成整体的混合神经网络模型。每部分的神经网络结构如下:
[0064] 1.卷积神经网络包括6层的二维卷积层,6层的最大池化层,每个二维卷积层连接一层的最大池化层,每个二维卷积层的激活函数选用ReLU函数。ReLU函数表达式为:
[0065]
[0066] 2.循环神经网络总共包括4层,每层中使用GRU单元,每层中的GRU单元数量为512个。每层的激活函数选用ReLU函数。GRU单元的更新公式为:
[0067] zt=σ(Wz·[ht‑1,xt])
[0068] rt=σ(Wr·[ht‑1,xt])
[0069]
[0070]
[0071] 其中zt和rt是门控变量,Wz和Wr是权重变量,xt是输入变量,ht是输出变量。
[0072] 3.深度神经网络总共包括和3层全连接层,第一个全连接层的单元数为2048,第二个全连接层的单元数为1024,第三层全连接层的单元数为3。其中第一层和第二层的激活函数使用ReLU函数。第三层的激活函数选用softmax函数。其中第三层为该混合神经网络的最终输出。三个单元的对应三种鼾声类别,取三个单元输出中最大值对应的鼾声类别为最终预测的鼾声类别。
[0073] softmax函数的表达式为:
[0074]
[0075] 式中Si为第i种类别的输出,在本发明中对应鼾声的三种分类。xi为上一层单元的输出。
[0076] 训练该混合神经网络时,使用RMSprop方法作为训练的优化方法。使用交叉熵损失函数作为训练混合神经网络模型的损失函数。交叉熵损失函数公式为:
[0077]
[0078] 式中 为期望值,y为实际值。
[0079] 混合神经网络模型的训练初始参数包括:学习率为0.0005,训练轮数为500,批次大小为64。
[0080] 所述鼾声统计模块6,统计混合神经网络模型检测到的低通气鼾声和呼吸暂停鼾声的数量,计算被测患者整晚的AHI指数,AHI指数包括呼吸暂停指数(AI)和低通气指数(HI),AHI指数的计算公式为:
[0081]
[0082] 其中T为整晚时间。然后根据患者的AHI指数以及表1的OSAHS病情程度与AHI程度判断依据完成对OSAHS患者的识别和检测以及对患者患病程度进行评估。
[0083] 本发明提出一种基于混合神经网络模型的低通气和呼吸暂停的检测识别系统,本发明通过多麦克风采集鼾声数据和MVDR波束形成方法获得低噪声高质量的鼾声数据,并通过混合神经网络对患者的正常鼾声、低通气鼾声和呼吸暂停鼾声进行准确的分类,然后统计低通气鼾声和呼吸暂停鼾声的数量,计算出患者的AHI指数,之后根据AHI指数检测识别OSAHS患者并对患者患病程度进行评估。同时本发明能够方便地移植开发到多种平台,包括手机、电脑和平板等多种设备。应当指出,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下做出的若干改进都属于本发明的保护范围。

附图说明

[0018] 图1为本申请实例提供的基于混合神经网络模型的低通气和呼吸暂停的检测识别系统的流程示意图。
[0019] 图2为本申请实例提供的基于混合神经网络模型的低通气和呼吸暂停的检测识别的系统框图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号