首页 > 专利 > 杭州电子科技大学 > 一种基于关键点识别的跳绳计数检测系统及方法专利详情

一种基于关键点识别的跳绳计数检测系统及方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2021-10-28
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2022-03-18
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-10-18
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2041-10-28
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202111265277.3 申请日 2021-10-28
公开/公告号 CN114100103B 公开/公告日 2022-10-18
授权日 2022-10-18 预估到期日 2041-10-28
申请年 2021年 公开/公告年 2022年
缴费截止日
分类号 A63B71/06A63B5/20H04M1/72403G06V40/20 主分类号 A63B71/06
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 3
权利要求数量 4 非专利引证数量 1
引用专利数量 1 被引证专利数量 0
非专利引证 1、2016.03.03CN 110152273 A,2019.08.23王熠杨.跳绳计数仪《.电子制作》.2017,(第21期),77-78. Deep neural networks for analysis offisheries surveillance video andautomated monitoring of fish discards. 《ICES Journal of Marine Science》.2020,第77卷(第4期),1340-1353.;
引用专利 US2016059073A 被引证专利
专利权维持 0 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 颜成钢、黄培武、许成浩、孙垚棋、张继勇、李宗鹏 第一发明人 颜成钢
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于关键点识别的跳绳计数检测系统及方法。通过图像采集模块采集跳绳运动的视频图像;通过图像识别模块识别图像帧;设定判定阈值并初始化;通过动作检测模块进行状态判定;通过数据处理模块,处理数据,生成可视化数据;通过数据显示模块,在手机app中显示当前跳绳信息;本发明可实时检测,也可输入保存的视频进行检测。可用于单人检测,也可用于多人检测。测试误差小,且检测过程中无需专用的可穿戴设备或者专用的可计数跳绳,仅需普通的智能手机即可完成检测,成本低。对跳绳运动的推广和发展起到了一定的贡献。
  • 摘要附图
    一种基于关键点识别的跳绳计数检测系统及方法
  • 说明书附图:图1
    一种基于关键点识别的跳绳计数检测系统及方法
  • 说明书附图:图2
    一种基于关键点识别的跳绳计数检测系统及方法
  • 说明书附图:图3
    一种基于关键点识别的跳绳计数检测系统及方法
  • 说明书附图:图4
    一种基于关键点识别的跳绳计数检测系统及方法
  • 说明书附图:图5
    一种基于关键点识别的跳绳计数检测系统及方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-10-18 授权
2 2022-03-18 实质审查的生效 IPC(主分类): A63B 71/06 专利申请号: 202111265277.3 申请日: 2021.10.28
3 2022-03-01 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于关键点识别的跳绳计数检测系统,其特征在于,包括图像采集模块、图像识别模块、动作检测模块、数据处理模块和数据显示模块;
图像采集模块:采用外置摄像头或者智能手机摄像头,用于采集跳绳运动的视频图像;
以20HZ的速率,即每50毫秒提取一帧图像,作为图像识别模块的输入;
图像识别模块:使用Alphapose框架,将图像采集模块中获得的图像作为输入,提取图像中跳绳者的人体框和人体骨骼的关键点;
动作检测模块:用于检测图像识别模块中提取的跳绳者人体骨骼关键点中,胯部关键点和脚踝关键点之间的相对距离和离地高度,判断跳绳者处于站立状态、屈膝状态、跃起状态或是落地状态;判断是否完成一次跳绳动作;结束一帧图像的检测后,回到图像采集模块,循环上述流程;若完成一次跳绳动作,或者发生断绳,则转入数据处理模块;
数据处理模块:用于记录当前跳绳次数、断绳次数和断绳时刻,并计算实时跳绳速率;
当结束跳绳时,计算平均跳绳速率;
数据显示模块:通过手机app在智能手机屏幕上显示当前跳绳次数和图表;其中图表包括实时跳绳速率信息,平均速率信息和跳绳中断信息;
动作检测模块设定判定阈值并初始化方法如下:
判断阈值包括lmax、lmin、h、t;
所述阈值lmax为跳绳者被判定为跃起状态时,胯部关键点到脚踝关键点的距离L的最大值,即正常站立时的距离;所述阈值lmin为跳绳者被判定为跃起状态时,胯部关键点到脚踝关键点的距离L的最小值;
所述阈值h为跳绳者被判定为跃起状态时,脚踝关键点距离地面H的最小值;
所述阈值t为跳绳者完成一次跳绳后再次跃起时间T的最大值,大于阈值t,则视为断绳;
当未初始化时,则进行初始化操作;跳绳者正常站立,检测到胯部关键点到脚踝关键点距离,设为lmax,lmin设置为lmax的90%;阈值h设定为站立时脚踝关键点到地面距离的1.5倍;t根据跳绳者自身或者训练要求进行调节,此处设置为0.5秒;
将状态设置为“站立”;
初始化仅进行一次;
动作检测模块进行状态判定,具体方法如下;
当判定状态为“站立”情况下,当检测到L当判定状态为“屈膝”情况下,当检测到lminh,且T若不满足lminh,则返回到识别图像帧;
若不满足T当判定状态为“跃起”情况下,当检测到lmin所述数据处理模块处理数据,生成可视化数据,具体方法如下;
当判定状态为“落地”情况下,跳绳个数增加1,通过数据处理模块记录跳绳次数和当前时间,并实时计算跳绳速率、中断次数并记录中断时间。

2.一种基于关键点识别的跳绳计数检测方法,其特征在于,步骤如下:
步骤1,通过图像采集模块采集跳绳运动的视频图像;
步骤2,通过图像识别模块识别图像帧;
通过图像识别模块的Alphapose框架识别跳绳者骨骼关键点,读取胯部关键点到脚踝关键点的距离L、识别脚踝关键点距离地面的距离H;
步骤3,设定判定阈值并初始化;
步骤4,通过动作检测模块进行状态判定;
步骤5,通过数据处理模块,处理数据,生成可视化数据;
步骤6,通过数据显示模块,在手机app中显示当前跳绳信息;
步骤7,记录状态为“站立”,并回到步骤2进行下一帧图像的检测;
步骤3具体方法如下:
判断阈值包括lmax、lmin、h、t;
所述阈值lmax为跳绳者被判定为跃起状态时,胯部关键点到脚踝关键点的距离L的最大值,即正常站立时的距离;所述阈值lmin为跳绳者被判定为跃起状态时,胯部关键点到脚踝关键点的距离L的最小值;
所述阈值h为跳绳者被判定为跃起状态时,脚踝关键点距离地面H的最小值;
所述阈值t为跳绳者完成一次跳绳后再次跃起时间T的最大值,大于阈值t,则视为断绳;
当未初始化时,则进行初始化操作;跳绳者正常站立,检测到胯部关键点到脚踝关键点距离,设为lmax,lmin设置为lmax的90%;阈值h设定为站立时脚踝关键点到地面距离的1.5倍;t根据跳绳者自身或者训练要求进行调节,此处设置为0.5秒;
将状态设置为“站立”;
初始化仅进行一次;
步骤4具体方法如下;
当判定状态为“站立”情况下,当检测到L当判定状态为“屈膝”情况下,当检测到lminh,且T若不满足lminh,则返回到识别图像帧;
若不满足T当判定状态为“跃起”情况下,当检测到lmin步骤5具体方法如下;
当判定状态为“落地”情况下,跳绳个数增加1,通过数据处理模块记录跳绳次数和当前时间,并实时计算跳绳速率、中断次数并记录中断时间。

3.根据权利要求2所述的一种基于关键点识别的跳绳计数检测方法,其特征在于,步骤
1具体方法如下:
通过图像采集模块采集跳绳运动的视频图像,拍摄跳绳者正面,要求跳绳者整个人体完全入镜,并保证跳绳时,也不会跳出相机视野;每50毫秒截取视频中的一帧,作为图像帧,输入Aplhapose框架。

4.根据权利要求3所述的一种基于关键点识别的跳绳计数检测方法,其特征在于,步骤
6具体方法如下:
由数据处理模块中获得当前跳绳次数、实时跳绳速率,中断次数及中断时间,生成实时曲线图,通过app显示于手机上,使得跳绳者可以实时获得可视化信息,调整自身运动状态。
说明书

技术领域

[0001] 本方法涉及智能运动检测技术领域,尤其涉及基于人体及骨骼关键点识别的跳绳计数检测系统及方法。

背景技术

[0002] 跳绳作为一种体育锻炼方式,不但可以有效提锻炼人们的协调能力,而且可以促进青少年身体发育、强身健体。对于成年人来说,跳绳近年来也成为除跑步外,最为经济方便的健身方式之一。而跳绳无论是在日常锻炼还是体育考试、比赛中,都需要进行计数,以此来合理规划运动量和获得成绩。
[0003] 目前,跳绳计数的方法主要分为人工计数、电子计数器和穿戴式运动设备,比如运动手环等。人工计数精度差,且费时费力。因此,市面上有很多能够自动计数的跳绳。但是这种跳绳的成本高、不方便。机械式的自动计数跳绳往往手感较差,不支持快速跳绳,不适用于专业运动员。电子式的自动计数跳绳也有需要定期充电等缺点。另外,虽然可穿戴设备逐渐普及,尤其是运动手环和运动手表出现在很多运动人士的手腕上,但是通常没有跳绳计数功能,或者有此功能,但是计数不够准确,误差较大。
[0004] 近年来,随着中国经济和技术的进一步发展,尤其人工智能和计算机视觉计数的不断成熟,智慧体育这种人工智能+传统体育运动深度融合的模式开始出现。人体骨骼关键点检测也已经大量运用于智慧工地违规动作、老年人摔倒检测等场景中。但是目前将人体骨骼关键点检测用于跳绳计数的应用较少。
[0005] 当前,常用的人体骨骼关键点检测算法有OpenPose、Detectron和AlphaPose等。其中,Alphapose相比OpenPose和Detectron相比,如图1所示,具有更高的准确度和帧率,实现了实时检测。因此本方法采用Alphapose框架,作为人体关键点检测的人工智能算法。

发明内容

[0006] 本发明所要解决的计数问题是,跳绳计数人工判断需要耗费人力且精度较低、自动计数跳绳和可穿戴式设备成本高、精度低、且应用场景不够普及的问题。通过本发明,可以使得运动者不再需要另购设备,仅使用普通的智能手机即可完成跳绳实时计数检测。
[0007] 本发明所采用的技术方案为:一种基于关键点识别的跳绳计数检测系统及方法。使用智能手机,在正面对跳绳者进行拍摄,检测视频中人体骨骼关键点的变化,通过胯部(图4中点8和点11)和脚踝关键点(图4中点10和点13)之间的相对距离变化和离地高度,判断是否完成一次跳跃。
[0008] 一种基于关键点识别的跳绳计数检测系统,包括图像采集模块、图像识别模块、动作检测模块、数据处理模块和数据显示模块。
[0009] 图像采集模块:采用外置摄像头或者智能手机摄像头,用于采集跳绳运动的视频图像。以20HZ的速率,即每50毫秒提取一帧图像,作为图像识别模块的输入;
[0010] 图像识别模块:使用Alphapose框架,将图像采集模块中获得的图像作为输入,提取图像中跳绳者的人体框和人体骨骼的关键点;
[0011] 动作检测模块:用于检测图像识别模块中提取的跳绳者人体骨骼关键点中,胯部关键点和脚踝关键点之间的相对距离和离地高度,判断跳绳者处于站立状态、屈膝状态、跃起状态或是落地状态。判断是否完成一次跳绳动作。结束一帧图像的检测后,如图2所示,回到图像采集模块,循环上述流程。若完成一次跳绳动作,或者发生断绳,则转入数据处理模块;
[0012] 数据处理模块:用于记录当前跳绳次数、断绳次数和断绳时刻,并计算实时跳绳速率。当结束跳绳时,计算平均跳绳速率;
[0013] 数据显示模块:通过手机app在智能手机屏幕上显示当前跳绳次数和图表。其中图表包括实时跳绳速率信息,平均速率信息和跳绳中断信息;
[0014] 一种基于关键点识别的跳绳计数检测方法,步骤如下:
[0015] 步骤1,通过图像采集模块采集跳绳运动的视频图像;
[0016] 步骤2,通过图像识别模块识别图像帧;
[0017] 通过图像识别模块的Alphapose框架识别跳绳者骨骼关键点,读取胯部关键点到脚踝关键点的距离L、识别脚踝关键点距离地面的距离H;
[0018] 步骤3,设定判定阈值并初始化;
[0019] 步骤4,通过动作检测模块进行状态判定;
[0020] 步骤5,通过数据处理模块,处理数据,生成可视化数据;
[0021] 步骤6,通过数据显示模块,在手机app中显示当前跳绳信息;
[0022] 步骤7,记录状态为“站立”,并回到步骤2进行下一帧图像的检测;
[0023] 步骤1具体方法如下:
[0024] 通过图像采集模块采集跳绳运动的视频图像,拍摄跳绳者正面,要求跳绳者整个人体完全入镜,并保证跳绳时,也不会跳出相机视野。每50毫秒截取视频中的一帧,作为图像帧,输入Aplhapose框架;
[0025] 步骤3具体方法如下:
[0026] 判断阈值包括lmax、lmin、h、t;
[0027] 所述阈值lmax为跳绳者被判定为跃起状态时,胯部关键点到脚踝关键点的距离L的最大值,即正常站立时的距离;所述阈值lmin为跳绳者被判定为跃起状态时,胯部关键点到脚踝关键点的距离L的最小值;
[0028] 所述阈值h为跳绳者被判定为跃起状态时,脚踝关键点距离地面H的最小值;
[0029] 所述阈值t为跳绳者完成一次跳绳后再次跃起时间T的最大值,大于阈值t,则视为断绳;
[0030] 当未初始化时,则进行初始化操作。跳绳者正常站立,检测到胯部关键点到脚踝关键点距离,设为lmax,lmin设置为lmax的90%。阈值h设定为站立时脚踝关键点到地面距离的1.5倍。t根据跳绳者自身或者训练要求进行调节,此处设置为0.5秒。
[0031] 将状态设置为“站立”。
[0032] 初始化仅进行一次。
[0033] 步骤4具体方法如下;
[0034] 当判定状态为“站立”情况下,当检测到L
[0035] 当判定状态为“屈膝”情况下,当检测到lminh,且T
[0036] 若不满足lminh,则返回到识别图像帧。
[0037] 若不满足T
[0038] 当判定状态为“跃起”情况下,当检测到lmin
[0039] 步骤5具体方法如下;
[0040] 当判定状态为“落地”情况下,跳绳个数增加1,通过数据处理模块记录跳绳次数和当前时间,并实时计算跳绳速率、中断次数并记录中断时间。
[0041] 步骤6具体方法如下:
[0042] 由数据处理模块中获得当前跳绳次数、实时跳绳速率,中断次数及中断时间,生成实时曲线图,通过app显示于手机上,使得跳绳者可以实时获得可视化信息,调整自身运动状态。
[0043] 本发明与现有技术相比,具有以下的优点和有益效果:
[0044] 1.本发明基于关键点识别的跳绳计数检测系统及方法,将智能手机安放于人体正面拍摄视频,检测连续帧中人体骨骼关键点的位置变化,来判断是否完成一次跳绳动作从而进行计数。
[0045] 2.本发明基于关键点识别的跳绳计数检测系统及方法,即可实时检测,也可输入保存的视频进行检测。可用于单人检测,也可用于多人检测。测试误差小,且检测过程中无需专用的可穿戴设备或者专用的可计数跳绳,仅需普通的智能手机即可完成检测,成本低。对跳绳运动的推广和发展起到了一定的贡献。

实施方案

[0051] 为使本发明的目的,技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
[0052] 实施例
[0053] 如图2所示,一种基于关键点识别的跳绳计数检测系统,包括图像采集模块、图像识别模块、动作检测模块、数据处理模块和数据显示模块。
[0054] 图像采集模块:采用外置摄像头或者智能手机摄像头,用于采集跳绳运动的视频图像。以20HZ的速率,即每50毫秒提取一帧图像,作为图像识别模块的输入;
[0055] 图像识别模块:使用Alphapose框架,将图像采集模块中获得的图像作为输入,提取图像中跳绳者的人体框和人体骨骼的关键点;图1为Alphapose性能图;
[0056] 动作检测模块:用于检测图像识别模块中提取的跳绳者人体骨骼关键点中,胯部关键点和脚踝关键点之间的相对距离和离地高度,判断跳绳者处于站立状态、屈膝状态、跃起状态或是落地状态。判断是否完成一次跳绳动作。结束一帧图像的检测后,如图2所示,回到图像采集模块,循环上述流程。若完成一次跳绳动作,或者发生断绳,则转入数据处理模块;
[0057] 数据处理模块:用于记录当前跳绳次数、断绳次数和断绳时刻,并计算实时跳绳速率。当结束跳绳时,计算平均跳绳速率;
[0058] 数据显示模块:通过手机app在智能手机屏幕上显示当前跳绳次数和图表。其中图表包括实时跳绳速率信息,平均速率信息和跳绳中断信息(如图5所示);水平虚线为结束跳绳后再显示,表示整个跳绳过程中的平均速率。实曲线为实时跳绳速率,在跳绳过程中实时显示;竖直虚线表示此时刻发生断绳。
[0059] 图3为本发明实施例系统及方法的检测判定流程图;
[0060] 图4为本发明实施例人体骨骼关键点示意图;
[0061] 一种基于关键点识别的跳绳计数检测方法,步骤如下:
[0062] 步骤1,通过图像采集模块采集跳绳运动的视频图像,拍摄跳绳者正面,要求跳绳者整个人体完全入镜,并保证跳绳时,也不会跳出相机视野。每50毫秒截取视频中的一帧,作为图像帧,输入Aplhapose框架;
[0063] 步骤2,通过Alphapose框架识别图像帧;
[0064] 识别跳绳者骨骼关键点,读取胯部关键点到脚踝关键点的距离L、识别脚踝关键点距离地面的距离H;
[0065] 步骤3,设定判定阈值并初始化;
[0066] 判断阈值包括lmax、lmin、h、t;
[0067] 所述阈值lmax为跳绳者被判定为跃起状态时,胯部关键点到脚踝关键点的距离L的最大值,即正常站立时的距离;所述阈值lmin为跳绳者被判定为跃起状态时,胯部关键点到脚踝关键点的距离L的最小值;
[0068] 所述阈值h为跳绳者被判定为跃起状态时,脚踝关键点距离地面H的最小值;
[0069] 所述阈值t为跳绳者完成一次跳绳后再次跃起时间T的最大值,大于阈值t,则视为断绳;
[0070] 当未初始化时,则进行初始化操作。跳绳者正常站立,检测到胯部关键点到脚踝关键点距离,设为lmax,lmin设置为lmax的90%。阈值h设定为站立时脚踝关键点到地面距离的1.5倍。t根据跳绳者自身或者训练要求进行调节,此处设置为0.5秒。
[0071] 将状态设置为“站立”。
[0072] 初始化仅进行一次。
[0073] 步骤4,通过动作检测模块进行状态判定;
[0074] 当判定状态为“站立”情况下,当检测到L
[0075] 当判定状态为“屈膝”情况下,当检测到lminh,且T
[0076] 若不满足lminh,则返回到识别图像帧。
[0077] 若不满足T
[0078] 当判定状态为“跃起”情况下,当检测到lmin
[0079] 步骤5,通过数据处理模块,处理数据,生成可视化数据;
[0080] 当判定状态为“落地”情况下,跳绳个数增加1,通过数据处理模块记录跳绳次数和当前时间,并实时计算跳绳速率、中断次数并记录中断时间。
[0081] 步骤6,通过数据显示模块,在手机app中显示当前跳绳信息;
[0082] 由数据处理模块中获得当前跳绳次数、实时跳绳速率,中断次数及中断时间,生成实时曲线图(如图5所示),通过app显示于手机上,使得跳绳者可以实时获得可视化信息,调整自身运动状态。
[0083] 步骤7,记录状态为“站立”,并回到步骤2进行下一帧图像的检测。

附图说明

[0046] 图1为Alphapose性能图;
[0047] 图2为本发明实施例系统及方法的模块关系图;
[0048] 图3为本发明实施例系统及方法的检测判定流程图;
[0049] 图4为本发明实施例人体骨骼关键点示意图;
[0050] 图5为本发明实施例跳绳信息曲线图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号