From a309b41192566f63887e850e6903fbc315ab096c Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=91=A8=E7=91=B6?= <976845897@qq.com> Date: Sat, 3 Sep 2022 14:09:55 +0000 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 周瑶 <976845897@qq.com> --- ...73\347\273\237\351\241\271\347\233\256.md" | 89 +++++++++++++++++++ 1 file changed, 89 insertions(+) create mode 100644 "solution_student_challenge/\345\237\272\344\272\216OpenHarmony\347\232\204\344\270\212\350\202\242\345\272\267\345\244\215\346\243\200\346\265\213\350\257\204\344\274\260\347\263\273\347\273\237-\345\274\240\345\256\201/\345\237\272\344\272\216OpenHarmony\347\232\204\344\270\212\350\202\242\345\272\267\345\244\215\346\243\200\346\265\213\350\257\204\344\274\260\347\263\273\347\273\237\351\241\271\347\233\256.md" diff --git "a/solution_student_challenge/\345\237\272\344\272\216OpenHarmony\347\232\204\344\270\212\350\202\242\345\272\267\345\244\215\346\243\200\346\265\213\350\257\204\344\274\260\347\263\273\347\273\237-\345\274\240\345\256\201/\345\237\272\344\272\216OpenHarmony\347\232\204\344\270\212\350\202\242\345\272\267\345\244\215\346\243\200\346\265\213\350\257\204\344\274\260\347\263\273\347\273\237\351\241\271\347\233\256.md" "b/solution_student_challenge/\345\237\272\344\272\216OpenHarmony\347\232\204\344\270\212\350\202\242\345\272\267\345\244\215\346\243\200\346\265\213\350\257\204\344\274\260\347\263\273\347\273\237-\345\274\240\345\256\201/\345\237\272\344\272\216OpenHarmony\347\232\204\344\270\212\350\202\242\345\272\267\345\244\215\346\243\200\346\265\213\350\257\204\344\274\260\347\263\273\347\273\237\351\241\271\347\233\256.md" new file mode 100644 index 000000000..5b8032247 --- /dev/null +++ "b/solution_student_challenge/\345\237\272\344\272\216OpenHarmony\347\232\204\344\270\212\350\202\242\345\272\267\345\244\215\346\243\200\346\265\213\350\257\204\344\274\260\347\263\273\347\273\237-\345\274\240\345\256\201/\345\237\272\344\272\216OpenHarmony\347\232\204\344\270\212\350\202\242\345\272\267\345\244\215\346\243\200\346\265\213\350\257\204\344\274\260\347\263\273\347\273\237\351\241\271\347\233\256.md" @@ -0,0 +1,89 @@ +# 基于OpenHarmony的上肢康复检测评估系统 + +# **一、背景介绍** + +在人口老龄化进程加速、残疾人口数量庞大以及慢性病患病率逐年上升的国情下,我国需要康复医疗的人数庞大,市场庞大,未来康复市场潜力无限。虽然我国康复市场需求巨大,但与发达国家相比,我国康复市场人均规模小。中商情报网的数据显示,美国目前康复医疗市场(含长期护理)规模已超2000亿美元(人均约800美元)。而我国康复医疗市场规模仅200亿元(人均仅约15元人民币)。随着政策完善、人们对健康需求的提升,以前面的保守估测的康复需求患者数量为依据,截至2020年,我国康复需求患者将突破1.5亿。则对应的康复市场规模将达55亿元。 + +# 二、项目痛点 + +我国康复医师占基本人群的比例为0.4:10万,与发达国家相比存在6.4万的康复医师缺口,康复医师严重供给不足,迫切需要新的康复方式来改变这一现状。而且市面上的康复设备大多数并没有配备专门的康复评估系统,无法对患者进行定量的有效的康复评估。 + +# 三、项目架构 + +本项目为基于OpenHarmony开源操作系统开发的上肢康复检测评估系统,致力于解决联合国 17 项可持续发展目标中的“良好的健康和福祉”。本产品主要用于辅助脑卒中患者的运动康复训练及其训练效果定量评定,创新康复方法,解决脑卒中患者训练过程中医师少、效果差的问题。本作品的整体框架如下图所示,该系统的硬件为协助患者康复训练的全肢体康复外骨骼系统硬件平台,软件由基于多算法融合思想的康复评估系统平台和人机交互平台组成,两者之间数据交互,互相配合构成基于OpenHarmony的上肢康复检测评估系统。 + +# 四、开发环境 + +采用基于OpenHarmony开源操作系统;采用C、C++语言为基础进行鸿蒙app的设计与开发;使用HUAWEI deveco studio终端开发工具,进行程序开发,产品调试,维护检验等操作,此外利用该终端开发工具实现可视化编程,对app页面进行美化调整。 + +# 五、设计思路 + +## 5.1使用动作捕捉设备实现康复训练动作的捕捉 + +硬件清单为32个传感器,1个HUB主节点,全身的传感器载具。传感器具备三轴陀螺仪,三轴磁力计,三轴加速度计。能实现欧拉角、四元数、位置坐标、速度分量、加速度分量的原始数据输出静态的精度为±1°~±2°HUB可以以60/120fps的速度向外输出数据。各个骨骼节点可以单独进行穿戴使用。 + +同时动作捕捉硬件可离线继续动作采集。系统中会显示各个传感器的状态及实时的动作显示。在连接设备之后可以对身体倾斜度、高级参数、骨骼尺寸进行调节以使系统实时动画正常显示及中间数据的处理。对于动作可以进行多种文件格式的导出,其中对bvh格式的文件及中间数据包进行实时的输出。 + +## 5.2基于OpenHarmony系统的数据分析处理 + +经过对数据提取设计数据可视化显示设计等满足数据分析处理的技术需求。其中,BVH格式为常用的动作骨骼数据文件类型,BVH中的数据主要用来显示简化骨骼人的动态显示,在Matlab中进行编程并实现计算每一帧的相对位置。Calc文件为动作捕捉中的中间数据储存文件,Calc中的数据用来使动作参数化,使用位置坐标及四元数坐标进行一个动作的始末位置之间的数学关系,从而来机器描述一个动作。对于两者的读取由他们各自的特点及使用位置进行适配性的优化。通过对两种的数据的共同合理使用实现多维度的数据处理。最后我们使用基于OpenHarmony系统的设备进行评估结果的反馈。 + +通过采用自适应DTW算法对患者动作时序数据进行自我压缩、膨胀操作的自适应变动,在小步数内收敛后仍能得到最优时序同步结果。相较于普通DTW算法能够更精准的时序同步动作,通过时序统一能够在系统中构建统一动作平台架构,在此架构上可进行更多动作评估操作。 + +标准值对比、健患侧对比、前后疗程对比多维度评估方法的综合性评估分析算法,相对单一方法适应性更强、适配性更高、误差更小、可信度更高。通过对患者的不同康复阶段,对各维度评估结果进行AI加权,做到数据融合性分析,综合性的分析结果使得患者和康复医师能够更加清楚、详细的了解到患者的当前情况。 + +# 六、实现原理 + +## 感知层 + +肌电传感器,弯曲传感器,微惯性传感器。这些传感器负责收集人体关节弯曲角度,三维坐标,位移速度加速度等运动数据,主要用于对患者康复训练的检测以及康复效果的评估。 + +## 传输层 + +运用基于HarmonyOS的小熊派开发板的2.4GHz WLAN SoC芯片Hi3861wifi传输模块,将传感器的数据通过wifi上传到华为云IoTDA平台,通过E53_SC2 MPU6050检测患者上肢康复运动的加速度,速度,角度等运动数据,并且利用IoTDA将检测到的数据上传到华为云并在云数据库中进行储存。采用弹性云服务器ECS搭建鸿蒙app后台,将患者的康复数据及康复方案反馈到鸿蒙APP上,反馈给患者和医师,有助于下一步康复方案的制定。 + +## 控制层 + +小熊派开发板集成Hi3861搭建传输环境及控制数据传输,也作为设备的控制板实现对设备的远程控制。结合了PWM算法,使对外骨骼的控制更加精准。通过使用华为云IoT的端侧规则引擎能力,将设备间的联动规则直接通过云端一键下发给设备,在设备之间通过OpenHarmony的分布式软总线,直接在端侧完成设备间的联动。 + +## 云应用 + +将上传至华为云IoT平台的数据通过华为云服务器转发至华为云数据库中,并在云端部署算法实现对多种传感器数据的融合和处理分析,并将处理后的数据通过Django传输到鸿蒙APP界面,最终以可视化的形式将患者的运动数据展示给患者和医师。 + +# 七、功能介绍 + +## 7.1鸿蒙APP“互联网+康复”全新模式 + +传统线下“医、治、护、患”面对面的沟通方式不仅效率低下,而且频繁接触也会增加交叉感染的风险,尤其在新冠肺炎疫情期间更是如此,使用APP远程进行医患沟通就完美解决了这些问题。实现了“医院(24小时康复管理)+社区(康复训练指导)+居家(康复效果监督)”的一体化服务模式,让康复服务真正“无缝衔接”。 + +患都出院后的管理和服务一直是康复医疗的薄弱环节,没有持续的康复训练将会影响在院康复效果,增加发生各类并发症的风险,影响患者生存质量,甚至危及生命。我们将标准的康复动作以视频教程的形式展现在鸿蒙APP界面,为用户提供每一个动作的精细讲解,让用户能够更轻易的掌握每一个动作。我们针对不同康复阶段的患者提供相应的具体康复教程和康复训练计划,使患者的自主康复训练更加科学高效。 + +## 7.2制定全定量标准进行评估 + +康复医师对患者进行训练效果评估时,是先确定一个康复标准,然后再进行方案制定、患者训练、效果评定。单一标准使得患者在康复过程中无法得到更好的评估,单一标准也使得评估误差较大。我们团队采用多种康复标准进行训练效果的评估,通过对Brounnstrom评定标准表的全定量化,使其能够适用于机器的参数化评估,使得整个评估过程数据化、结果更加的客观。通过对患者训练过程中的运动学参数和全定量中的标准参数进行对比,分析两数值间的误差,弥补康复医师主观性评估过程存在的不足。 + +## 7.3数据驱动式训练动作复现 + +常见的可视化动作都是以动画的形式呈现,只具有观看的价值,而我们使用捕捉训练动作得到的数据进行人形线图的驱动及模型人物的驱动,对患者训练过程中的动作进行更精准的复现,以供医师及患者对训练过程进行复盘检查,使得训练过程更加清晰,可视化动作的价值得以提升。 + +如图所示,使用CALC数据文件对人形线图进行动画驱动,来实现对患者动作的重现。在本部分将数据文件内容进行重新组合,按照自定义的模板驱动人形骨架。这种视图更适合医师进行具体观察。 + +## 7.4 按级别对比定量分析 + +相较于康复医师对患者动作的主观判断,使用本系统可对患者动作进行定量分析。医师的主观判断效果常常与医师的经验、知识储备相关,评估结果常常误差不稳以及无法确定误差,使得康复效率低,康复方案制定不能定制化。通过用患者动作和标准动作库进行数据对比分析,使得对动作的评估能够定量化。标准动作库由具有合格资质的医师进行动作数据录入,而患者动作也有动作捕捉设备进行数据捕捉。通过定量化分析,既可以提高评估精准度、康复效率,还可以在定量化结果的基础上实现康复方案的定制化。 + +DTW算法能将两个不同时间序列的动作序列同步为相同时长,Pearson相关性系数在计算时需要两个相同时长的数值序列。因此,本项目将DTW算法和Pearson相关系数计算结合起来,构建一种融合了Pearson相关系数的改进DTW算法,在本文中将其称之为DTW-P算法。该算法是通过将Pearson相关系数引入DTW算法中,DTW算法对不同序列长度数值同步序列后,再通过Pearson相关系数进行相关性分析,得到相关系数。 + +通过使用自适应DTW算法对患者的运动数据进行时序自适应同步处理,能够适应更多种类的评估方法,从而形成了标准值对比、健患侧对比、前后训练对比多种方法结合的数据融合综合性分析评估方法。患者动作与标准动作数据库内动作进行标准化对比,定量分析患者训练动作情况,定量化评估患者康复效果;通过自适应DTW算法能够让患者进行健康侧肢体与患病侧肢体进行同步时序对比,得到的功能缺失程度评定结果更加接近患者情况;时序同步情况下,患者能进行前后疗程中训练动作对比,对前后训练情况的分析能够更好的动态分析康复进程和康复方案效果,也为改进康复方案提供了参数化依据。 + +# 八、应用场景 + +本项目研究的是一款用于上肢、下肢以及手部康复的智能康复训练系统,可用于中风、肌肉、骨骼损伤患者的手臂和手指进行康复训练。疫情期间,人们只能居家隔离,一些老年偏瘫患者,特别是农村的患者,难以得到有效的康复治疗,而本项目通过康复检测评估系统将康复治疗变得随时随地,康复医师可远程监控患者的康复情况,以自主设计的仿生气动人工肌肉进行手部驱动,兼顾康复可调负载与关节柔性,以气缸作为手臂驱动,相较于传统的电机驱动康复机构具有操作简便、便于穿戴、施力柔和等特点。传统的康复训练需要患者本人前往医院,费时费力,耗费患者大量精力,同时也增加了患者的经济与心理负担。使用该项目研究的产品,患者可以在家中即可进行康复训练,加速患者的康复。 + +# 九、产品价值 + +现今市场中已经涌现出了大量的康复医疗设备,价格昂贵,功能单一,虽解决了患者的训练辅助问题,但无法定量评估康复效果,使得医师紧缺问题依然存在。相较于市面中的多样化的康复医疗设备,本团队打造了一套康复评估系统,康复训练评估系统与康复训练外骨骼设备形成软件、硬件的结合,构成闭环系统。此套产品具有患者康复、评估、效果预测、运动展示、结果反馈、优化康复方案等一系列功能,进而来帮助患者进行更高效高质量的康复训练,使得康复训练更加自主自动,填补市面评估系统空缺,解决了医师紧缺问题。 + +# 十、演示视频 + +【基于OpenHarmony的上肢康复检测评估系统】 https://www.bilibili.com/video/BV1Ud4y1G73z?share_source=copy_web&vd_source=a36cc6a6bbdeb2960cb2fb621bf0769b \ No newline at end of file -- Gitee