代码拉取完成，页面将自动刷新
同步操作将从 FlameAI/SIGer 强制同步，此操作会覆盖自 Fork 仓库以来所做的任何修改，且无法恢复！！！
确定后同步将在后台操作，完成时将刷新页面，请耐心等待。
————— 2022-01-14 —————
Elan一岚 14:05
我通过了你的朋友验证请求，现在我们可以开始聊天了
袁老师，您好！
我是王一岚，是北京听力协会秘书处工作人员，听力行业通讯小编。后台看到您的留言，非常感动，也替很多听障人士感谢您的关怀和支持[玫瑰]
请问您说的SIGER是微信公众号吗？非常希望能够学习一下[玫瑰]
袁德俊 14:16
袁老师您好！感谢您对我们的关注。非常感谢转载和对听障群体的关注。方便的话请您添加听力行业通讯编辑微信号，我们进一步沟通：1851155。再次感谢！袁老师您好！感谢您对我们的关注。非常感谢转载和对听障群体的关注。方便的话请您添加听力行业通讯编辑微信号，我们进一步沟通：1851155。再次感谢！
Elan一岚 14:19
请问这是？
袁德俊 14:20
这是一份美好的祝愿，愿听障健康不在烦扰人类 [抱拳] 人类将运用听力科技各个变成顺风耳，拥有读心术[憨笑]
这个听力科技的选题的截止日是3月3日。也有33代表听障人群的意思。这是一组六宫数独，名曰吉祥数独，我火焰棋实验室的人工智能作品，每组题均可被赋予寄语意义，用于祈福，顺利通关，愿望必成。送给您。
也祝您新年快乐 2022 工作生活更上一层楼！[太阳]
您如果愿意，帮我想一个2-4个字的寄语，为这组题命名，就完美了今天。
最好是和听障相关人群的。
适合
https://gitee.com/blesschess/luckystar/issues/I4D7DW 这是有关吉祥数独的故事背景。
https://gitee.com/flame-ai/siger 这是我们的科普期刊，您可以看其中的任一期，都是刊例。
今天协会发的一片推荐天悦的科普文章，挺全面地介绍了市场环境。我们有一款 面相 RISC-V 研发的 FPGA 开发板，可以尝试 围绕这个领域组织一批 开源项目，软硬件结合。真刀真枪地操练起来，是深度科普啦。
初次见面，信息量有些大，等我们的期刊问世，再详谈。
Elan一岚 14:29
袁老师，信息量确实很大，而且已经超出我的认知范畴了[偷笑]您的祝福、礼物、信息收到了，我会认真学习。再次感谢～也希望之后有多多合作的机会[愉快]
袁德俊 14:30
[抱拳] 两篇文章，我一并转发。今明两天，2021补充稿件就基本弄完了，33 主题作为 2022 第一期 送给所有听障人群的福音。
Elan一岚 14:30
感谢转发与支持[抱拳]
袁德俊 14:30
等您的吉祥语
2-4字。
Elan一岚 14:35
耳听佳音
感谢[玫瑰]
袁德俊 14:36
第9题是法螺，法音悠扬之意 [抱拳] 您可以重点关注！
「Elan一岚: 耳听佳音」
—————————
[玫瑰]9题通关，此愿则成!
「袁德俊: 健康听力技术论坛｜郑成诗：低时延深度学习语音增强方法及应用」
—————————
「袁德俊: 健康听力技术论坛｜梁瑞宇：数字助听器关键算法研究现状与展望」
—————————
袁德俊
拥有者
袁德俊 16:21
[自研国产MCU、FPGA的背后：这家公司的故事你绝对想不到！: http://mp.weixin.qq.com/s?__biz=MjM5NDQ0NjM5Mg==&mid=2650491219&idx=1&sn=e82796a01b0a2109fd5b38b53b0492e9&chksm=be88440489ffcd1244d353f9ab36c070c005ada2c188ef24e5f69f8206d272cbc1734bc2510a&mpshare=1&scene=1&srcid=1014gmncdQGimXme7Gi5Q7D9&sharer_sharetime=1645172456787&sharer_shareid=b96734bb797d99630e66735e62f56980#rd]
袁德俊 16:21
国家政策逐渐利好电子行业，作为公司也要回馈社会，建立社会责任，传播正能量。曾昭斌表示， 2017年底，复旦微电子集团携手上海市慈善基金会，捐助“花儿绽放——听障儿童人工耳蜗”项目。公司成立“复旦微电子集团专项基金”每年出资100万元，赞助家境贫困的重度聋儿装置人工耳蜗，使孩子们能最大限度地重建听力。2019年联合上海市聋儿康复中心、上海音乐学院等机构成立的上海市第一支全部由听障儿童组成的合唱团——“蜗牛宝宝合唱团”。
付斌 21ic电子网 2021-10-09 16:10
网站：21ic.com
从自掏腰包拼凑六百余万元，再到实现行业多个第一。从50平的小房间，到别人的水房，再到海内外多家分公司或办事处。 在这样的环境下，这些人不仅不觉得艰苦，反而觉得很得意和与众不同……那段时期或许你没经历过，但你现在仍要感谢国产化的先驱们为现代的电子行业的耕耘。
或许你听说过复旦大学，但没听说过上海复旦微电子集团股份有限公司（下文简称“复旦微电子”）的故事。这是一家从事超大规模集成电路的设计、开发、测试，并为客户提供系统解决方案的专业公司， 其自主研发的MCU和FPGA产品是广被电子行业传颂的精良之作。
经过前两年的国际形势影响，电子行业在国产化话题上讨论度越来越高。产业国产化进程愈发向上，自主产品越做越好，复旦微电子就是这样一家企业。21ic记者对话了复旦微电子集团副总经理曾昭斌为读者揭秘背后的艰辛。
曾昭斌为记者介绍：“我们的集成电路设计工作能够达到现在这样一种水平，可以说是凝聚着几代人的智慧，几代人的心血。享有世界盛誉的我国著名物理学家谢希德教授，50年代从美国回来，就很有战略眼光地在复旦大学开创了半导体物理的基础研究；复旦大学专用集成电路与系统国家重点实验室创建人之一叶仰林教授，不仅学术造诣深厚，而且非常富有开拓创新精神，当时的实验室是叶仰林教授向复旦大学贷款100万元建起的，他认为 芯片设计外国人能做,为何中国人就不能做呢 ? ”
1994年,始终牵挂实验室的创始人施雷正式与叶仰林教授谈了自己的思路,可惜第二年叶先生就去世了,这件事也就暂时搁浅了。此后的几年,施雷还是念叨着实验室的事。直到1998年,施雷与当时的实验室副主任俞军谈了5分钟,就达成了组建复旦微电子的意向，在公司内部被戏称“五分钟决议”。可以说， 是三代人的努力造就了今天的复旦微电子。
图1：经过三代人的努力，复旦微电子正式成立
1998年7月，一群受过高等教育、有实际工作经验且在国内半导体行业中知名度较高的优秀青年， 放弃出国机会，激扬着报效国家的崇高理想， 满怀着追赶世界微电子行业制高点的雄心壮志，汇聚在黄浦江畔的一个院落， 在国家没有投资一分钱的情况下， 他们自掏腰包，拿出各自积蓄，拼凑了六百余万元，成立了中国集成电路设计业第一家发起式股份公司。
公司刚成立时条件比较艰苦，最早的办公地点是在复旦大学一个50平的小房间里，人员扩充后，又陆续租了两个“办公房”，一个在教学楼里，另一个则在别人的水房里。但是 这群满怀理想的年轻人们不认为在水房办公艰苦，反而很得意，觉得很与众不同。
图2：50平米的水房，成了创造国产自主品牌的坚实阵地
经历过艰苦，也乐在其中，但复旦微电子的志向远不于此。曾昭斌告诉记者， 集团致力于创立一家受人尊重，让员工可以过上体面人的生活的企业。 体面人的生活包括有一套舒适的房子、一辆漂亮的车子、一个不说违心话的地方。这是复旦微电子创立的初心，也是企业一直坚持的文化。
公司发展至今，复旦微电子集团已形成安全与识别、智能电表、非挥发存储器、智能电器、可编程器件FPGA、互联网创新六大成熟的产品线和系统解决方案，产品行销30多个国家和地区。在海内外设立多家分公司或者办事处，包括香港公司、北京办事处、深圳办事处、台湾办事处、新加坡办事处、美国公司等，扩大市场触角，加强与海内外各地的联系，推动企业的不断发展壮大。
除了各个细分领域、专业条线的奖项、荣誉外，复旦微电子集团还是上海市高新技术标杆企业和知识产权示范企业，也是国家认定的博士后工作站企业和国家规划布局的集成电路企业，曾多年担任国际特殊奥林匹克运动会指定技术赞助商。
图3：复旦微电子集团总部大楼
道路不会一马平川，国产化自主研发面临的困境远超我们的想象。曾昭斌说：“我们坚持走正向设计自主研发的道路，但 自主研发会面临诸多的挑战，尤其是对于高端复杂的芯片。 ”
一方面是研发投入高 ，国外企业占据大部分市场份额之后，可以通过规模效应有效的分摊研发成本，而国内企业在这方面风险承担能力就比较薄弱。
另一方面是除了芯片本身，还需要进行生态建设。 比如我司的FPGA芯片、MCU芯片和人工智能芯片，都存在一个生态的问题。赛灵思、TI公司、英伟达公司的GPU，CUDA生态是一道很深的护城河，而新兴国产芯片企业想要有所突破，不但需要在芯片技术上进行创新，也必须建设相应的应用生态。
更加让市场复杂化的是，地缘摩擦下，加速了中国半导体产业的自主化发展，国产化替代成为了不可不聊的话题。对此曾昭斌坦言，近年来受外部环境的不稳定因素影响， 国内芯片行业遭受了国外专利壁垒、标准壁垒、贸易壁垒等“卡脖子”制约。
这对行业来说是挑战，也是机遇。近期国家印发《新时期促进集成电路产业和软件产业高质量发展》，提出中国芯片自给率要在2025年达到70%，为国产芯片公司的自主发展带来了巨大的发展空间。
一系列举措让“国产替代”成为了近年来的热点话题，但对复旦微电子来说，早在上个世纪成立初期， “做中国人自己的芯片”的理念就已深入每个复微人的心中。 公司“以发展中国微电子事业为‘己任’”，致力于研发让市场认可的国产芯片，时至今日获得了广大客户和市场的认可。
以智能电表为例，过去国内市场基本由欧美日系进口芯片绝对垄断。而经过20多年的深耕，复旦微电子的单相表市场占有率现已超60%，自主研发的高可靠工业级主控MCU实现了核心元器件国产化。通用型低功耗MCU也得到市场的肯定，目前已在智能水气热表、安防消防、智能家居、健康医疗、可穿戴设备、工业控制等多个领域实现量产。 截至2020年底累计销售4.5亿颗。
图4：复旦微电子推出的FM33G0XX系列通用MCU
除了MCU，最让曾昭斌自豪的颠覆性产品就是自研FPGA。根据他的介绍，公司致力于为人工智能产业提供底层算力平台支持和通用计算加速架构。在可重构器件（FPGA）方面，公司经过长期积累，具备了国内领先、国际先进的技术水平，先后完成了国内首款千万门级FPGA、国内首款亿门级FPGA、国内首款亿门级PSOC芯片的突破。
图5：FMQL45AIT（简称青龙筋斗云），国际首款自定义全新架构的可重构AI芯片
公司在2019年，推出了 首款面向人工智能的可重构芯片——FPAI（FPGA+AI）芯片。 该芯片创新性的集成了大容量可编程逻辑、高性能AI加速核心和多核处理器系统，在保证强大AI算力的同时，还为用户提供了灵活可配置的算力资源。高效灵活的FPAI芯片方案、快速部署的平台方案和软硬一体的完整方案，公司将为客户提供了多方位的AI解决方案，帮助用户在人工智能时代成就未来。
虽然芯片真的那么“难”，但复旦微自成立以来始终坚持自主创新的道路，通过技术和产品的革新来推动企业的发展。复旦微成立专门的研究院，该部门员工近200人，独立于各大产品线，主要研究世界各项前沿技术，通过最新的技术研究来推动项目的进程和落地：
1、复旦微电子联合申通地铁集团及高晶检测科技股份有限公司推出的智能识别X光机系统，能够直击目前人工安检的痛点，通过神经网络识别技术，每一台X光机都可以变身为一个经验丰富的安检人员，以硬件形式呈现的智能X光机安检系统，能够24小时不间断地、稳定地工作。
2、复微神经网络智能检测系统由复微神经网络技术和智算平台组成。我们模拟安检人员的工作方式，利用“图像识别技术”来对经过安检机的X光图片进行识别，检测其中的违禁品。采用“卷积神经网络技术”（ConvolutionalNeuralNetwork）相关技术，可以检测到图片中的物品类别及其位置，并在图片中画出对应的提示框。通过十万量级数据的训练，对网络结构进行不断地调整，能达到对六大类违禁品超肉眼的识别精度。
3、智算平台是复旦微电子磨砺3年研发出来的一款针对CNN卷积神经网络的基于FPGA的深度卷积神经网络加速平台，具有高算力、低功耗的加速效果，提供高达1TGOPS的算力，灵活的支持VGG、YOLO、FaceNet等主流深度神经网络等优势。智算平台配合智能识别X光机，以150ms处理每张图片的速度，帮助安检人员在复杂场景下识别各类物品，从而保证鉴别结果，极大提高安检效率。
当然，除了困境和坏消息，好消息也不断激励着电子行业蓬勃发展。经历种种打压，国家举措逐渐电子产业倾斜，这也为行业带了新生机。曾昭斌告诉记者， 随着国家的重视和资本的涌入，行业的整体发展进程将显著加快，市场需求会呈现出多样化和高端化的趋势，对应产品和技术的迭代也需要跟上市场步伐。 举例来说，信息安全领域一直以来广受关注，通信技术的发展和云时代的到来更是对其提出了极高的需求。
应此市场需求，复旦微电子开发了包括基于国际加密算法标准SM9等在内的多种密码算法安全实现方案，这些方案可用于网络摄像头的增强身份认证、数据传输加密等。其中， SM9是中国首个列入国际标准的加密算法，是一款适于IoT需求的轻量级算法防护方案。 而复旦微电子研发的PUF（物理不可克隆防伪）技术实现了国内首个量产PUF芯片，结合区块链实现了可溯源的唯一性认证平台（UIVS）。
PUF技术现已广泛应用于国台酒防伪、油罐防伪、京东商城正品追溯、进口高端葡萄酒、艺术品防伪等高端市场，获得了客户的一致认可。而在复旦微电子的安全实验室内，不仅会对基础算法进行开发，还会对算法在系统的应用和效能作为基础技术研究。此外， 复旦微电子还会研究芯片安全攻击方法，以“矛”试“盾”，从而验证与确保产品可靠性。
另一方面，国家提出了新基建的长期发展战略，并不限于某类具体产品的实现，其目的更多是预先研究布局，做好产业必须的基础准备工作。而这与复旦微电子长期以来的发展策略不谋而合。在23年的发展历程中，集团始终坚持对前瞻领域的基础技术进行布局。 同新基建一样，针对集团整体发展产品定位、自身技术积累、人员结构以及后期发展方向，修炼“内功”，并依托此进行产品和技术创新。
以存储领域为例——复旦微电子具有长期存储的技术积累，从机理、产品、设计方面对技术都拥有深刻的理解，无论在嵌入式还是通用存储市场都具有了很好的口碑。而作为集团的核心基础技术之一，存储技术广泛应用在电力电子、FPGA、安全识别事业部、存储等产品线及领域。而得益于集团对于存储技术的前瞻布局和研究，复旦微电子也成为了全球领先的NVM供应商，现已形成EEPROM、SPINORFlash、SPINANDFlash、专用存储器四大产品线，也是国内非挥发存储器产品线最完整的公司之一。
国家举措逐渐利好电子行业，作为公司也要回馈社会，建立社会责任，传播正能量。 曾昭斌表示， 2017年底，复旦微电子集团携手上海市慈善基金会，捐助“花儿绽放——听障儿童人工耳蜗”项目。公司成立“复旦微电子集团专项基金”每年出资100万元，赞助家境贫困的重度聋儿装置人工耳蜗，使孩子们能最大限度地重建听力。2019年联合上海市聋儿康复中心、上海音乐学院等机构成立的上海市第一支全部由听障儿童组成的合唱团——“蜗牛宝宝合唱团”。
骨子里有着“顶天立地”的宏伟蓝图和格局的复旦微电子，在“做中国人自己的芯片”的理念下，正在谱写国产化的新篇章。
▍推荐阅读：
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
袁德俊
拥有者
语音是人与人之间进行信息沟通最直接、最方便和最有效的方式。语音在空气中传播，在被麦克风拾取之前或者到达人耳之前，会受到各种环境噪声和风噪的影响，降低语音质量和可懂度，提升听者疲劳感和烦恼度。由此，语音增强成为语音信号处理的重要组成部分，目前已受到广泛的关注、研究和应用。
噪声的种类繁多且动态范围大。根据《中华人民共和国环境噪声污染防治法》的分类，环境噪声包括交通噪声、工业噪声、机械噪声以及社会生活噪声等，这些噪声都会影响语音质量和语音可懂度。
值得一提的是，针对语音应用场景，即便是音乐也属于噪声；而在户外应用场景，风噪作为一类特殊的噪声，会对户外语音通话、助听器和人工耳蜗等产品产生严重的影响。
相比较而言，语音信号语谱图是结构化的。这是由于语音是由人的发声器官产生，语音信号的产生过程是可以进行数学建模的，其模型主要由三部分组成：
根据声带是否需要振动，把语音分为清音和浊音：清音能量主要集中在中高频，表现出随机性；浊音具有谐波结构，表现出一定的确定性。
语音与噪声的差异，为从带噪语音中提取语音奠定了基础。传统语音增强方法通常有四个假设：
依据假设四，传统语音增强方法通常只估计纯净语音的幅度谱，并结合带噪信号的相位谱合成增强后语音时域信号；依据假设二，传统语音增强方法在纯噪声段估计噪声谱，或者采用最小统计特性的噪声谱估计方法及改进方法；依据假设三，传统语音增强方法通常采用各频点各自处理的方式。受限于硬件算力和当时人工智能技术水平，这四个假设在很长一段时间，起到了促进语音增强研究、发展和应用的积极作用。然而，随着人工智能技术的进步和芯片制程及其算力的不断提升，这些假设需要被打破才能实现语音增强性能的飞跃。
早期的深度学习语音增强方法率先打破了假设二和假设三的限制，但是依然保留了假设四，因而早期深度学习映射的目标依然是语音增强的增益因子、幅度谱或者对数谱。
随着深度学习语音增强网络建模能力的不断提升，假设四的限制也被打破，研究者发现深度学习映射纯净语音的实部和虚部，比映射幅度谱具有更优的性能，其本质是估计纯净语音幅度谱的同时也估计了纯净语音的相位谱。
相比于传统语音增强方法， 深度学习语音增强方法 在性能上具有绝对优势，不仅可有效抑制强非稳态噪声，而且可以显著降低语音失真，从而显著提升语音质量和可懂度。
绝大多数语音增强方法都采用分帧模式，且采用重叠相加法(OLA, OverLap-Add)重建增强后语音时域信号，其时延由帧长决定。过大的帧长，将导致处理时延过大；而过短的帧长，会导致频率分辨率过低，从而影响语音增强性能。
现有的语音增强方法为了保证性能，其时延大多在20ms以上，这限制了其诸多应用场景。例如，具有通透模式的TWS耳机、助听器产品以及扩声系统，都对 时延 提出了极高的要求，如果能将时延控制在 10ms、5ms 之内甚至实现 无时延 (Delayless)，将可极大提升用户体验，拓宽语音增强的应用场景。
低时延语音增强研究甚少，仅有少量学者关注了这个问题，并进行了一些方法上的尝试。德国学者提出了一种称之为 滤波器组均衡 (FBE, Filter-Bank Equalizer)的方法，通过两步法实现低时延目标：
FBE方法存在 两个问题 ：
尽管研究表明，相比于时延较大的传统语音增强方法，FBE方法性能与之相当，并没有明显的退化；但是，和现有的深度学习语音增强方法相比，其性能相去甚远。
近期，我们提出了一种 基于深度学习的滤波器组均衡方法 ，即 Deep FBE ，沿袭了FBE方法的两步法思想，并采用深度学习方法解决了FBE方法存在的问题。
Deep FBE方法第一步采用深度学习方法映射每个子带的增益因子，第二步采用深度学习方法隐式映射时域滤波器，并采用重叠保留法(OLS, OverLap-Save)重建增强后语音时域信号。
相比于FBE方法，我们提出的Deep FBE方法既能抑制非稳态噪声，也能显著降低信噪比较低的时频点的语音失真，有效地解决了FBE方法的两个问题，实现了 深度学习低时延语音增强 的目标。
深度学习语音增强方法取得了卓越的性能，在一些较高功耗的高性能芯片上逐渐替代了传统语音增强方法。然而，深度学习语音增强方法的运算复杂度依然较高，所需的存储资源也更大。
将深度学习语音增强方法直接应用于要求极低功耗的产品，如助听器，还需要解决其运算复杂度和模型存储所需的资源问题。实现一种低时延低复杂度的深度学习语音增强方法，具有重要意义。
Q: 请问深度学习降噪方法是否已经商业化，市面上有助听器使用深度学习的技术？
目前有商业应用了，不管是耳机这种低功耗产品，还是在PC上都有应用了。
Q: 辅听或助听设备的降噪如何平衡环境变化带来的目标改变的问题，例如在街道上鸣笛声就是需要被佩戴人员听到的，对人具有警示作用，但是在交谈或者室内鸣笛声就需要被降噪将掉？
警示音可以作为目标信号，不作为噪声抑制。
Q: 相位的非结构化特征，如何进行深度学习，有什么好办法或者注意点吗？
估计纯净语音的实部和虚部，隐含估计相位。
Q: 在增强后对原人声有损伤情况下，怎样优先保证可懂度允许一定噪声残留情况下进行降噪呢？有相关技巧吗？
语音增强采用MMSE的话，每个频带失真的权重是一样的，可根据听力损失情况，采用Frequency-weighted的MMSE。
Q: 实部+虚部与幅值+相位的训练形式会有区别吗？
没有采用幅度相位做输入的模式。我们修正相位，其实估计的是实部和虚部的残差，也就是补充第一步幅度估计的不足。
Q: 请问降噪后导致噪声不平稳，语音段会有残留噪声，这种情况有什么好的解决方法吗？
深度降噪残留噪声不平稳的问题较小，传统方法一般只能抑制稳态的部分，会导致残留噪声更不平稳。
第一季图文总结
随着TWS耳机的飞速发展、辅听产品技术的日新月异，以及美国FDA发布OTC助听器草案的政策驱动下，未来五年，助听产品和辅听产品的跨界与整合将成为主流趋势。
在行业变革时代背景下，北京听力协会主办了「健康听力技术论坛」，长期为大家提供发声的平台。论坛持续以每期两位嘉宾、不固定更新上线的形式长期举办。
期待声学领域、TWS领域、辅听及助听领域的专家、学者，以及产业供应链上中下游多方代表积极参与论坛并发表演讲。我们希望通过论坛的举办，搭建行业平台，促进产品变革，推动技术发展，为轻中度听损人士及健听人士提供更合适的听力保护及听力辅助方案，实现「全民健康听力」这一终极目标。
作者：郑成诗
编辑：Elan
排版：Elan
郑成诗：低时延深度学习语音增强方法及应用
- 中国科学院声学研究所研究员、博士生导师
- 中国科学院大学岗位教授
- 中国科学院青年创新促进会会员
- IEEE高级会员
- 德国埃尔朗根-纽伦堡大学访问教授
单通道语音增强（信号模型）
时域信号模型
$y(n)=s(n)+d(n)=s(n)+d_{ns}(n)+d_{st}(n)$
频域信号模型（分帧加窗+FFT）
$Y(k,l)=S(k,l)+D(k,l)=S(k,l)+D_{ns}(k,l)+D_{st}(k,l)$
$|Y(k,l)|exp(j\angle Y(k,l))=|S(k,l)|exp(j\angle (k,l))+|D(k,l)|exp(j\angle D(k,l))$
传统单通道语音增强假设
Noise + Speaker => Microphone => Speech Enhancement Algorithm(Adaptive) => Enhanced Speech Signal
欠定问题
Each T-F Bin is Independent
基于统计信号处理的低时延语音增强方法(FBE)
最小时延由帧移决定，而非帧长决定
线性相位滤波器，FIR滤波器具有对称性，FIR长度不超过两倍允许时延对应的点数两倍
$x(k)$ -> time-domain filter ($h_s(k,k')$) -> $y(k)$
-> analysis filter-bank with downsampling
=> $x_i(k')$
-> calculation of gain factors
=> M $W_i(k')$ => $T{W_i(k')}$ => $L+1$ / $w_n(k')$ <= $h(n)$
H.W. Loilmann and P. Vary. Uniform and warped low delay filter-banks for speech enhancement. Speech Communication, 49(2007)574-587.
基于深度学习的低时延语音增强方法 (Deep FBE)
Deep FBE
C. Zheng, W. Liu, A. Li and X. Li. Low-latency Monaural Speech Enhancement with Deep Filter-bank Equalizer. J. Acoust. Soc. Am., Submitted.
袁德俊
拥有者
听力障碍被WHO定义为“无声的流行病”。WHO2021听力报告指出，目前全球的听障人口有15亿。 我国65岁以上的听障人口有5000万，只有5%的患者使用了助听器，这一数字远低于西方发达国家的助听器使用率。 目前全球助听器的市场份额几乎由五大助听器集团垄断，总占比为95%。
造成这一现象的主要原因包含以下几点：
2008年，由WHO、哈佛大学、霍普金斯大学、和昆士兰大学共同牵头，成立新一轮全球疾病负担（Global burden of diseases，GBD）评估工委，该组织发布了听力障碍的分级标准。按听力阈值（听力较好耳在500Hz、1kHz、2kHz、4kHz的平均听阈）分为正常听力、轻度听损、中度听损、中重度听损、重度听损、极重度听损和全聋7类。WHO2021听力报告采用这个标准。
要想从算法角度来提升助听器性能，我们需要从信息的角度来理解听力损失，主要包含几个方面：
频率分量缺失 ：在言语识别过程中，听力障碍者可能听不到某些频率的声音，因此在理解言语上存在困难。如果不能针对患者缺失的频率分量进行放大，听障患者往往觉得很吵闹，但是依然听不清语音。
动态范围减小 ：听力动态范围是指人耳能够听到的最小声和不能忍受的最大声之间的差，即不适阈与接受阈的差值。尤其对感音神经性听损患者来说，其接受阈的变化远比不适阈的变化明显，从而导致此类患者的动态范围小于正常人。
频率解析度降低 ：正常人耳蜗的不同位置解析不同频率的声音，使得听觉中枢可以精确区分声音的频率。由于听损患者的外耳毛细胞丧失了部分功能，导致耳蜗对声音的频率解析度降低，听障患者往往不能区分频率较为接近的语音分量与噪声，从而使大脑无法获得足够的信息区分语音与噪声。
时间解析度降低 ：正常人耳可以利用在噪声低时听到的语音片段理解语言。而听损患者对声音的时间解析能力下降，导致噪声对语音的掩蔽效应持续时间更长，患者无法得到噪声间隙中的语音信号，从而降低患者的语言理解度。对这种情况，助听器应能快速跟踪语音信号，当语音分量弱时及时进行放大，从而减小噪声掩蔽语音的情况。
虽然助听器始于20世纪40年代，但是一直是一个比较小众的研究领域。近年来，耳机、智能终端企业正逐步杀入这片技术的蓝海。2017年，FDA正式批准OTC助听器在柜台进行销售，可借助APP实现自主测听与调试。此外，人工智能技术大大提升语音降噪效果，从而打破噪声环境下的听障患者言语识别率低的瓶颈。
一个完整的数字助听器涉及的核心算法通常包括 啸叫检测与抑制、非线性响度补偿、语音降噪和自适应回声消除 。
非线性响度补偿算法：由于听损患者对声音的敏感程度随频率变化而不同（用听力图表征），故数字助听器应针对不同频率的听力损失和输入信号的强度计算不同的信号增益。涉及的核心技术包括滤波器分解和助听器处方公式等。
语音降噪算法：降噪在语音研究领域是一个永恒的话题，提升患者在噪声环境下的言语理解度是影响患者助听器满意度的关键指标。时域降噪方法包括增益衰减和噪声估计；频域方法常见的有维纳滤波法和谱减法；新兴的基于人工智能的降噪技术如RNN，LSTM取得了不错的降噪效果。
啸叫检测与抑制算法：数字助听器在使用时，其受话器输出的语音可能通过耳道、助听器外壳和外界环境返回被麦克风接收，从而形成闭环回路。当整个系统的闭环增益上升并形成正反馈时，回声产生。回声是助听器使用中的一个普遍问题，轻则影响语音质量，严重时产生啸叫，损害患者的残余听力和硬件设备。常见的啸叫检测方法多基于信号特征进行判断，比如基于峰值-均值功率比，峰值-谐波功率比，峰值-邻值功率比等，而采用抑制方法包括增益衰减与陷波器等。
自适应回声消除算法：啸叫检测和抑制更多的是一种补救策略，而更有效的方法应该是在啸叫出现前进行抑制，而自适应回声消除基于此策略而设计的。回声消除算法能自适应地估计出回声路径，进而估计出回声信号，达到消除回声、提高助听器最大增益的目的。经典算法包括LMS，NLMS等，但是对于助听器来说，由于期望信号和输入信号的相关性，使得传统自适应算法无法产生较好效果。通常的处理策略是进行信号去相关，包括延时，移频，引入全通滤波器等。
除了上述助听器基本算法外，现代化的数字助听器还会包含一些辅助算法。一些代表性的算法如下：
场景识别算法：场景识别算法通过对音频环境进行检测并识别，从而使助听器能根据不同场景进行参数切换。早期分类包含安静、语音、噪声、语音+噪声、音乐四类，而一些助听器厂家在此基础上会进行延伸。主要有基于特征（振幅调制、频谱包络、音高、振幅起点等…）和基于机器学习的两类方法。
方向性增强算法：数字助听器的方向性语音增强主要利用麦克风阵的空间信息和声源位置减小特定方向的噪声和干扰声，从而提高助听器使用者的言语理解度。但是受助听器体积限制，通常一阶定向麦克风或自适应麦克风的3-5dB的信干比并不能满足要求，这推动了二阶定向麦克风和麦克风阵列的发展。
移频助听算法：大部分的听损患者高频听力损失都比较严重，这就意味患者可以很好的感知低频声音，而对高频听的很少甚至根本听不到。而高频增益会受声反馈，功率和耳蜗死区限制，不能过大，因此移频技术被设计来解决该问题。常用的移频方法主要包含慢放、声码器、频移和频率压缩四类，目前常用的移频方法主要是后两类。
自验配算法：传统助听器依靠听力专家的验配经验和专业技能来调配算法参数以尽可能达到最佳的工作状态。这种完全依靠专家水平的验配方法低效且难以有效传承，具有一定局限性。改善这一情况的策略之一是研究一种可以辅助听力专家进行助听器调配的方法，比如助听器根据患者情况，自动评估或患者反馈语音质量，从而自动更新算法参数。目前自验配策略有问题引导式和智能推理式两种。
简介
重要事件：
主要特点：
OTC助听器适用于18周岁以上，听力损失轻到中度的成年人，不能用于儿童或听力损失严重的成人。带动各种类型患者自我参与服务和听力项目的可能性，包括网络听力自我检测、互联网助听器自我验配和调试、互动助听器的推广、助听器效果的自我评估等；
相比于传统助听器，OTC助听器主要面向轻度-中度听损用户，增益较小，主要由用户自己验配，无需专家验配，可通过大众消费渠道购买，不属于国家药品监督管理局监管。
OTC助听器相关指标
2021年FDA关于OTC助听器的提案中提到的指标包括：
理论研究
课题组参与东南大学牵头的国家重点计划，与国内知名机构合作面向助听器相关技术进行理论和算法研究。主要研究内容包括：构建测听和验配大数据、研究高性能助听器算法、探索OTC助听器算法方案和积累临床病例。目前研究团队已获批团体标准两项：《T/CARD 022—2021成人纯音听力筛查方法》和《T/CARD 017—2021个人听力信息数据格式》，发表高水平论文10篇，授权发明专利4项。
在OTC助听器算法研究方面，团队主要关注三个方向：
芯片研发
课题组与南京天悦电子科技有限公司、东南大学一起合作研发多款国产低功耗助听器芯片。南京天悦电子科技有限公司于2018年11月成立，是一家致力于高性能、低功耗微处理器研发、音频采集与专用集成电路研发的高科技公司。团队拥有强大的软硬件实力，为国内医疗级助听器、OTC非验配助听/辅听器、TWS/蓝牙耳机及方案商提供核心芯片及完整的解决方案。
2019年，设计的数字助听器芯片通过江苏省电子学会科技成果鉴定，技术和产品达到国内领先水平。
2021年，由南京天悦团队自主研发的一款高性能低功耗数字助听器芯片HA601SC正式投入量产。HA601SC在MCU+DSP的架构下，采用全面的低功耗设计技术。芯片载有一颗32位的RISC-CPU，具有指令丰富易用、执行效率高的特点。双MAC结构的DSP核内置多通道DMA控制器和多运算加速器，实现快速、高效的运算响应。芯片还集成了2路16bitADC，1路内置的Class-D功率放大DAC及多重外设接口，具有较灵活的可扩展性。配合丰富完善的固件库和可编程特性，厂商可设计出符合需求、效能兼顾、应用广泛的数字助听/辅听产品。
南京天悦诚挚欢迎国内外相关企业和研究单位共同帮助更多听障患者乐享健康生活，为助听器市场构建健康发展生态。
Q: 助听器硬件怎么评估好坏呢？有什么重要指标吗？
针对助听器的电声特性，有专门的国家标准GB/T 25102.100-2010《电声学助听器 第0部分:电声特性的测量》，里面有比较详细的说明和测量方法。
Q: 目前市面上有完全国产芯片的助听器产品吗？
有的。比如南京天悦电子科技有限公司除了研发芯片，也做整机助听器。
Q: 梁老师刚才提到的公式，各大厂家都在研发适合中国人的处方公式，梁教授比较推荐哪些处方公式呢？
目前最常用的处方公式就是NAL-NL和DSL。但是不同厂家都会根据产品进行调整。
Q: 助听器是不是通道数越多越好？一般业内是多少通道？
个人觉得不是越多越好。现在业内普遍都支持16通道。
Q: OTC助听器算法，免验配全数字助听器的进展如何？难点在哪里？
我们团队的针对免验配助听器的研究主要分为建立助听器验配数据库，基于听损分类，言语质量评估等方面。目前研发的难点，验配数据的分析和有效性评估。
1
梁瑞宇：数字助听器关键算法研究现状与展望
- 南京工程学院教授
- 南京天悦电子科技有限公司语音与智能技术研究院院长
- 主要研究方向助听器声信号处理
造成65岁以上的听障人口助听器使用率低的主要原因包含以下几点：
助听器关键算法
多麦信号 => 方向性增强
=> 场景识别 => 啸叫检测与抑制 -> 子带分解 -> 语音降噪 -> 非线性响度补偿 -> 子带综合 -> （核心算法）自适应回声消除
=> 移频助听 => 助听信号
非线性响度补偿算法：
自验配算法：
问题引导式：
只能推理式
理论研究
芯片研发 （天悦 HA601SC | HA330G）
HA601SC（MCU+DSP）
HA330G 芯片架构
IBUS
DBUS
Reset & Clock - SysReset
Power Management <- AVDD | VDDD | VDOIO
东南大学举行“便捷听力筛查系统及智能听力康复辅具研发与应用示范”项目启动暨实施方案论证会
来源: 作者: 东大技术转移中心 发表时间: 2020-09-01
8月30日，由东南大学牵头承担的国家重点研发计划项目——“便捷听力筛查系统及智能听力康复辅具研发与应用示范”项目启动暨实施方案论证会在南京举行。会议聘请了江苏省人民医院卜行宽教授、中国残疾人辅助器具中心董理权副主任、北京市耳鼻喉科研究所刘莎教授、中国听力语言康复研究中心龙墨教授、南京航空航天大学陈华伟教授作为咨询专家，东南大学副校长丁辉、科技处高新办主任刘威、财务处相关老师和项目组参与单位骨干及成员30余人参加了会议。
该项目由东南大学牵头，项目组集中了国内助听器研发生产、临床听力检测、声信号处理和辅具示范推广领域的一流高校、研究所、医院与企业，参与单位包括东南大学信息科学与工程学院、中国科学院声学所、中科院计算所、 301医院、南京工程学院、杭州爱听科技、武汉豆听科技有限公司等。
关于国家重点研发计划“主动健康和老龄化科技应对”重点专项2019年度拟立项项目安排公示的通知（6月19日）
2020年7月19日23:48:32来源：科技部2,829 views 2062字阅读6分52秒
根据文件要求，现将“主动健康和老龄化科技应对”重点专项拟立项项目信息进行公示。
公示时间为2020年6月19日至2020年6月23日。对于公示内容有异议者，请于公示期内以传真、电子邮件等方式提交书面材料，逾期不予受理。个人提交的材料请署明真实姓名和联系方式，单位提交的材料请加盖所在单位公章。联系人和联系方式如下：
| 序号 | 专项名称 | 联系人 | 电话 | 电子邮箱 |
|---|---|---|---|---|
| 1 | 主动健康和老龄化科技应对 | 李治非 | 010-88225057 | lizf@cncbd.org.cn |
附件：
| 序号 | 项目编号 | 项目名称 | 项目牵头承担单位 | 项目实施周期(年) |
|---|---|---|---|---|
| 13 | 2020YFC2004000 | 便捷听力筛查系统及智能听力康复辅具研发与应用示范 | 东南大学 | 3 |
注： 本批次拟立项项目为 2019 年所发布的指南。
办公室：四牌楼健雄院316
办公电话：
Email：cairong@seu.edu.cn
学习经历：
工作经历:
教授课程：数字信号处理
研究方向：研究方向主要为声信号与语音信号处理、视频信号处理、人工智能
获奖情况：
论文著作：
科研项目：
| 名称 | 类别 | 时间 | 工作类别 | 金额 |
|---|---|---|---|---|
| 便捷听力筛查系统及智能听力康复辅具研发与应用示范 | 国家重点研发计划 | 2020/07-2023/06 | 主持 | 574万 |
| 混叠声场景下的语音识别-合成补偿助听器关键算法研究 | 国家自然科学基金面上项目 | 2014/01-2017/12 | 主持 | 81万元 |
| 汉语数字助听器语音处理核心算法研究 | 国家自然科学基金面上项目 | 2009/01-2011/12 | 主持 | 30万元 |
| 面向老龄听障患者的自适应降频助听器核心算法研究 | 国家自然科学基金青年基金项目 | 2014/01-2016/12 | 参加 | 24万元 |
专利：
| 专利号 | 专利名称 | 专利类型 |
|---|---|---|
| 201110092779.0 | 一种基于多变量统计的助听器声源定位方法 | 发明专利 |
| 201510963022.2 | 一种数字助听器语音噪声消除方法 | 发明专利 |
| 201510930008.2 | 一种数字助听器频率分辨力增强方法 | 发明专利 |
| 202110035197.2 | 一种智能助听器交互式自验配方法 | 发明专利 |
斯达克将于9月16日 线上发布可充电耳背式助听器
斯达克助听器将于9月16日线上发布力维锐致系列可充电耳背式助听器，新发布的助听器包含以下性能：无线沟通，连接你我：力维助听器能帮助用户更好地与他人建立连接，不错过重要信息。
关注健康，自由生活：乐活手机App界面更简洁，用户可以更方便地跟踪大脑和身体活动指数。
手机遗落不用愁：新增“寻找我的手机”功能，通过虚拟助手可以让手机响起铃声，帮助您找到手机。
充电更快更便捷：斯达克力维全系列可充电式助听器-定制式、耳背式、瑞克式，任您挑选。
爱可声参加国家重点研发计划项目
“便捷听力筛查系统及智能听力康复辅
具研发与应用示范”启动会
2020年8月30日，国家重点研发计划项目“便捷听力筛查系统及智能听力康复辅具研发与应用示范”在南京顺利召开。爱可声研究团队作为课题负责人应邀参加本次会议。
该项目由东南大学牵头，爱可声助听器、301总医院、中国残疾人辅助器具中心、中国听力语言康复研究中心、中科院、南京工程学院等共同承担。东南大学副校长丁辉，中国残疾人辅助器具中心副主任董理权，有关专家、项目参与单位的业务骨干参加了会议。
QQ 听力行业通讯
健康听力技术论坛｜梁瑞宇：数字助听器关键算法研究现状与展望
听力行业通讯 2022-02-28
张建一
北京听力协会 常务理事
北京协丹听力学科技中心 听力学专家
聊聊助听器“算法”的那些事儿
"三分配七分调″是助听器验配领域大家较为公认的一句行话。调什么？调输出和输入的关系呀！调的目的是什么？自然是清晰度和舒适度的最大化了！调试的依据是什么？助听器验配公式和各项参数啊！助听器的验配公式从哪儿来的？通过算法得到的！
话说到此，那我们就先看看算法的简单表述是什么？“算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。如果一个算法有缺陷，或不适合于某个问题，执行这个算法将不会解决这个问题。” 我认为在算法的表述中有个关键句：能够对一定规范的输入，在有限时间内获得所要求的输出。
助听器进入数字化时代后，助听器验配公式的多样化给助听器验配师提供了选择的空间。但是与验配公式的多样性相比我们更关注的是有效性。在助听器硬件快速发展的同时，助听器算法的有效性明显滞后。
当今助听器的算法都表述可以做到：个性化听力补偿、动态压缩、小声放大、大声抑制、AI对话降噪，面对面场景中的人声提取、低信噪比下的噪音消除等等。科学是严谨的，自上个世纪中叶起，助听器算法被听力学家所关注，助听器的验配公式一直在不断的完善过程中，应该说，目前大部分的助听器验配公式可以满足传导性耳聋和混合性耳聋的临床需求，但对感音神经性耳聋而言，助听器算法的有效性还值得进行深入的探讨。关于这个问题，国内外助听器算法研发人员有一个需要面对的共识：助听器算法缺乏真正个性化验配的临床需求反馈和大数据的验证。这也是目前助听器算法领域中的一个痛点。
我们知道，感音神经性听力损失五个功能性障碍的典型特征是:言语识别率低；声电转换功能变慢；选择性聆听功能变差；动态范围变窄；重振。当这五个功能性障碍同时存在时，尤其是一些陈旧性的感音神经性耳聋对现有的助听器算法提出了巨大的挑战。显然，当一个输入的声信号不能够依据听障者的需求给出最佳相应的输出，就说明这种算法不完善或者存在缺陷。在我们协丹听力中心三十多年助听器验配的历程中，助听器的验配公式仅仅是作为一个参考的工具，大量疑难的问题是在我们摸索和探索的过程中解决的，这些临床经验和数据的持续积累弥补了现有助听器验配公式有效性的不足。
我们真挚的希望通过提高助听器算法的有效性把"三分配七分调″变成为"七分配三分调"，这样可以有效的提高助听器的清晰度和舒适度，提高助听器的验配率，相对降低对助听器验配师综合能力的要求，为改变助听器口碑不佳的现状助一臂之力。
以上所言，有感而生，有不到之处欢迎批评指正。
袁德俊
拥有者
原创 听力行业通讯 听力行业通讯 2022-02-24 08:25
3月3日，是世界听力日&全国爱耳日。听力行业通讯将世界听力日和全国爱耳日的主题内容一并整理分享，同时倡导行业积极在世界卫生组织网站注册「世界听力日」活动。
根据WHO总部预防聋和听力损失工作组专家卜行宽教授提供的数据显示，去年，全球共有684个单位（我国29个）在世卫网站注册了世界听力日活动。自疫情以来，该数据逐年上升，彰显了机构/个人对听力健康的重视程度也在逐年提升。
今年世界听力日（WHD）的主题为“ 谨慎用耳，耳聪一生！ ”（To hear for life, listen with care!），重点突出安全用耳对终生保持良好听力的重要性。
左右滑动查看更多
卜行宽教授倡议尚未注册的同道将贵单位的活动计划抓紧注册，活动后及时完成报告，使世界更多听到中国声音，互相学习和交流，共同推进世卫《预防聋和听力损失决议》及《世界听力报告》的贯彻执行。
注册流程：
进入网址：https://www.who.int，在主页下部 World Hearing Day 2022 点击Read more。
进入World Hearing Day 2022界面后，点击Event registration。
填Register as new user, 再填Login as an existing user.或者按control，单击Event Registration - World Hearing Day，然后程序同上。
今年3月3日是第23次“全国爱耳日”，以“ 关爱听力健康，聆听精彩未来 ”为主题。
宣传口号如下：
左右滑动查看更多
摘要：
明天就是全国爱耳日，2022年3月3日，确定本期主题是因为多年前的一位志愿者 “33爸爸”。他是一位聋儿的父亲，因为自己的孩子组织了一个病友的社群，和现在很多公益组织的发起人一样，感同身受的他们在为自己发声。 也是因为他，我才记住了这个日子。本期学习笔记结尾，转载了一篇 《感恩有你 感恩美好时代｜一位听障孩子妈妈的心声》患儿家长的笔记，这就是万千家庭的写照，给孩子一个美好的未来
本期封面要再次感谢 听力行业通讯 连 海报 都是现成的 :+1 我选取了 “关爱老人听力，传递有爱亲情” 作为本期主题，笔记主体也是围绕 “主动健康和老龄化科技应对” 展开的。替换的封面照片，和我脑海中的情景完全一致 我想起了我家对面的老奶奶： 同为一层住户，对面楼的老奶奶家的院子，被小区院墙遮挡了阳光，每次出太阳，她都会在楼间的绿地上晾晒被褥，老人多风湿，怕影响邻里进出，每次遇到我都会打招呼，“喃喃自语”的样子，着实听不清楚。直到一次我见到她拿的被褥有些多，上前帮忙询问，才知道她已经听不清很多年了。一直独居在家，怕影响儿女生活，每次我上前答话，她都会说些自家故事，透露出孤单的心情，每次无论我回答什么，她都会自顾自地重复那些话语，心里多少有些难受。 不只听力受损，老人多伴随各种病痛，即便有条件，他们也会多选择不麻烦儿女，我想这才是为啥 我国的听障老人 助听器 佩戴率低的原因。
我想，前不久发布的《适老化改造》的举措，会是改变现状的解决方案，我已经见到很多老旧小区安装半入户的电梯啦，期待能早日为 听障老人 免费佩戴助听器 或者 助听器划入医保范畴
确定转载 听力行业通讯 是一期 RISC-V 为核的 听力解决方案吸引了我，笔记 耳听佳音 详述了向一岚老师发出的邀请，而这份缘分，要追溯到一个公益项目 “ 咿呀总动员 ” ，彼时我带我家小袁在社区读绘本故事，才关注到这群特殊的孩子，因为听不清，就很难说出来，才知道早日佩戴耳蜗，可以提高孩子的语言能力的建立，也是那个时候认识的 33爸爸。这个公益项目非常成熟，北京听力协会 是发起方之一，我还认识很多当年的骨干志愿者，也是他们的朋友圈，让我重温了 听力行业通讯。以本期 学习笔记 ，感谢 听力行业通讯 编辑们的 笔耕
如果本期能多吸引一些学子 进入这个领域 也是一份功德啦
SIGer 期刊一年前接触 RISC-V 也是拜 一位南安普顿的师兄 的笔耕。
健康听力技术论坛｜梁瑞宇：数字助听器关键算法研究现状与展望 【转载】【笔记】
东南大学举行“便捷听力筛查系统及智能听力康复辅具研发与应用示范”项目
登录 后才可以发表评论
