文章摘要
曹中辉,黄志华,葛文萍,黄浩.注意力机制对生成对抗网络语音增强迁移学习模型的影响[J].声学技术,2021,40(1):77~81
注意力机制对生成对抗网络语音增强迁移学习模型的影响
Influence of attention mechanism on generative adversarial network speech enhancement transfer learning model
投稿时间:2019-12-06  修订日期:2020-02-03
DOI:10.16300/j.cnki.1000-3630.2021.01.012
中文关键词: 生成对抗网络(GAN)  语音增强  迁移学习  跨语言语音增强  注意力机制
英文关键词: generative adversarial network (GAN)  speech enhancement  transfer learning  cross-language speech enhancement  attention mechanism
基金项目:新疆维吾尔自治区自然科学基金项目资助(2017D01C044)
作者单位E-mail
曹中辉 新疆大学信息科学与工程学院, 信号检测与处理新疆维吾尔自治区重点实验室, 新疆乌鲁木齐 830001  
黄志华 新疆大学信息科学与工程学院, 信号检测与处理新疆维吾尔自治区重点实验室, 新疆乌鲁木齐 830001 echohzh@163.com 
葛文萍 新疆大学信息科学与工程学院, 信号检测与处理新疆维吾尔自治区重点实验室, 新疆乌鲁木齐 830001  
黄浩 新疆大学信息科学与工程学院, 信号检测与处理新疆维吾尔自治区重点实验室, 新疆乌鲁木齐 830001  
摘要点击次数: 54
全文下载次数: 45
中文摘要:
      基于深度学习的语音增强模型对训练集外语言语音和噪声进行降噪时,性能明显下降。为了解决这一问题,提出一种引入注意力机制的生成对抗网络(Generative Adversarial Network,GAN)语音增强迁移学习模型。在生成对抗语音增强模型的判别模型中引入注意力机制,以高资源场景下的大量语音数据训练得到的语音增强模型为基础增强模型,结合低资源场景下的少量语音训练数据,对基础增强模型进行权重迁移,提升低资源场景下语音增强模型的增强效果。实验结果表明,采用注意力机制的生成对抗语音增强迁移学习模型,对低资源场景下的带噪语音和集外噪声可以进行有效的降噪。
英文摘要:
      The deep learning based speech enhancement model encounters the problem of enhancement performance degradation when de-noising the unseen languages and noise in training sets. In order to solve this problem, a generative adversarial network (GAN) speech enhancement transfer learning model with attention mechanism (called ATGAN speech enhancement model) is proposed in this paper. The attention mechanism is introduced into the discriminator of GAN speech enhancement model. Based on the well-trained model obtained with high-resource materials and combining a small amount of speech training data in low-resource condition, the weight transfer of the basic enhancement model trained with low-resource data is carried out to improve the enhancement effect in low-resource condition. Experiments show that the use of ATGAN speech enhancement model can effectively enhance the denoising effect of low-resource noisy speech.
查看全文   查看/发表评论  下载PDF阅读器
关闭