1. 首页 > 短视频直播

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!

  你,是否发现记录生活的视频总有噪音?

  你,是否也苦恼大教室上课录音根本听不清?

  你,是否也希望旅拍能去掉嘈杂人声只留自然声?

  你,是否也觉得视频有噪音一点也不高端大气上档次?

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第1张图片-周小辉博客

  没错,正如大家所想,日常生活中,带上降噪耳机我们就能免受外界噪音的干扰。可是视频有噪音却没那么简单。

  不过这可难不倒我们快手音频团队!技术大牛们开动了他们聪明的小脑袋瓜,用头发换来了这项造福千万视频创作者的功能——降噪(开发们:我不是,我没有,别瞎说)。

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第2张图片-周小辉博客

  降噪是「快影」近期上线的一项视频噪声消除功能,不同于以往只能让噪音变小的粗略降噪,这次真的能让你不想要的声音消失得无影无踪!以后大家就能随时随地,在手机上消除视频中的噪声啦!不仅能使得噪声消除得很干净,如果想保留一些背景声和环境感,也可以根据需要适当保留。当你和TA在海边散步时,耳畔是轻柔的海风和海浪声,周围是嘈杂的人声,远处隐隐传来轮船汽笛声······把这一切用视频记录下来的话,除去嘈杂的人声等,海风海浪声也能保留喔~以后每每重温这个视频都能身临其境。

  【降噪功能】的入口在「快影」App底部功能区的【音效】中,点击【视频原声】或者【配音】功能,页面中均有【降噪功能】选项。

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第3张图片-周小辉博客

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第4张图片-周小辉博客

  (视频原声降噪入口→视频原声降噪)

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第5张图片-周小辉博客

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第6张图片-周小辉博客

  (配音入口→配音降噪)

  各种场景下的噪声都逃不开「快影」【降噪功能】的火眼金睛,不管是户外还是室内,从人山人海的景区到浪花拍岸的海边,从饭点的食堂到上课的教室,你能想到的常用场景都囊括其中!

  点击播放视频

  (快手用户@dalin-2018)

  风声一键消消乐的效果不要太好!此外,噪音的消除程度也可以自我选择、随心调节,或大或小你说了算!五个降噪等级任君挑选,定制你的专属音频~

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第7张图片-周小辉博客

  点击播放视频

  (快手用户@X613128M922)

  是不是效果超级赞?以后再也不用担心视频有噪音不高端啦!

  学霸封神

  说好的一起,怎么你先业内第一?

  降噪并不是什么稀罕事,此前业内已有过许多不同的尝试,但想把降噪技术做好却并不容易。

  语音降噪是语音领域一个很重要的研究方向,其历史可以追溯到上世纪30年代,从无线电到有线电话,再到无线电话,最后到VOIP都对语音降噪技术有着强烈的需求。在深度学习取得长足进展前,单通道语音降噪通过传统信号处理方式实现,一般认为其只能去除带噪语音中的稳定噪声成分,对于babble和瞬态噪声增强效果不明显。在2015年后,随着深度学习技术的发展,降噪效果才取得巨大进展。

  如今市面上的降噪技术,大部分还是难以彻底消除噪音,往往是降噪后还留有部分背景噪声(因此老被吐槽“消了个寂寞”),如果使用的不是专业设备,噪音就会格外明显。如何真正消除目标噪声、保留其他声音自然成了工程师们研究的重点。就这一点,国内外众多知名的音视频降噪团队在近期举办的比赛中进行了PK。没错,这就是全球音频技术的顶级会议Interspeech 2021组织了AEC Challenge(Acoustic Echo Cancellation Challenge)比赛,快手团队作为参赛者中的一匹黑马,取得了傲人的战绩。

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第8张图片-周小辉博客

  噪音消除哪家强?降噪技术找快手!获得国内业界首屈一指成绩的快手降噪却并没有庞大的团队,他们是如何摘得如此惊人的技术成果呢?

  制胜秘诀

  卓越的算法技术和团队素质

  为了尽可能实现对真实场景中噪声的消除,研究人员会自己录音或者到开源数据库采集干净的人声和纯噪声,然后人工混合,进行多种排列组合,模拟各种现实中的带噪语音,大大提高造数据的效率。基于数据增强算法生成大量数据后,算法人员再依靠AI算法,训练神经网络去区分语音和噪声,从嘈杂环境中剥离出干净语音。

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第9张图片-周小辉博客

  神经网络—降噪模型训练及推理图

  在前处理方面,团队利用信号处理和心理声学中的响度及掩蔽等方面的已有结论,通过实验在不影响主观听感的前提下,设计了基于信号处理的前处理模块。该前处理模块的目的是剔除训练目标中人耳无法感知成分,从而简化深度网络的训练目标,促进有限参数量的小网络的收敛程度,最终提高主观音质体验。

  在后处理方面,团队利用语音信号低频成分和高频成分的强相关特性及心理声学中人耳对高频分量感知显著弱于低频分量的结论,合理分配计算资源,实现可以在大部分机型上上线的降噪方案。

  在网络损失函数设计方面,于实践验证学术界已有的损失函数的基础上,结合降噪问题的主要矛盾点即降噪量(over-suppress)和语音保留(under-suppress)的平衡及语音信号谐波特征明显的特性,算法人员设计了一种新的损失函数:在加强输出语音信号谐波特性的同时,当输入带噪语音信噪比低时突出降噪效果,当输入带噪语音信噪比高时,突出语音保留效果。最终保证算法整体对于降噪量和语音保留的平衡。

  为了能更好地验证效果,快影产品和音频QA团队深入挖掘用户需求,列举近百种室内外视频录制场景,每日在快手下载对应场景的几百个音频,使用用户真实场景声音来验证效果,根据「噪音消除效果」和「音质保留程度」等指标,核算是否有吞音、消音不全等问题,持续测试,优中选优,最后得到了当前的优质降噪模型。

  在为「快影」App接入【降噪功能】时,考虑到在移动端的短视频创作工具中,降噪功能应该满足实时预览、降噪量可调和降噪处理后可以保留原视频中立体声信号的要求,而市面上的竞品普遍采用的是在服务器端部署的深度降噪方案,无法满足上述需求。所以快影产品侧深入讨论后,选择了在移动端的深度降噪方案。

  除此之外,基于用户在降噪功能使用时的个性化需求, 研究团队专门设计算法支持降噪量的人工调节。结合降噪功能实际可能遇到的场景,现在「快影」根据降噪分贝数(dB)提供了五个降噪等级方便用户选择,最终才实现了当前「快影」App内个性化的优质降噪效果。

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第10张图片-周小辉博客

  嘘,这是绝不外传的团队秘辛!

  小声告诉你:其实,快手降噪技术最早是被用于内部会议直播降噪的哦,这里还发生过不少有趣的小故事呢!

  某次远程会议,老板发言完毕后大家啪啪鼓掌,结果老板那边完全听不到(笑)鼓掌声被当作噪声屏蔽掉了······

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第11张图片-周小辉博客

  经过检查发现鼓掌声和敲键盘声很像,开发人员专门测试从话筒中采集到的这两者,发现基本无法分辨,算法在当时也无法区分所以屏蔽掉了。后来测试人员还为此搜罗来了全部门的机械键盘,用奶茶“招募”了几名“志愿者”参与敲击键盘和花式鼓掌,经过反复对比终于找出了两者间细微的差别,使得算法能保留鼓掌声,只消除敲键盘声 。

  不只是算法团队,产品运营的伙伴也趣事频出。运营小琴在反复配合测试这个降噪功能后,想到做一个视频礼物送给男友,便搜集了两人的微信语音和出游记录进行剪辑,利用快影的降噪功能给了男友一个惊喜。在视频的最后,海浪声和人声远了,只余下一声:“我爱你。”

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第12张图片-周小辉博客

  单身狗们:啊啊啊啊啊(土拨鼠尖叫)

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第13张图片-周小辉博客

  值得一提的是,对声音的细微把控,源自团队看似与互联网技术无关的音乐细胞。团队成员不仅是各自领域中的大牛,也是音乐艺术上的行家,很多人都是小学开始兴趣使然接触了乐器,从手风琴、小提琴到花腔女高音,钢琴10级遍地走。也正是因此,大家拥有更敏锐的声音感知和更强的细节把控,这对降噪效果的提升功不可没。

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第14张图片-周小辉博客

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第15张图片-周小辉博客

  尤以某些特定场景下(如唱歌消噪)的噪声消除最为突出。测试算法期间,为了检验唱歌场景下的噪音消除效果,人人随口一唱现场录音都让“围观群众”赞不绝口!“音乐家们”从自身制作视频的细微之处出发,真正站在用户角度深入洞察,不放过日常生活中每一个需要消除噪音的场景,这才造就了降噪效果的精妙绝伦。

  这样一个团队,既懂炫酷的技术、又深谙风雅的艺术,互联网锐意进取和艺术家的潇洒恣意在这里并存。如果你也是热爱音视频的互联网人,那你和我们一定是完美搭档!

  点击阅读原文,投递简历加入我们吧!快手深圳快影团队和快手音视频团队欢迎你,海量产品、运营、开发工程师职位等你来!(投递记得搜索「快影」或者「音视频」喔)

还在愁噪音消不掉?来「快影」体验降噪,一键消消乐!-第16张图片-周小辉博客

本文由佚名发布,不代表卡卡跨境网立场,转载联系作者并注明出处:https://www.kakakuajing.com/zhibo/1465.html

联系我们

在线咨询:点击这里给我发消息

微信号:weixin888

工作日:9:30-18:30,节假日休息