ITPub博客

首页 > 应用开发 > IT综合 > 在一对一直播软件开发过程中,需要用到哪些前处理技术(一)

在一对一直播软件开发过程中,需要用到哪些前处理技术(一)

原创 IT综合 作者:vx17116105317 时间:2019-10-10 17:51:51 0 删除 编辑

在直播中做好对音视频的前处理,是保证用户基本体验的第一步,因为它牵扯到很多关于美颜和声音的优化问题,用户的感官体验是否达标,跟这个环节有很大联系。那么在一对一直播软件开发过程中,一般需要用到哪些前处理技术呢?

关于直播的前处理总共分为两个大项,一是 音频前处理 ,一是 视频前处理 。而今天,小编就来重点来讲一讲,音频前处理中包含的项目。

音频前处理,含有噪声抑制、回波抵消和增益控制三大块。

一、噪声抑制

有时我们在观看直播时,会听到一些电流音,爆音,滋滋声或者嘟嘟声。其实这种情况主要来源于参数配置、网络波动,甚至是代码层面的原因。以参数配置为例,一旦配置不太匹配,就会导致声音听起来非常诡异,比如:采样率是 32000Hz的音频,如果给播放器配置为8000Hz或者44100Hz,就明显会出现音频慢放或者快放的效果。所以需要注意的是,在采集环节,要给系统的API以及第三方的库配置正确的参数,如:采样率、位宽、声道数等等。

二、回波抵消

回声一般出现在同时有音频的采集和播放的场景,比如:连麦互动、混音返听等等,采集到的音频通过扬声器又播放出来了,同时又被采集了进去,从而产生了回声或者啸叫声。如果要抵消这些影响,就需要通过系统的回声消除API,或者采用第三方回声消除库(如:speexdsp,webrtc等)进行处理。

三、增益控制

当有对语音的响度进行调整时,就需要做针对于语音的自动增益算法处理。处理的方式也比较单一,就是对音频采样加上一个增益因子。但需要注意的一点是,由于人的听觉对所有频率的感知不是线性的,是遵循等响度曲线的,导致这样处理后,听起来感觉有的频率加强了,有的频率削弱了,反而导致语音失真放大。

所以,要让整个频段的频率听起来响度增益都是“相同”的,就必须在响度这个尺度下做增益,而不是在频率域,即按照等响度曲线对语音的频率进行加权,不能采用一个固定的增益因子进行加权。

以上,就是在一对一直播软件开发过程中,需要用到的音频前处理技术,关于视频前处理技术,之后会继续更新,欢迎继续关注。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69947974/viewspace-2659412/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-09-12

  • 博文量
    23
  • 访问量
    9054