ITPub博客

首页 > IT职业 > IT职场 > 利用FFmpeg玩转Android视频录制与压缩

利用FFmpeg玩转Android视频录制与压缩

IT职场 作者:summo 时间:2021-09-09 09:48:04 0 删除 编辑

说明:



本库1.0是在秒拍开源库上做的二次开发,2.0已经重写底层库,从C到Java全面开源,旨在开发简单好用高效的视频录制库。本篇文档只涉及Java层次逻辑,正在业余修炼c语言与JNI相关的东西,如果有幸写第二篇文章,那时将对其做更深入的剖析,如FFmpeg编译、JNI相关代码编写。

https://github.com/mabeijianxi/small-video-record.

?


List"9"> rates = mParameters.getSupportedPreviewFrameRates();        if (rates != null) {            if (rates.contains(MAX_FRAME_RATE)) {                mFrameRate = MAX_FRAME_RATE;            } else {                boolean findFrame = false;                Collections.sort(rates);                for (int i = rates.size() - 1; i >= 0; i--) {                    if (rates.get(i)                       mFrameRate = rates.get(i);                        findFrame = true;                        break;                    }                }                if (!findFrame) {                    mFrameRate = rates.get(0);                }            }        }        mParameters.setPreviewFrameRate(mFrameRate); 


  • 摄像头输出尺寸设置:通过系统API mParameters.getSupportedPreviewSizes()可以得到当前摄像头所支持的尺寸,注意这里返回的Size里面其height对应的屏幕短边,width对应的是屏幕长边,也就是说我们也要校验传入的smallVideoWidth是否支持,当然smallVideoHeight不需要校验,因为是小视频,我们到时候说不定还会剪切掉一部分,校验完成即可得到传入的smallVideoWidth所对应的且摄像头所支持的对应高度,把这个宽高设置上即可。常见的smallVideoWidth 有480、720、1080等等。具体如下:

[代码]java代码:

  • ?


    boolean findWidth = false;        for (int i = mSupportedPreviewSizes.size() - 1; i >= 0; i--) {            Size size = mSupportedPreviewSizes.get(i);            if (size.height == SMALL_VIDEO_WIDTH) {              mSupportedPreviewWidth = size.width;                 findWidth = true;                 break;            }        }        if (!findWidth) {            Log.e(getClass().getSimpleName(), "传入高度不支持或未找到对应宽度,请按照要求重新设置,否则会出现一些严重问题");            mSupportedPreviewWidth = 640;            SMALL_VIDEO_WIDTH = 480;            SMALL_VIDEO_HEIGHT = 360;        }        mParameters.setPreviewSize(mSupportedPreviewWidth, SMALL_VIDEO_WIDTH);


  • 设置采样率:常用格式有两种:NV21 / YV12,mParameters.setPreviewFormat(ImageFormat.NV21)


2、接收设备并传入FFmpeg音(音频具体可参考AudioRecorder类)视频数据:

这里首先需要知道几个FFmpeg命令:


  • -vf 可以添加滤镜,特别强大,可以旋转缩放剪切等等,我们需要用到旋转和剪切(我一直考虑需不需要用缩放的方式,因为这样可以在预览界面设置高分辨率看着清晰一些)。

  • transpose,旋转,对应的值有0、1、2、3,0:逆时针旋转90°然后垂直翻转1:顺时针旋转90°,2:逆时针旋转90°,3:顺时针旋转90°然后水平翻转。

  • 剪切,关键字是crop,其有四个参数,分别是宽度、高度、其实剪切位置的X值与Y值,如ffmpeg -i a.mp4 -vf crop=480:360:0:0...;

  • -vcodec 指定视频编解码器;

  • -acodec 指定音频编解码器;

  • vbr 动态码率;

  • cbr 静态码率;

  • -crf 视频质量等级0~51,越大质量越差,建议18~28即可,与cbr模式不兼容;

  • -preset 转码速度,快慢的优劣应该都懂的,可根据自己业务场景设置,具体有:ultrafast、superfast、veryfast、faster、fast、medium、slow、slower、veryslow、placebo;

  • -i 指定输入;

  • -x264opts 配置其编解码参数;

  • maxrate 最大码率;

  • bitrate 固定码率;

  • -f 输出格式;

  • -s 设置帧大小。格式为 ‘wxh’;

  • -ss 指定开始时间;

  • -vframes 指定多少帧;

接着皆可在录制前配置我们的录制参数:

[代码]java代码:

?


String cmd = String.format("filename = "%s"; ", result.mediaPath);             if (mCameraId == Camera.CameraInfo.CAMERA_FACING_BACK) {                 cmd += String.format("addcmd = %s; ", " -vf "transpose=1,crop=" + SMALL_VIDEO_WIDTH + ":" + SMALL_VIDEO_HEIGHT + ":0:0" "                        +getBitrateCrfSize(mediaRecorderConfig,"",true)                         +getBitrateVelocity(mediaRecorderConfig,"",true)                         +getBitrateModeCommand(mediaRecorderConfig,"",true));             } else {                 cmd += String.format("addcmd = %s; ", " -vf "transpose=2,crop=" + SMALL_VIDEO_WIDTH + ":" + SMALL_VIDEO_HEIGHT + ":0:0" "                        +getBitrateCrfSize(mediaRecorderConfig,"",true)                         +getBitrateVelocity(mediaRecorderConfig,"",true)                         +getBitrateModeCommand(mediaRecorderConfig,"",true));             }

我们这里设置了旋转滤镜与剪切滤镜,由于我们录制竖屏视频所以旋转90°,然后剪切为我们制定的视频尺寸。当然里面还有三个get函数,分别是视频质量等级、转码速度、码率模式。

  • 视频质量等级命令为-crf [size]:

[代码]java代码:

?


protected String getBitrateCrfSize(BaseMediaBitrateConfig config, String defualtCmd, boolean nendSymbol) {          if (TextUtils.isEmpty(defualtCmd)) {              defualtCmd = "";          }          String add = "";          if (config != null && config.getMode() == BaseMediaBitrateConfig.MODE.AUTO_VBR && config.getCrfSize() > 0) {              if (nendSymbol) {                  add = String.format("-crf "%d" ", config.getCrfSize());              } else {                  add = String.format("-crf %d ", config.getCrfSize());              }          } else {              return defualtCmd;          }          return add;


  • 转码速度命令为-preset [what]:

[代码]java代码:

?


protected String getBitrateVelocity(BaseMediaBitrateConfig config, String defualtCmd, boolean nendSymbol) {          if (TextUtils.isEmpty(defualtCmd)) {              defualtCmd = "";          }          String add = "";          if (config != null && !TextUtils.isEmpty(config.getVelocity())) {              if (nendSymbol) {                  add = String.format("-preset "%s" ", config.getVelocity());              } else {                  add = String.format("-preset %s ", config.getVelocity());              }          } else {              return defualtCmd;          }          return add;


  • 码率模式: 码率模式分为vbr与cbr,我在里面加了三个类AutoVBRMode、VBRMode、CBRMode,三者都可传入转码速度。如果不想管那么多那么只需传入无参的AutoVBRMode对象即可,只有AutoVBRMode模式下可以传入视频质量等级值,这个值将最大程度上控制视频质量。VBRMode模式下可以指定最大码率与额定码率。、CBRMode模式下出入一个固定码率即可。

[代码]java代码:

?


protected String getBitrateModeCommand(BaseMediaBitrateConfig config, String defualtCmd, boolean needSymbol) {          String add = "";          if (TextUtils.isEmpty(defualtCmd)) {              defualtCmd = "";          }          if (config != null) {              if (config.getMode() == BaseMediaBitrateConfig.MODE.VBR) {                  if (needSymbol) {                      add = String.format(" -x264opts "bitrate=%d:vbv-maxrate=%d" ", config.getBitrate(), config.getMaxBitrate());                  } else {                      add = String.format(" -x264opts bitrate=%d:vbv-maxrate=%d ", config.getBitrate(), config.getMaxBitrate());                  }                  return add;              } else if (mediaRecorderConfig.getMode() == BaseMediaBitrateConfig.MODE.CBR) {                  if (needSymbol) {                      add = String.format(" -x264opts "bitrate=%d:vbv-bufsize=%d:nal_hrd=cbr" ", config.getBitrate(), config.getBufSize());                  } else {                      add = String.format(" -x264opts bitrate=%d:vbv-bufsize=%d:nal_hrd=cbr ", config.getBitrate(), config.getBufSize());                  }                  return add;              }          }          return defualtCmd;      }


配置好后即可开始录制,在camera的数据回调里面把数据转入底层。

[代码]java代码:

?


@Override    public void onPreviewFrame(byte[] data, Camera camera) {         if (mRecording) {             UtilityAdapter.RenderDataYuv(data);         }         super.onPreviewFrame(data, camera);     }



3、多段视频合并

录制过程中我们可以暂停录制,这个可能生成n段短视频,这个我们就需要合并视频了,利用FFmpeg命令也可以轻松实现:

[代码]java代码:

?


//合并ts流         String cmd = String.format("ffmpeg %s -i "%s" -vcodec copy -acodec copy -absf aac_adtstoasc -f mp4 -movflags faststart "%s" ",                           FFMpegUtils.getLogCommand(),                           mMediaObject.getConcatYUV(),                          mMediaObject.getOutputTempVideoPath());       boolean mergeFlag = UtilityAdapter.FFmpegRun("", cmd) == 0;


这里视频和音频的编解码器使用原始数据的即可,命令为-vcodec copy -acodec copy这样速度回比较快,-absf表示为匹配的流设置比特流过滤器,当然还有-vbsf,最新的指定方式是-bsf:v


4、进一步转码压缩

如果没有设置 doH264Compress 参数那么将不执行以下逻辑

[代码]java代码:

?


String vbr = " -vbr 4 ";      if (compressConfig != null && compressConfig.getMode()==BaseMediaBitrateConfig.MODE.CBR) {                       vbr = "";                   }                  String cmd_transcoding = String.format("ffmpeg -i %s -c:v libx264 %s %s %s -c:a libfdk_aac %s %s",                     mMediaObject.getOutputTempVideoPath(),                     getBitrateModeCommand(compressConfig,"",false),                     getBitrateCrfSize(compressConfig, "-crf 28", false),                     getBitrateVelocity(compressConfig, "-preset:v veryfast", false),                     vbr,                     mMediaObject.getOutputTempTranscodingVideoPath()                   );      boolean transcodingFlag = UtilityAdapter.FFmpegRun("", cmd_transcoding) == 0;



上面我们指定了视频编解码器为libx264,音频编解码器为libfdkaac,然后跟你个性化冲入的doH264Compress 参数进行压缩,结束后我们就得到了压缩好的视频了。


5、截取视频中的一帧作为封面

[代码]java代码:

?


public static boolean captureThumbnails(String videoPath, String outputPath, String wh, String ss) {          if (ss == null)              ss = "";          else             ss = " -ss " + ss;          String cmd = String.format("ffmpeg -i "%s"%s -s %s -vframes 1 "%s"", videoPath, ss, wh, outputPath);          return UtilityAdapter.FFmpegRun("", cmd) == 0;      }


原文链接:http://www.apkbus.com/blog-856294-76959.html

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/225/viewspace-2812634/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: sass入门指南
请登录后发表评论 登录
全部评论

注册时间:2020-07-23

  • 博文量
    0
  • 访问量
    935