android采用FFmpeg实现音频混合与拼接剪切

接触FFmpeg有一段时间了,它是音视频开发的开源库,几乎其他所有播放器、直播平台都基于FFmpeg进行二次开发。本篇文章来总结下采用FFmpeg进行音频处理:音频混合、音频剪切、音频拼接与音频转码。

采用android studio进行开发,配置build.gradle文件:

defaultConfig {
 ......
 externalNativeBuild {
  cmake {
  cppFlags ""
  }
 }
 ndk {
  abiFilters "armeabi-v7a"
 }
 }

另外指定cmake文件路径:

externalNativeBuild {
 cmake {
  path "CMakeLists.txt"
 }
 }
 sourceSets {
 main {
  jniLibs.srcDirs = ['libs']
  jni.srcDirs = []
 }
 }

从FFmpeg官网下载源码,编译成ffmpeg.so动态库,并且导入相关源文件与头文件:

然后配置cMakeLists文件:

add_library( # Sets the name of the library.
  audio-handle

  # Sets the library as a shared library.
  SHARED

  # Provides a relative path to your source file(s).
  src/main/cpp/ffmpeg_cmd.c
  src/main/cpp/cmdutils.c
  src/main/cpp/ffmpeg.c
  src/main/cpp/ffmpeg_filter.c
  src/main/cpp/ffmpeg_opt.c)
add_library( ffmpeg
  SHARED
  IMPORTED )
set_target_properties( ffmpeg
   PROPERTIES IMPORTED_LOCATION
   ../../../../libs/armeabi-v7a/libffmpeg.so )
include_directories(src/main/cpp/include)
find_library( log-lib
  log )
target_link_libraries( audio-handle
   ffmpeg
   ${log-lib} )
调用FFmpeg命令行进行音频处理:
 /**
 * 调用ffmpeg处理音频
 * @param handleType handleType
 */
 private void doHandleAudio(int handleType){
 String[] commandLine = null;
 switch (handleType){
  case 0://转码
  String transformFile = PATH + File.separator + "transform.aac";
  commandLine = FFmpegUtil.transformAudio(srcFile, transformFile);
  break;
  case 1://剪切
  String cutFile = PATH + File.separator + "cut.mp3";
  commandLine = FFmpegUtil.cutAudio(srcFile, 10, 15, cutFile);
  break;
  case 2://合并
  String concatFile = PATH + File.separator + "concat.mp3";
  commandLine = FFmpegUtil.concatAudio(srcFile, appendFile, concatFile);
  break;
  case 3://混合
  String mixFile = PATH + File.separator + "mix.aac";
  commandLine = FFmpegUtil.mixAudio(srcFile, appendFile, mixFile);
  break;
  default:
  break;
 }
 executeFFmpegCmd(commandLine);
 }

其中,音频混音、合并、剪切和转码的FFmpeg命令行的拼接如下:

/**
 * 使用ffmpeg命令行进行音频转码
 * @param srcFile 源文件
 * @param targetFile 目标文件(后缀指定转码格式)
 * @return 转码后的文件
 */
 public static String[] transformAudio(String srcFile, String targetFile){
 String transformAudioCmd = "ffmpeg -i %s %s";
 transformAudioCmd = String.format(transformAudioCmd, srcFile, targetFile);
 return transformAudioCmd.split(" ");//以空格分割为字符串数组
 }

 /**
 * 使用ffmpeg命令行进行音频剪切
 * @param srcFile 源文件
 * @param startTime 剪切的开始时间(单位为秒)
 * @param duration 剪切时长(单位为秒)
 * @param targetFile 目标文件
 * @return 剪切后的文件
 */
 @SuppressLint("DefaultLocale")
 public static String[] cutAudio(String srcFile, int startTime, int duration, String targetFile){
 String cutAudioCmd = "ffmpeg -i %s -ss %d -t %d %s";
 cutAudioCmd = String.format(cutAudioCmd, srcFile, startTime, duration, targetFile);
 return cutAudioCmd.split(" ");//以空格分割为字符串数组
 }

 /**
 * 使用ffmpeg命令行进行音频合并
 * @param srcFile 源文件
 * @param appendFile 待追加的文件
 * @param targetFile 目标文件
 * @return 合并后的文件
 */
 public static String[] concatAudio(String srcFile, String appendFile, String targetFile){
 String concatAudioCmd = "ffmpeg -i concat:%s|%s -acodec copy %s";
 concatAudioCmd = String.format(concatAudioCmd, srcFile, appendFile, targetFile);
 return concatAudioCmd.split(" ");//以空格分割为字符串数组
 }

 /**
 * 使用ffmpeg命令行进行音频混合
 * @param srcFile 源文件
 * @param mixFile 待混合文件
 * @param targetFile 目标文件
 * @return 混合后的文件
 */
 public static String[] mixAudio(String srcFile, String mixFile, String targetFile){
 String mixAudioCmd = "ffmpeg -i %s -i %s -filter_complex amix=inputs=2:duration=first -strict -2 %s";
 mixAudioCmd = String.format(mixAudioCmd, srcFile, mixFile, targetFile);
 return mixAudioCmd.split(" ");//以空格分割为字符串数组
 }

FFmpeg处理混音的公式如下,其中sample1为源文件采样率、sample2为待混合文件采样率:

混音公式:value = sample1 + sample2 - (sample1 * sample2 / (pow(2, 16-1) - 1))

开启子线程,调用native方法进行音频处理:

public static void execute(final String[] commands, final OnHandleListener onHandleListener){
 new Thread(new Runnable() {
  @Override
  public void run() {
  if(onHandleListener != null){
   onHandleListener.onBegin();
  }
  //调用ffmpeg进行处理
  int result = handle(commands);
  if(onHandleListener != null){
   onHandleListener.onEnd(result);
  }
  }
 }).start();
 }
 private native static int handle(String[] commands);

关键的native方法,是把java传入的字符串数组转成二级指针数组,然后调用FFmpeg源码中的run方法:

JNIEXPORT jint JNICALL Java_com_frank_ffmpeg_FFmpegCmd_handle
(JNIEnv *env, jclass obj, jobjectArray commands){
 int argc = (*env)->GetArrayLength(env, commands);
 char **argv = (char**)malloc(argc * sizeof(char*));
 int i;
 int result;
 for (i = 0; i < argc; i++) {
 jstring jstr = (jstring) (*env)->GetObjectArrayElement(env, commands, i);
 char* temp = (char*) (*env)->GetStringUTFChars(env, jstr, 0);
 argv[i] = malloc(1024);
 strcpy(argv[i], temp);
 (*env)->ReleaseStringUTFChars(env, jstr, temp);
 }
 //执行ffmpeg命令
 result = run(argc, argv);
 //释放内存
 for (i = 0; i < argc; i++) {
 free(argv[i]);
 }
 free(argv);
 return result;
}

关于FFmpeg的run方法的源码如下,中间有部分省略:

int run(int argc, char **argv)
{
 /****************省略********************/
 //注册各个模块
 avcodec_register_all();
#if CONFIG_AVDEVICE
 avdevice_register_all();
#endif
 avfilter_register_all();
 av_register_all();
 avformat_network_init();
 show_banner(argc, argv, options);
 term_init();
 /****************省略********************/
 //解析命令选项与打开输入输出文件
 int ret = ffmpeg_parse_options(argc, argv);
 if (ret < 0)
 exit_program(1);
 /****************省略********************/
 //文件转换
 if (transcode() < 0)
 exit_program(1);
 /****************省略********************/
 //退出程序操作:关闭文件、释放内存
 exit_program(received_nb_signals ? 255 : main_return_code);
 ffmpeg_cleanup(0);
}

其中,最关键的是文件转换部分,源码如下:

static int transcode(void)
{
 int ret, i;
 AVFormatContext *os;
 OutputStream *ost;
 InputStream *ist;
 int64_t timer_start;
 int64_t total_packets_written = 0;
 //转码方法初始化
 ret = transcode_init();
 if (ret < 0)
 goto fail;

 if (stdin_interaction) {
 av_log(NULL, AV_LOG_INFO, "Press [q] to stop, [?] for help\n");
 }
 timer_start = av_gettime_relative();

#if HAVE_PTHREADS
 if ((ret = init_input_threads()) < 0)
 goto fail;
#endif
 //transcode循环处理
 while (!received_sigterm) {
 int64_t cur_time= av_gettime_relative();

 //如果遇到"q"命令,则退出循环
 if (stdin_interaction)
  if (check_keyboard_interaction(cur_time) < 0)
  break;

 //判断是否还有输出流
 if (!need_output()) {
  av_log(NULL, AV_LOG_VERBOSE, "No more output streams to write to, finishing.\n");
  break;
 }

 ret = transcode_step();
 if (ret < 0 && ret != AVERROR_EOF) {
  char errbuf[128];
  av_strerror(ret, errbuf, sizeof(errbuf));

  av_log(NULL, AV_LOG_ERROR, "Error while filtering: %s\n", errbuf);
  break;
 }

 //打印音视频流信息
 print_report(0, timer_start, cur_time);
 }
#if HAVE_PTHREADS
 free_input_threads();
#endif

 //文件末尾最后一个stream,刷新解码器buffer
 for (i = 0; i < nb_input_streams; i++) {
 ist = input_streams[i];
 if (!input_files[ist->file_index]->eof_reached && ist->decoding_needed) {
  process_input_packet(ist, NULL, 0);
 }
 }
 flush_encoders();
 term_exit();

 //写文件尾,关闭文件
 for (i = 0; i < nb_output_files; i++) {
 os = output_files[i]->ctx;
 if ((ret = av_write_trailer(os)) < 0) {
  av_log(NULL, AV_LOG_ERROR, "Error writing trailer of %s: %s", os->filename, av_err2str(ret));
  if (exit_on_error)
  exit_program(1);
 }
 }

 //关闭所有编码器
 for (i = 0; i < nb_output_streams; i++) {
 ost = output_streams[i];
 if (ost->encoding_needed) {
  av_freep(&ost->enc_ctx->stats_in);
 }
 total_packets_written += ost->packets_written;
 }

 if (!total_packets_written && (abort_on_flags & ABORT_ON_FLAG_EMPTY_OUTPUT)) {
 av_log(NULL, AV_LOG_FATAL, "Empty output\n");
 exit_program(1);
 }

 //关闭所有解码器
 for (i = 0; i < nb_input_streams; i++) {
 ist = input_streams[i];
 if (ist->decoding_needed) {
  avcodec_close(ist->dec_ctx);
  if (ist->hwaccel_uninit)
  ist->hwaccel_uninit(ist->dec_ctx);
 }
 }

 //省略最后的释放内存
 return ret;
}

好了,使用FFmpeg进行音频剪切、混音、拼接与转码介绍完毕。如果各位有什么问题或者建议,欢迎交流。

源码:链接地址。如果对您有帮助,麻烦fork和star。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • Android音频编辑之音频合成功能

    前言 音频编辑系列: - android音频编辑之音频转换PCM与WAV -android音频编辑之音频裁剪 - android音频编辑之音频合成 本篇主要讲解音频PCM数据的合成,这里合成包括音频之间的拼接,混合. - 音频拼接:一段音频连接着另一段音频,两段音频不会同时播放,有先后顺序. - 音频混合:一段音频和另一段音频存在相同的区间,两者会有同时播放的区间. 下面是音频拼接,音频混合的效果图: 音频拼接 如果大家理解了android音频编辑之音频转换PCM与WAV和android音频编辑

  • Android线程中Handle的使用讲解

    Android UI线程是不安全的,子线程中进行UI操作,可能会导致程序的崩溃,解决办法:创建一个Message对象,然后借助Handler发送出去,之后在Handler的handleMessage()方法中获得刚才发送的Message对象,然后在这里进行UI操作就不会再出现崩溃了 定义类继承Handler public class BallHandler extends Handler{ ImageView imageview; Bitmap bitmap; public BallHandle

  • Android视频/音频缓存框架AndroidVideoCache(Okhttp)详解

    关于安卓边下边播功能,供大家参考,具体内容如下 对于视频/音频软件,音乐软件,视频软件,都有缓存这个功能,那如何实现边下边播功能: 如何实现这个边下边播功能? 文件是否支持同时读写?(Mediaplayer 播放文件,从网络上下载文件) 播放与下载进度如何协调? 已缓存的文件需及时清理 经过一番折腾,我 find 了 : [ AndroidVideoCache ],这个库是 danikula 大神写,看完源码后收益匪浅.实现流媒体边下边播原理利用socket 开启一个本机的代理服务器 结合自身需

  • Android使用MediaRecorder类实现视频和音频录制功能

    一.前期基础知识储备 Android提供了MediaRecorder这一个类来实现视频和音频的录制. 由官方配图可知,MediaRecorder用于录制视频时需要调用一系列的API来设置和录制相关的配置,而且调用方法的顺序是固定的,必须按照这个顺序进行API调用才能正确利用手机摄像头实现录像功能. 调用MediaRecorder的录像API顺序如下: 1)Open Camera - Use the Camera.open() to get an instance of the camera ob

  • Android 判断网络状态对音频静音的实现方法

    在实际应用中,我们不希望在教室网络,打开游戏就显示较大的声音,进而影响上课质量.因此,就需要让app变得智能,让app可以根据使用者当前网络状态,自动进行静音等操作. 本次内容分为两部分:1. 识别网络环境 2. 实现app自动静音. 自动静音 /** * 实现静音功能 */ private void silentSwitchOn() { AudioManager audioManager = (AudioManager) getSystemService(Context.AUDIO_SERVI

  • Android亮屏速度分析总结

    前面聊的 最近在调试项目的亮屏速度,我们希望在按下power键后到亮屏这个时间能达到500MS以内,在Rockchip 3399和3288上面的时间都不能达到要求,因此引发了一系列的调试之路. 计算按下power键到亮屏的时间 Android 唤醒时间统计 刚开始的时候,我只在android阶段统计时间,也能看到时间的差异,但是不是最准确的,我统计的时间日志如下 01-18 09:13:40.992 683 772 D SurfaceControl: Excessive delay in set

  • Android添加音频的几种方法

    在res文件夹中新建一个文件夹,命名为raw.在里面放入我们需要的音频文件. 第一种: // 根据资源创建播放器对象 player = MediaPlayer.create(this, R.raw.xiaoxiaole); try { player.prepare();// 同步 } catch (IllegalStateException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (IOExcept

  • Android音频编辑之音频转换PCM与WAV

    前言 本篇开始讲解在Android平台上进行的音频编辑开发,首先需要对音频相关概念有基础的认识.所以本篇要讲解以下内容: 1. 常用音频格式简介 2. WAV和PCM的区别和联系 3. WAV文件头信息 4. 采样率简介 5. 声道数和采样位数下的PCM编码 6. 音频文件解码 7. PCM文件转WAV文件 现在先给出音频编辑的效果图,看看能不能提高大家的积极性~,哈哈 常用音频格式简介 在Android平台上进行音频开发,首先需要对常用的音频格式有个大致的了解.在Android平台上,常用的音

  • Android传感器SensorEventListener之加速度传感器

    这个类(我的是Activity中)继承SensorEventListener接口 先获取传感器对象,再获取传感器对象的类型 //获取传感器管理对象 SensorManager mSensorManager = (SensorManager)getSystemService(Context.SENSOR_SERVICE); // 获取传感器的类型(TYPE_ACCELEROMETER:加速度传感器) Sensor mSensor = mSensorManager.getDefaultSensor(

  • Android音频系统AudioTrack使用方法详解

    今天,简单讲讲AudioTrack的使用方法. 1.Android AudioTrack简介 在android中播放声音可以用MediaPlayer和AudioTrack两种方案的,但是两种方案是有很大区别的,MediaPlayer可以播放多种格式的声音文件,例如MP3,AAC,WAV,OGG,MIDI等.而AudioTrack只能播放PCM数据流. 事实上,两种本质上是没啥区别的,MediaPlayer在播放音频时,在framework层还是会创建AudioTrack,把解码后的PCM数流传递

随机推荐