Kotlin Android 原生开发：多张图片与音乐合成轮播视频实战指南

1次阅读

没有评论

共计 2878 个字符，预计需要花费 8 分钟才能阅读完成。

在开发图片转视频功能时，很多开发者会第一时间想到 FFmpeg。虽然它功能强大，但在 Android 平台使用存在明显问题：

引入 FFmpeg 会导致 APK 体积显著增加（通常增加 5-10MB）
需要处理不同 CPU 架构的兼容性问题
命令行调用方式在 Android 上不够优雅，容易出现权限问题
性能优化空间有限，难以充分利用硬件加速

对比主流方案后，我选择了 Android 原生多媒体 API：

MediaCodec：硬件加速的编解码器
MediaMuxer：音视频混合器
MediaExtractor：媒体数据提取器

相比第三方库的优势：

无需额外依赖，APK 体积零增长
系统级硬件加速支持
更好的兼容性和稳定性
更精细的性能控制

val format = MediaFormat.createVideoFormat(
    MediaFormat.MIMETYPE_VIDEO_AVC, 
    width, 
    height
).apply {
    setInteger(MediaFormat.KEY_COLOR_FORMAT, 
        MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface)
    setInteger(MediaFormat.KEY_BIT_RATE, bitRate)
    setInteger(MediaFormat.KEY_FRAME_RATE, frameRate)
    setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, iFrameInterval)
}

val encoder = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC)
encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
val inputSurface = encoder.createInputSurface()
encoder.start()

使用 ImageDecoder 替代传统的 BitmapFactory：

val source = ImageDecoder.createSource(contentResolver, uri)
val bitmap = ImageDecoder.decodeBitmap(source) { decoder, _, _ ->
    decoder.allocator = ImageDecoder.ALLOCATOR_SOFTWARE
    decoder.setTargetSize(targetWidth, targetHeight)
}

val extractor = MediaExtractor().apply {setDataSource(audioPath)
}

val audioFormat = run {for (i in 0 until extractor.trackCount) {val format = extractor.getTrackFormat(i)
        if (format.getString(MediaFormat.KEY_MIME)?.startsWith("audio/") == true) {extractor.selectTrack(i)
            return@run format
        }
    }
    null
}

关键同步代码示例：

fun writeSampleData(
    muxer: MediaMuxer,
    trackIndex: Int,
    buffer: ByteBuffer,
    bufferInfo: MediaCodec.BufferInfo
) {if (bufferInfo.presentationTimeUs > lastPresentationTimeUs) {lastPresentationTimeUs = bufferInfo.presentationTimeUs}
    muxer.writeSampleData(trackIndex, buffer, bufferInfo)
}

Bitmap 对象池化：

object BitmapPool {private val pool = Stack<Bitmap>()

    fun get(width: Int, height: Int): Bitmap {return if (pool.isNotEmpty() && pool.peek().width == width 
            && pool.peek().height == height) {pool.pop()
        } else {Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888)
        }
    }

    fun recycle(bitmap: Bitmap) {if (pool.size < MAX_POOL_SIZE) {pool.push(bitmap)
        } else {bitmap.recycle()
        }
    }
}

使用 Coroutine 避免主线程阻塞：

viewModelScope.launch(Dispatchers.Default) {val videoFile = createVideoFromImages(images, audioUri)
    withContext(Dispatchers.Main) {// 更新 UI}
}

针对 Android 10+ 需要添加存储权限：

<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" 
    android:maxSdkVersion="28" />

当音频采样率与视频不匹配时，需要进行重采样：

fun resampleAudio(
    input: ByteArray,
    inputSampleRate: Int,
    outputSampleRate: Int
): ByteArray {val ratio = inputSampleRate.toFloat() / outputSampleRate
    val outputSize = (input.size / ratio).toInt()
    val output = ByteArray(outputSize)
    // 实现重采样算法...
    return output
}

可以在帧渲染时插入过渡帧：