Android词嵌入模型实战：从零构建到性能优化指南

1次阅读

共计 2459 个字符，预计需要花费 7 分钟才能阅读完成。

在 Android 设备上部署词嵌入模型时，我们主要面临三个关键问题：

模型体积限制 ：移动端存储空间有限，原始 BERT 模型动辄 400MB+ 的体积显然不现实
实时性要求 ：用户输入需要毫秒级响应，而复杂模型推理可能导致卡顿
资源竞争 ：CPU/GPU 资源需与其他应用共享，后台服务可能随时被系统回收

直接加载 TensorFlow 模型
优点：开发简单，支持完整 TF 算子
缺点：APK 体积暴增，初始化耗时长达 3 - 5 秒
TensorFlow Lite 转换量化
动态范围量化：模型缩小 75%，精度损失 <2%
全整型量化：需校准数据集，适合 CPU 推理
MobileBERT 方案
专为移动端优化的 BERT 变体
4.3MB 超小体积，速度比基准快 4 倍

在 app/build.gradle 中添加依赖：

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:2.8.0'
    implementation 'org.tensorflow:tensorflow-lite-support:0.4.0'
    implementation 'org.tensorflow:tensorflow-lite-metadata:0.4.0'
}

import tensorflow as tf

# 加载原始模型
model = tf.keras.models.load_model('word_embedding.h5')

# 转换为 TFLite 格式
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()

# 保存模型
with open('embedding.tflite', 'wb') as f:
    f.write(tflite_model)

class WordEmbedder(context: Context) {
    // 1. 模型加载
    private val model: Interpreter by lazy {val options = Interpreter.Options().apply {setNumThreads(4)  // 使用 4 线程
        }
        val modelFile = loadModelFile(context)
        Interpreter(modelFile, options)
    }

    // 2. 文本预处理
    fun preprocess(text: String): FloatArray {return text.split(" ")
            .map {it.hashCode() % vocabSize }  // 简化版哈希编码
            .map { wordId ->
                // 实际项目应使用正规 tokenizer
                wordId.toFloat() / vocabSize}
            .toFloatArray()}

    // 3. 执行推理
    fun embed(text: String): FloatArray {val input = preprocess(text)
        val output = Array(1) {FloatArray(embeddingDim) }
        model.run(arrayOf(input), output)
        return output[0]
    }
}

方案	模型大小	推理延迟 (ms)	准确率
原始 FP32 模型	82MB	143	98.7%
动态范围量化	21MB	89	98.2%
全整型量化	6.4MB	47	97.1%

创建固定大小线程池
批量处理输入队列
避免推理过程中内存分配

val executor = Executors.newFixedThreadPool(4)

fun batchProcess(texts: List<String>): List<FloatArray> {
    val futures = texts.map { text ->
        executor.submit<FloatArray> {embedder.embed(text) }
    }
    return futures.map {it.get() }
}

在 Application 类中初始化 LeakCanary：

class MyApp : Application() {override fun onCreate() {super.onCreate()
        if (BuildConfig.DEBUG) {
            LeakCanary.config = LeakCanary.config.copy(retainedVisibleThreshold = 3)
            AppWatcher.manualInstall(this)
        }
    }
}

<uses-sdk 
    android:minSdkVersion="21"
    android:targetSdkVersion="33" />

<uses-feature 
    android:name="android.hardware.arm.neon"
    android:required="false" />