Android开发中的AI提示词工程：从原理到落地实践

1次阅读

没有评论

共计 3187 个字符，预计需要花费 8 分钟才能阅读完成。

在移动开发中引入 AI 能力已经成为趋势，但如何让 AI 提示词功能在 Android 设备上流畅运行却充满挑战。本文将带你从原理到实践，一步步解决这个难题。

开发者在 Android 端实现 AI 提示词功能时，通常会遇到三个典型问题：

网络延迟问题 ：当使用云端 API 时，网络请求的延迟会导致用户体验卡顿，特别是在弱网环境下
多语言支持复杂 ：不同语言的分词规则差异大，中文等非拉丁语系需要特殊处理
资源占用高 ：大型语言模型在移动设备上运行时，容易导致内存溢出和发热

实现 AI 提示词功能有两种主要方式，各有优缺点：

云端 API 调用
优点：无需考虑模型大小，可以使用最新最强大的模型
缺点：依赖网络，有隐私风险，长期使用成本高
本地模型部署
优点：响应快，数据隐私有保障，一次部署长期使用
缺点：需要处理模型压缩和优化问题

对于大多数 Android 应用场景，本地模型部署是更优的选择。

首先需要将训练好的模型转换为 TensorFlow Lite 格式：

import tensorflow as tf

# 加载原始模型
model = tf.keras.models.load_model('original_model.h5')

# 转换为 TFLite 格式
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]  # 启用默认优化

tflite_model = converter.convert()

# 保存模型
with open('optimized_model.tflite', 'wb') as f:
    f.write(tflite_model)

在 Android 项目中添加 TensorFlow Lite 依赖：

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:2.8.0'
    implementation 'org.tensorflow:tensorflow-lite-support:0.4.0'
}

创建一个专门的 ViewModel 来处理 AI 提示词逻辑：

class AIPromptViewModel(application: Application) : AndroidViewModel(application) {
    // 加载 TFLite 模型
    private val model: Interpreter by lazy {val modelFile = loadModelFile(application)
        Interpreter(modelFile, Interpreter.Options())
    }

    private fun loadModelFile(context: Context): MappedByteBuffer {val assetFileDescriptor = context.assets.openFd("optimized_model.tflite")
        val inputStream = FileInputStream(assetFileDescriptor.fileDescriptor)
        val channel = inputStream.channel
        val startOffset = assetFileDescriptor.startOffset
        val declaredLength = assetFileDescriptor.declaredLength
        return channel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength)
    }

    // 使用协程处理异步推理
    fun generatePrompt(input: String): Deferred<String> = CoroutineScope(Dispatchers.Default).async {
        // 预处理输入
        val processedInput = preprocessInput(input)

        // 执行推理
        val output = Array(1) {FloatArray(OUTPUT_SIZE) }
        model.run(processedInput, output)

        // 后处理输出
        postprocessOutput(output[0])
    }

    // 其他辅助方法...
}

实现一个带时间戳的 LRU 缓存：

class PromptCache(private val maxSize: Int) {private val cache = object : LinkedHashMap<String, CacheEntry>(maxSize, 0.75f, true) {override fun removeEldestEntry(eldest: MutableMap.MutableEntry<String, CacheEntry>): Boolean {return size > maxSize}
    }

    data class CacheEntry(val prompt: String, val timestamp: Long)

    fun get(key: String): String? {val entry = cache[key] ?: return null
        // 检查是否过期（比如 1 小时）if (System.currentTimeMillis() - entry.timestamp > 3600000) {cache.remove(key)
            return null
        }
        return entry.prompt
    }

    fun put(key: String, prompt: String) {cache[key] = CacheEntry(prompt, System.currentTimeMillis())
    }
}

使用 Kotlin 协程正确处理后台任务：

class MainActivity : AppCompatActivity() {private val viewModel by viewModels<AIPromptViewModel>()
    private var promptJob: Job? = null

    fun onGeneratePromptClick() {promptJob?.cancel()  // 取消之前的请求

        promptJob = lifecycleScope.launch {
            try {val prompt = viewModel.generatePrompt(inputText).await()
                updateUI(prompt)
            } catch (e: CancellationException) {// 处理取消} catch (e: Exception) {// 处理错误}
        }
    }

    override fun onDestroy() {super.onDestroy()
        promptJob?.cancel()}
}