AI大模型智能体实战：从语义理解到RAG检索的新手指南

1次阅读

共计 1710 个字符，预计需要花费 5 分钟才能阅读完成。

AI 大模型智能体的核心价值在于将通用语言模型转化为能完成特定任务的 ” 数字员工 ”。比如客服场景中，它需要理解用户问题（语义理解）、查找产品手册（RAG 检索）、生成友好回复（内容生成）。传统纯 LLM 方案就像让大学生临时抱佛脚考试，而 RAG 增强方案则是开卷考——允许模型随时查阅参考资料。

纯 LLM 方案
优点：实现简单，直接调用 API 即可
缺点：知识固化在模型中，无法动态更新；容易产生幻觉回答
适用场景：通用闲聊、创意写作
RAG 增强方案
优点：支持实时知识更新；回答更具事实依据
缺点：需要维护向量数据库；检索延迟增加
适用场景：客服、法律咨询等专业领域

from transformers import AutoTokenizer, AutoModel

# 加载预训练模型（建议使用小参数量的句子嵌入模型）model_name = "sentence-transformers/all-MiniLM-L6-v2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

def get_embedding(text):
    inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)
    with torch.no_grad():
        outputs = model(**inputs)
    # 使用均值池化获得句子向量
    return torch.mean(outputs.last_hidden_state, dim=1)

import chromadb

# 创建内存型向量数据库
client = chromadb.Client()
collection = client.create_collection("knowledge_base")

# 添加文档（实际应用时应批量导入）docs = ["产品 A 保修期 2 年", "产品 B 需要每月维护"]
collection.add(
    documents=docs,
    ids=[f"id{i}" for i in range(len(docs))]
)

def retrieve(query_embedding, top_k=3):
    results = collection.query(query_embeddings=[query_embedding.tolist()[0]],
        n_results=top_k
    )
    return results['documents'][0]

def build_prompt(query, retrieved_docs):
    return f""" 基于以下背景信息回答问题：{''.join(retrieved_docs)}

问题：{query}
请用中文简洁回答，若不确定请说明 "根据现有资料..."
"""

# 调用 LLM 示例（实际使用时替换为真实 API）def call_llm(prompt):
    return "Mock: 产品 A 的保修期是 2 年"