ChatGPT Mini 入门指南：从零搭建轻量级对话模型

1次阅读

共计 2415 个字符，预计需要花费 7 分钟才能阅读完成。

轻量级对话模型在客服机器人、智能助手、教育应用等场景中具有广泛需求。相比大型模型，它们具有以下优势：

资源消耗低：可在消费级硬件上运行
响应速度快：适合实时交互场景
部署成本低：对云服务资源要求不高

常见轻量级对话模型对比：

模型名称	参数量	训练数据量	支持语言	特点
ChatGPT Mini	124M	40GB	多语言	响应快，易微调
DialoGPT	117M	147M 对话	英语	专注对话连贯性
BlenderBot-Small	90M	1.4B 对话	英语	支持多轮复杂对话

ChatGPT Mini 在多语言支持和易用性方面表现突出，适合快速搭建原型。

pip install transformers torch

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载预训练模型和分词器
model_name = "microsoft/DialoGPT-small"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 生成回复
def generate_response(input_text):
    inputs = tokenizer.encode(input_text + tokenizer.eos_token, return_tensors="pt")
    outputs = model.generate(inputs, max_length=1000, pad_token_id=tokenizer.eos_token_id)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# 上下文管理器
class Conversation:
    def __init__(self):
        self.history = []

    def add_message(self, role, content):
        self.history.append({"role": role, "content": content})

    def get_context(self):
        return "\n".join([f"{msg['role']}: {msg['content']}" for msg in self.history])

# 简单意图分类器
intent_keywords = {"greeting": ["你好", "hi", "hello"],
    "farewell": ["再见", "bye"],
    "question": ["吗", "?", "如何"]
}

def detect_intent(text):
    for intent, keywords in intent_keywords.items():
        if any(keyword in text for keyword in keywords):
            return intent
    return "unknown"

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

class ChatBot:
    def __init__(self, model_name="microsoft/DialoGPT-small"):
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.model = AutoModelForCausalLM.from_pretrained(model_name)
        self.conversation = Conversation()

    def respond(self, user_input):
        try:
            # 记录用户输入
            self.conversation.add_message("用户", user_input)

            # 获取对话上下文
            context = self.conversation.get_context()

            # 生成回复
            inputs = self.tokenizer.encode(context + self.tokenizer.eos_token, 
                                          return_tensors="pt")
            outputs = self.model.generate(
                inputs, 
                max_length=1000,
                pad_token_id=self.tokenizer.eos_token_id,
                do_sample=True,
                top_k=50,
                top_p=0.95
            )

            # 提取最新回复
            response = self.tokenizer.decode(outputs[:, inputs.shape[-1]:][0], 
                                           skip_special_tokens=True)

            # 记录 AI 回复
            self.conversation.add_message("AI", response)

            return response

        except Exception as e:
            print(f"Error: {str(e)}")
            return "抱歉，我遇到了一些问题"