BERTopic 层次聚类实战：从零构建可解释主题模型

1次阅读

没有评论

共计 2439 个字符，预计需要花费 7 分钟才能阅读完成。

传统主题建模方法如 LDA（Latent Dirichlet Allocation）虽然广泛应用，但在实际项目中经常遇到两个核心问题：

主题连贯性差：LDA 基于词袋假设，无法捕捉词语的语义关系，导致 ” 苹果 ”（水果）和 ” 苹果 ”（公司）被归为同一主题
可解释性低：需要人工解读主题词列表，难以直观理解主题间的层次关系

这些问题在短文本（如社交媒体、客服对话）场景中尤为明显。而 BERTopic 通过结合预训练语言模型和层次聚类，有效解决了这些痛点。

与传统方法相比，BERTopic 的层次聚类方案具有三重优势：

语义感知：使用 BERT 等 Transformer 模型生成上下文感知的文本嵌入
动态主题数：HDBSCAN 自动确定最佳聚类数量，避免 LDA 需要预设主题数的困扰
层次化展示：通过树状图直观呈现主题间的包含和并列关系

实验数据显示，在中文电商评论数据集上，BERTopic 的主题连贯性（Coherence Score）比 LDA 平均提升 37%。

首先安装关键库（建议 Python 3.8+ 环境）：

pip install bertopic sentence-transformers umap-learn hdbscan

准备示例数据（以中文新闻标题为例）：

import pandas as pd

data = pd.read_csv('news_titles.csv') 
texts = data['title'].tolist()[:1000]  # 示例取前 1000 条

推荐使用 sentence-transformers 的中文预训练模型：

from sentence_transformers import SentenceTransformer

# 使用轻量级中文模型
embedder = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
embeddings = embedder.encode(texts, show_progress_bar=True)

降维是影响聚类效果的关键步骤，建议配置：

from umap import UMAP

umap_model = UMAP(
    n_neighbors=15,          # 邻域大小
    n_components=5,          # 输出维度  
    min_dist=0.05,           # 控制簇密度
    metric='cosine',         # 适合文本相似度
    random_state=42
)

关键参数解析：

from hdbscan import HDBSCAN

hdbscan_model = HDBSCAN(
    min_cluster_size=10,     # 最小簇大小
    min_samples=5,           # 核心点判定阈值
    cluster_selection_epsilon=0.1,  # 合并小簇
    prediction_data=True,    # 允许预测新数据
    gen_min_span_tree=True   # 生成层次结构
)

组合所有组件并训练：

from bertopic import BERTopic

topic_model = BERTopic(
    embedding_model=embedder,
    umap_model=umap_model,
    hdbscan_model=hdbscan_model,
    language='multilingual',
    verbose=True
)

topics, probs = topic_model.fit_transform(texts)

# 获取前 10 个主题及其代表词
topic_model.get_topic_info().head(10)

# 生成主题树状图
topic_model.visualize_hierarchy()

# 展示主题间语义关系
topic_model.visualize_heatmap()

大规模处理：
使用 bertopic.backend.ClassTfidfTransformer 加速词权重计算
对超长文本先做摘要处理
稳定性保障：
设置 hdbscan_model.cluster_selection_method='leaf' 获得更稳定的小簇
多次运行取一致性高的结果

问题 1 ：出现过多 - 1 类别（噪声点）
解决：调小min_samples 或增大min_cluster_size
问题 2 ：主题词不相关
解决：检查嵌入模型是否匹配语种，尝试更换embedding_model
问题 3 ：运行内存不足
解决：降低umap.n_components 到 3 -5，或使用 bertopic.reduce_topics 合并相似主题

将训练好的模型部署为 API 服务：

from fastapi import FastAPI
import pickle

app = FastAPI()

# 加载保存的模型
with open('bertopic_model.pkl', 'rb') as f:
    model = pickle.load(f)

@app.post("/predict")
async def predict(text: str):
    topic, prob = model.transform([text])
    return {"topic": int(topic[0]), "confidence": float(prob[0])}

通过本文的实践演示，可以看到 BERTopic 层次聚类在中文主题建模中的显著优势。建议读者使用自己的业务数据尝试以下扩展：