BERTopic 层次聚类实战：从零构建可解释主题模型

共计 1902 个字符，预计需要花费 5 分钟才能阅读完成。

背景痛点：传统主题模型的局限

传统主题模型如 LDA（Latent Dirichlet Allocation）在文本分析中广泛应用，但其存在两个明显短板：

• 主题连贯性差：LDA 基于词袋模型，忽略词语间的语义关系。例如 ” 苹果 ” 和 ”iPhone” 可能被分配到不同主题
• 可解释性低：需要人工解读主题关键词，当主题重叠严重时难以区分

技术对比：BERTopic 的突破

BERTopic 通过三阶段流程解决上述问题：

1. 语义嵌入：使用 Transformer 模型获取文本深层语义表示
2. 降维聚类：UMAP 降维 +HDBSCAN 层次聚类，保留语义关系
3. 主题表征：基于聚类结果提取代表性关键词

相比 LDA 的核心优势：

• 主题边界更清晰（簇分离度提升 30%+）
• 支持动态调整主题粒度
• 可视化解释性更强

核心实现详解

1. 环境准备

# 安装核心库
pip install bertopic sentence-transformers umap-learn hdbscan

2. 文本嵌入配置

推荐使用 sentence-transformers 的中文模型：

from sentence_transformers import SentenceTransformer

# 选用中文预训练模型
embedder = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

3. UMAP 降维要点

from bertopic import BERTopic
from umap import UMAP

# 关键参数说明
umap_model = UMAP(
    n_neighbors=15,        # 增大邻居数可保留更多全局结构
    n_components=5,       # 输出维度建议 5 -10
    min_dist=0.0,         # 0-0.1 可获得更紧凑的簇
    metric='cosine',      # 保持与嵌入模型一致的度量
    random_state=42
)

4. HDBSCAN 参数解析

import hdbscan

cluster_model = hdbscan.HDBSCAN(
    min_cluster_size=10,   # 最小簇大小，根据数据量调整
    min_samples=5,        # 控制簇密度
    cluster_selection_epsilon=0.1,  # 合并相邻簇的阈值
    prediction_data=True   # 必须开启以支持新数据预测
)

完整代码示例

数据预处理

import pandas as pd

# 示例中文数据集
data = pd.read_csv('chinese_texts.csv')
docs = data['text'].tolist()

# 简单清洗
import re
docs = [re.sub(r'[\s+\\.!/_,$%^*()\"\']+', '', d) for d in docs]

模型训练

topic_model = BERTopic(
    embedding_model=embedder,
    umap_model=umap_model,
    hdbscan_model=cluster_model,
    language='multilingual',
    verbose=True
)

topics, probs = topic_model.fit_transform(docs)

结果可视化

# 主题间关系图
topic_model.visualize_topics()

# 主题关键词
topic_model.visualize_barchart(top_n_topics=10)

生产环境优化建议

1. 大规模处理：
2. 使用 bertopic.backend.OnlineBackend 增量训练

3. 对嵌入结果进行 FAISS 索引加速

4. 稳定性保障：

5. 设置 hdbscan.cluster_selection_method='leaf' 获得更稳定划分
6. 多次运行取一致性最高的结果

常见问题解决

• 问题 1 ：所有文本被归为 - 1 类（噪声）

• 方案：降低 min_cluster_size 或增大min_samples

• 问题 2 ：主题过多 / 过少

• 调整 UMAP 的 n_neighbors 和 HDBSCAN 的cluster_selection_epsilon

• 问题 3 ：短文本效果差

• 尝试 embedding_model = 'all-MiniLM-L6-v2' 等更适合短文本的模型

业务集成思路

1. 实时分类：将训练好的 topic_model 持久化，加载预测新数据
2. 异常监测：追踪 - 1 类（噪声）占比变化发现新兴话题
3. 知识图谱：将高频主题词作为节点构建关系网络

实践建议

建议从中文新闻数据集（如 THUCNews）开始实验，逐步调整参数观察以下指标：

• 平均主题相似度（应较低）
• 主题关键词人工可读性
• 噪声点比例（建议 <20%）

期待你在自己业务数据上的实践发现！遇到具体问题时，欢迎在评论区交流讨论。