BERTopic聚类技术解析：从文本向量化到主题建模实战

1次阅读

共计 2747 个字符，预计需要花费 7 分钟才能阅读完成。

在文本聚类领域，LDA（Latent Dirichlet Allocation）和 NMF（Non-Negative Matrix Factorization）长期占据主导地位。但随着互联网短文本（如微博、评论）的爆发式增长，这些传统方法暴露出明显短板：

词袋模型缺陷：忽略词序和上下文，” 苹果手机 ” 和 ” 吃苹果 ” 被等同处理
短文本稀疏性：用户评论等短文本特征稀疏，导致主题分布模糊
多义词歧义：”Python” 可能指编程语言或蟒蛇，传统方法无法区分

这些问题的本质是语义理解能力的缺失。举个真实案例：我们曾用 LDA 分析电商评论，” 屏幕大 ” 和 ” 声音大 ” 被归入同一主题，只因共现高频词 ” 大 ”。

维度	LDA/NMF	Top2Vec	BERTopic
语义理解	词频统计	句向量平均	动态上下文编码
降维方式	TF-IDF	自定义编码	UMAP+HDBSCAN
主题连贯性(20Newsgroups)	0.45	0.58	0.72
训练速度(10k 文档)	2 分钟	15 分钟	8 分钟

关键差异在于：BERTopic 利用 BERT 的上下文感知能力，”bank” 在 ”river bank” 和 ”bank account” 中会获得不同向量表示，从根本上解决多义词问题。

from transformers import AutoModel, AutoTokenizer
import torch

# 建议使用蒸馏版模型平衡性能与速度
model_name = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

def get_embeddings(texts):
    inputs = tokenizer(texts, return_tensors="pt", 
                      padding=True, truncation=True, max_length=128)
    with torch.no_grad():
        outputs = model(**inputs)
    # 取 [CLS] 位置作为句向量
    return outputs.last_hidden_state[:, 0, :].numpy()

from umap import UMAP

# 关键参数：n_neighbors 控制局部 / 全局结构平衡
umap_model = UMAP(n_components=5, 
                 n_neighbors=15, 
                 min_dist=0.1, 
                 metric="cosine")
embeddings_2d = umap_model.fit_transform(bert_embeddings)

from hdbscan import HDBSCAN

# min_cluster_size 取决于数据规模
clusterer = HDBSCAN(min_cluster_size=50, 
                   metric="euclidean", 
                   cluster_selection_method="eom")
topic_labels = clusterer.fit_predict(embeddings_2d)

from wordcloud import WordCloud
import matplotlib.pyplot as plt

def show_wordcloud(freq_dict):
    wc = WordCloud(width=800, height=400, 
                  background_color="white").generate_from_frequencies(freq_dict)
    plt.imshow(wc, interpolation="bilinear")
    plt.axis("off")
    plt.show()

# 获取每个主题的 top 词频（完整代码需结合 TF-IDF 统计）topic_words = {"AI": {"neural":0.8, "network":0.7}, "Sports": {"game":0.9}}
for topic, words in topic_words.items():
    show_wordcloud(words)

n_gram 范围 ：产品评论建议(1,3) 捕捉 ” 续航时间久 ” 等短语，新闻文本 (1,2) 即可
min_cluster_size：经验公式 总文档数 / 预期主题数 /3，需配合 cluster_selection_epsilon 微调
stop_words：不仅要移除通用停用词，还需添加领域特定干扰词（如电商中的 ” 卖家 ”” 物流 ”）

批量处理 ：每 5000 条文档做一次 bert 嵌入，用numpy.memmap 存储中间结果
内存映射 ：UMAP(transform_seed=42) 保证分批次降维时结果可复现
主题合并 ：设置calculate_probabilities=True 后，用 merge_topics 合并相似主题

在 20 个新闻组数据集（18846 条）上测得：

方法	Coherence(C_V)	主题数	训练时间
LDA	0.51	20	1.2min
BERTopic	0.68	23	6.5min

可视化验证（t-SNE 版本）：

from sklearn.manifold import TSNE
import seaborn as sns

tsne = TSNE(n_components=2, perplexity=30)
vis_embeddings = tsne.fit_transform(bert_embeddings)

plt.figure(figsize=(12,8))
sns.scatterplot(x=vis_embeddings[:,0], y=vis_embeddings[:,1], 
               hue=topic_labels, palette="viridis", 
               alpha=0.6, s=10)
plt.title("BERTopic 聚类效果可视化")
plt.show()