BERTopic聚类图实战：从原理到可视化最佳实践

1次阅读

共计 1350 个字符，预计需要花费 4 分钟才能阅读完成。

文本聚类结果的可视化一直是 NLP 领域的挑战。传统方法如 PCA 或 t -SNE 在处理高维文本嵌入时，常面临维度灾难和语义失真问题。维度灾难导致可视化结果难以解释，而语义失真则使得聚类结果与原始文本的语义关联性降低。

以下是 PCA、t-SNE 和 UMAP 在 BERTopic 中的投影效果对比：

方法	计算复杂度	保持全局结构	保持局部结构	适合大规模数据
PCA	低	是	否	是
t-SNE	高	否	是	否
UMAP	中	是	是	是

从表中可以看出，UMAP 在保持全局和局部结构之间取得了较好的平衡，适合用于 BERTopic 的可视化。

分步骤讲解 `visualize_topics()` 方法底层实现

文本嵌入：使用预训练的 BERT 模型将文本转换为高维向量。
降维：使用 UMAP 将高维向量降至 2D 或 3D。
聚类：使用 HDBSCAN 对降维后的数据进行聚类。
可视化：使用 matplotlib 或 Plotly 绘制聚类图。

from bertopic import BERTopic
from umap import UMAP
import numpy as np

# 初始化 BERTopic 模型
model = BERTopic(
    embedding_model="all-MiniLM-L6-v2",
    umap_model=UMAP(n_components=2, random_state=42)
)

# 训练模型
topics, probs = model.fit_transform(docs)

# 可视化聚类图
fig = model.visualize_topics()
fig.show()

使用稀疏矩阵 ：对于大规模数据，使用scipy.sparse 矩阵来存储嵌入向量。
分批处理：将数据分成小批次进行嵌入和降维。

调整 HDBSCAN 参数 ：如min_cluster_size 和min_samples。
后处理 ：使用model.reduce_outliers 方法处理离群点。

import matplotlib.pyplot as plt

plt.rcParams["figure.figsize"] = (12, 8)
plt.rcParams["font.size"] = 12

import plotly.express as px

fig = px.scatter(x=reduced_embeddings[:, 0],
    y=reduced_embeddings[:, 1],
    color=topics,
    hover_data=[docs]
)
fig.show()

点击这里访问 Colab 实践链接