BERTopic数据集实战：从预处理到主题建模的最佳实践

1次阅读

没有评论

共计 2015 个字符，预计需要花费 6 分钟才能阅读完成。

在信息爆炸的时代，企业常常面临海量文本数据的处理需求。无论是用户评论、客服对话还是社交媒体内容，快速理解这些文本的核心主题对业务决策至关重要。传统主题建模方法如 LDA 虽然经典，但存在几个明显痛点：

需要手动指定主题数量，难以适应数据动态变化
对短文本处理效果不佳，难以捕捉语义关联
依赖词频统计，无法理解上下文语义

BERTopic 通过结合 BERT 嵌入和聚类算法，有效解决了这些问题。它能够自动发现数据中的主题结构，对短文本友好，且能捕捉深层语义关系。

BERTopic 的工作流程可以分为三个关键阶段：

文本嵌入：使用预训练语言模型（如 BERT）将文本转换为高维向量
降维聚类：通过 UMAP 降维后，用 HDBSCAN 进行密度聚类
主题表征：基于聚类结果，提取每个主题的关键词

这种架构既保留了 BERT 的语义理解能力，又通过聚类实现了无监督的主题发现。

import pandas as pd
from bertopic import BERTopic
from sklearn.datasets import fetch_20newsgroups

# 示例使用 20newsgroups 数据集
docs = fetch_20newsgroups(subset='all', remove=('headers', 'footers', 'quotes'))['data'][:1000]

# 基础文本清洗函数
def clean_text(text):
    import re
    text = re.sub(r'\[.*?\]', '', text)  # 去除方括号内容
    text = re.sub(r'\<.*?\>', '', text)  # 去除尖括号内容
    text = re.sub(r'http\S+|www.\S+', '', text)  # 去除 URL
    text = re.sub(r'\s+', ' ', text).strip()  # 合并多余空格
    return text

cleaned_docs = [clean_text(doc) for doc in docs]

BERTopic 默认使用 sentence-transformers 库的 all-MiniLM-L6-v2 模型，对于中文文本可以使用paraphrase-multilingual-MiniLM-L12-v2：

topic_model = BERTopic(
    embedding_model='paraphrase-multilingual-MiniLM-L12-v2',
    calculate_probabilities=True
)

# 训练模型
topics, probs = topic_model.fit_transform(cleaned_docs)

# 查看主题信息
print(topic_model.get_topic_info())

nr_topics 参数：
设为 'auto' 自动合并相似主题
或指定固定数量强制合并
min_topic_size：
控制主题最小文档数，默认 10
对小数据集可设为 5 -8
umap_n_neighbors：
控制 UMAP 局部性，默认 15
值越小局部结构越细

# 交互式主题可视化
topic_model.visualize_topics()

# 主题层次结构
topic_model.visualize_hierarchy()

# 主题词分布
topic_model.visualize_barchart(top_n_topics=5)

对于时间序列数据，可以分析主题演变：

import pandas as pd

timestamps = pd.date_range(start="2020-01-01", periods=len(cleaned_docs), freq="D")
topic_model.visualize_topics_over_time(topics_over_time, topics=[1,2,3])