CiteSpace聚类数量优化指南：从算法原理到参数调优

1次阅读

没有评论

共计 1952 个字符，预计需要花费 5 分钟才能阅读完成。

在科学知识图谱构建中，聚类数量直接影响研究前沿识别的精度。《科学计量学》2021 年的研究表明，不当的聚类数量会导致：

过拟合 ：产生大量微小碎片化聚类（平均 <5 篇文献）
欠聚类 ：掩盖真实存在的细分研究主题（如将‘机器学习’与‘深度学习’强行合并）

理想聚类应满足：

类内文献强相关性（高模块度 modularity）
类间边界清晰（轮廓系数 >0.5）
与领域专家认知一致（需人工校验）

数学原理：

$$LLR(t,c) = 2 \sum_{t,c} O_{t,c} \log\left(\frac{O_{t,c}}{E_{t,c}}\right)$$

优势：对高频词敏感，适合主流学科
案例：在 COVID-19 研究中能有效区分‘疫苗开发’与‘传播模型’

$$MI(X,Y) = \sum_{y\in Y} \sum_{x\in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$$

特性：捕捉非对称共现关系，适合跨学科研究
实测：在‘人工智能 + 医疗’领域比 LLR 多识别 17% 的交叉主题

忽略词序（‘深度学习模型’≠‘模型深度学习’）
长尾词权重过高（如特定化学物质名称）
建议：结合 n -gram 改进

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer

# 去重与清洗
df = pd.read_csv('wos_data.csv')
df = df.drop_duplicates('DOI')

def clean_text(text):
    # 自定义停用词表 + 领域术语保护
    stopwords = set(['however', 'therefore']) 
    protected_terms = ['COVID-19', 'machine_learning']
    # 处理逻辑...
    return processed_text

df['clean_abstract'] = df['Abstract'].apply(clean_text)

关键步骤：

保护连词术语（如‘deep_learning’转为单个 token）
移除低信息量高频词（‘this study’,‘results show’）
保留数字与特殊符号（化学式、基因编号等）

$$s(i) = \frac{b(i) – a(i)}{\max{a(i),b(i)}}$$

Matplotlib 可视化：

from sklearn.metrics import silhouette_samples
import matplotlib.pyplot as plt

# 计算每个样本的轮廓系数
sample_silhouette_values = silhouette_samples(X, cluster_labels)

# 绘制横向条形图
plt.barh(range(len(X)), sample_silhouette_values, height=1.0)
plt.axvline(x=np.mean(sample_silhouette_values), color="red", linestyle="--")

$$Q = \frac{1}{2m} \sum_{ij} \left[A_{ij} – \frac{k_i k_j}{2m} \right] \delta(c_i,c_j)$$