CiteSpace关键词聚类实战：从数据清洗到可视化分析的全流程优化

1次阅读

共计 2476 个字符，预计需要花费 7 分钟才能阅读完成。

在科研文献分析中，关键词聚类是快速把握领域热点的重要方法。但实际操作时，我们常遇到这些典型问题：

数据噪声问题 ：原始文献中的关键词存在大量拼写变体（如 ”machine-learning” 和 ”machine learning”）、缩写全称混用（如 ”AI” 和 ”Artificial Intelligence”）以及无意义的通用词（如 ”study”、”analysis”）
矩阵稀疏性问题 ：在中小规模数据集中，传统共现矩阵会出现大量零值，影响聚类效果
结果不稳定性 ：相同的参数设置在不同运行时可能产生差异显著的聚类结果

使用 Python 进行数据清洗的完整流程：

import pandas as pd
import nltk
from nltk.stem import WordNetLemmatizer

# 初始化词形还原器
lemmatizer = WordNetLemmatizer()

def clean_keywords(df):
    """
    关键词清洗函数
    :param df: 包含原始关键词列的 DataFrame
    :return: 清洗后的 DataFrame
    """
    # 统一转小写
    df['keywords'] = df['keywords'].str.lower()

    # 替换常见变体
    replace_dict = {r'\bmachine[-\s]?learning\b': 'machine_learning',
        r'\bai\b': 'artificial_intelligence'
    }
    for pat, repl in replace_dict.items():
        df['keywords'] = df['keywords'].str.replace(pat, repl)

    # 词形还原
    df['keywords'] = df['keywords'].apply(lambda x: ';'.join([lemmatizer.lemmatize(w) for w in x.split(';')])
    )

    return df

传统 Jaccard 相似度计算的改进方案：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def build_enhanced_matrix(docs):
    """
    构建增强型共现矩阵
    :param docs: 已清洗的关键词列表（每篇文献的关键词用分号分隔）:return: 加权共现矩阵
    """
    # TF-IDF 加权
    vectorizer = TfidfVectorizer(tokenizer=lambda x: x.split(';'))
    tfidf = vectorizer.fit_transform(docs)

    # 余弦相似度矩阵
    sim_matrix = cosine_similarity(tfidf.T)

    # 加入共现频次信息
    cooc = pd.DataFrame(0, index=vectorizer.get_feature_names_out(), 
                        columns=vectorizer.get_feature_names_out())
    for doc in docs:
        words = doc.split(';')
        for i in range(len(words)):
            for j in range(i+1, len(words)):
                cooc.loc[words[i], words[j]] += 1

    # 综合矩阵
    enhanced_matrix = sim_matrix * (1 + np.log(cooc.values + 1))

    return enhanced_matrix

算法特性	Louvain	K-means
适用场景	大规模网络结构	明确指定聚类数
参数敏感性	分辨率参数 (resolution)	K 值选择
计算复杂度	O(n log n)	O(nki)
模块度范围	通常 0.3-0.7	需通过轮廓系数评估

建议实践方案：

先用 Louvain 进行探索性分析
根据模块度峰值确定合理聚类数
用 K -means 进行精细调整

关键参数设置建议：

节点大小 ：映射到 Betweenness Centrality 而非简单频次
颜色方案 ：
使用 ColorBrewer 的定性色板
相邻聚类采用明显对比色
标签显示 ：
只显示中心度 Top 20% 的标签
设置最小标签间距为 15 像素

// CiteSpace 配置文件示例
network {
    node {
        scalingFactor = 1.8
        labelThreshold = 0.2
        minLabelDist = 15
    }
    cluster {
        palette = "Spectral"
        borderWidth = 2
    }
}