CiteSpace关键词聚类实战：从数据清洗到可视化分析的全流程优化

1次阅读

共计 2267 个字符，预计需要花费 6 分钟才能阅读完成。

在科研文献分析中，关键词聚类是揭示研究热点和趋势的重要手段。但原始数据往往存在以下问题：

关键词噪声大：作者自定关键词存在拼写变体（如 ”machine learning” 和 ”ML”）、缩写和停用词干扰
共现矩阵稀疏：学科交叉文献中关键词共现频率低，导致聚类结果碎片化
参数敏感度高：CiteSpace 默认设置可能不适合特定领域，需要反复试错

使用 Python 进行关键词清洗的典型流程：

import pandas as pd
from nltk.stem import PorterStemmer
import re

def clean_keywords(text):
    # 统一小写并移除标点
    text = re.sub(r'[^\w\s]', '', text.lower())
    # 词干提取
    stemmer = PorterStemmer()
    return ' '.join([stemmer.stem(word) for word in text.split()])

# 示例：处理 WOS 导出的 CSV
df = pd.read_csv('literature.csv')
df['keywords'] = df['keywords'].apply(lambda x: ';'.join([clean_keywords(kw) for kw in str(x).split(';')])
)

关键改进点：

建立领域停用词表（如 ”study”、”analysis” 等无意义高频词）
使用 Levenshtein 距离合并相似关键词（阈值建议 0.85-0.9）
保留专业术语缩写对照表（如 ”Artificial Intelligence”→”AI”）

传统计数法的改进方案：

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

def build_co_matrix(texts, top_k=200):
    # 提取 TF-IDF 加权关键词
    vectorizer = TfidfVectorizer(max_features=top_k)
    tfidf = vectorizer.fit_transform(texts)

    # 构建共现矩阵
    vocab = vectorizer.get_feature_names_out()
    co_matrix = np.zeros((len(vocab), len(vocab)))

    for doc in texts:
        words = set(doc.split())
        indices = [i for i, w in enumerate(vocab) if w in words]
        for i in indices:
            for j in indices:
                if i != j:
                    co_matrix[i][j] += 1

    return co_matrix, vocab

优势对比：

方法	优点	缺点
传统计数法	计算简单	忽略词频差异
TF-IDF 加权	突出特色关键词	需要调参
Word2Vec 增强	捕获语义关系	计算复杂度高

适用场景：学科交叉性强、簇大小不均匀的数据
参数建议：
分辨率参数 (resolution) 通常设为 1.0-2.0
模块度(Q 值)>0.3 认为聚类有效

适用场景：希望控制聚类数量的场景
改进方案：
用轮廓系数确定最佳 K 值
初始化采用 k -means++

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

def optimal_k(matrix, max_k=10):
    scores = []
    for k in range(2, max_k+1):
        km = KMeans(n_clusters=k, init='k-means++')
        labels = km.fit_predict(matrix)
        scores.append(silhouette_score(matrix, labels))
    return np.argmax(scores) + 2  # 返回最佳 K 值

关键参数调整策略：