CiteSpace聚类命名冲突问题分析与解决方案

1次阅读

没有评论

共计 1604 个字符，预计需要花费 5 分钟才能阅读完成。

CiteSpace 作为文献计量分析的重要工具，在生成聚类时经常会出现命名重复的问题。具体表现为：

自动生成的聚类标签重复率可达 15%-30%，尤其是在处理大规模文献时
重复标签会导致文献共现网络分析结果难以解读
影响聚类间的区分度，降低可视化效果

这个问题主要源于 CiteSpace 默认基于词频的命名方法，缺乏对语义相似度的考量。

传统基于词频的命名方法存在明显局限：

仅考虑词频，忽略语义
无法识别同义词和近义词
对领域术语不敏感

改进方案采用 TF-IDF 加权和词向量相似度计算：

TF-IDF 加权突出领域关键词
词向量捕捉语义关系
相似度计算识别重复标签

算法设计包含三个核心步骤：

预处理模块
相似度计算
新标签生成

以下是完整的实现代码，包含详细注释：

# 预处理模块
import re
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer

def preprocess_text(text):
    """
    文本预处理函数
    包含：去标点、停用词过滤、词干提取
    """
    # 去除非字母字符
    text = re.sub(r'[^a-zA-Z]', ' ', text)

    # 转换为小写
    text = text.lower()

    # 分词
    words = text.split()

    # 停用词过滤
    stop_words = set(stopwords.words('english'))
    words = [w for w in words if not w in stop_words]

    # 词干提取
    ps = PorterStemmer()
    words = [ps.stem(w) for w in words]

    return ' '.join(words)

# 相似度计算模块
from gensim.models import Word2Vec
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

def calculate_similarity(model, label1, label2):
    """
    计算两个标签的语义相似度
    返回 0 - 1 之间的相似度值
    """
    # 获取词向量
    vec1 = np.mean([model.wv[word] for word in label1.split() if word in model.wv], axis=0)
    vec2 = np.mean([model.wv[word] for word in label2.split() if word in model.wv], axis=0)

    # 计算余弦相似度
    sim = cosine_similarity([vec1], [vec2])[0][0]

    return sim