ChatGPT会造假文献吗？技术手段验证与防范指南

1次阅读

没有评论

共计 1649 个字符，预计需要花费 5 分钟才能阅读完成。

近来，ChatGPT 等大型语言模型在学术领域的应用引发了广泛关注。虽然这些模型能够生成格式规范、语言流畅的学术文献，但其中可能存在虚构内容的问题也逐渐浮出水面。

典型特征 ：AI 生成的文献往往具有完美的引用格式和标准的学术用语，但引用的文献可能完全不存在，或者内容与真实文献不符。
已知案例 ：2023 年《Nature》杂志披露了多起由 AI 生成的伪造论文事件，这些论文通过了初步的格式审查，但在专业评审阶段被发现内容存在严重问题。

为了有效识别 AI 生成的虚假文献，我们提出了一套分层验证的技术方案：

元数据是文献的第一道防线，通过对文献基础信息的校验可以快速识别明显的伪造。

DOI 校验 ：使用 CrossRef API 验证文献的 DOI 是否存在。
期刊 ISSN 验证 ：检查文献声称的期刊 ISSN 是否与官方记录一致。

import requests

def verify_doi(doi):
    try:
        response = requests.get(f"https://api.crossref.org/works/{doi}")
        return response.status_code == 200
    except Exception as e:
        print(f"DOI 验证出错: {e}")
        return False

通过文本相似度分析，比较目标文献与已知文献库的内容差异。

from sklearn.feature_extraction.text import TfidfVectorizer

def calculate_similarity(text1, text2):
    vectorizer = TfidfVectorizer()
    tfidf = vectorizer.fit_transform([text1, text2])
    return (tfidf * tfidf.T).A[0,1]

使用 BERT 等预训练模型检测文献的逻辑连贯性和语义合理性。

from transformers import BertTokenizer, BertModel
import torch

def check_semantic_coherence(text):
    tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
    model = BertModel.from_pretrained('bert-base-uncased')
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
    with torch.no_grad():
        outputs = model(**inputs)
    # 这里可以添加自定义的逻辑连贯性评估算法
    return outputs

在实际应用中，我们需要考虑系统的性能和稳定性。