ChatGPT降智检测实战：基于概率分布与语义连贯性的解决方案

1次阅读

共计 2097 个字符，预计需要花费 6 分钟才能阅读完成。

ChatGPT 生成内容质量下降时，通常会在两个维度表现出异常：

概率分布特征
局部 token 概率分布与训练数据出现显著偏离（如突然出现低频词扎堆）
长尾词使用频率异常升高（正常情况应遵循 zipf 定律）
连续 token 间的概率跳变幅度超过阈值（反映模型 ” 信心 ” 波动）
语义特征
前后文指代关系断裂（如代词指代不明）
事实陈述自相矛盾（同一段落中出现对立观点）
话题漂移速度异常（缺乏合理的过渡衔接）

指标类型	计算效率	领域适应性	典型误判场景
困惑度	高	低	专业术语密集文本
N-gram 偏离度	中	中	创意性表达段落
BERTScore	低	高	文化特定隐喻

实际应用中推荐组合使用：
– N-gram 偏离度用于快速初筛
– BERTScore 用于重点段落复核

import numpy as np
from collections import Counter

def calculate_kl_divergence(reference_text, generated_text, n=3):
    """
    计算生成文本与参考语料的 N -gram 分布差异
    :param reference_text: 训练数据样例 (字符串或列表)
    :param generated_text: 待检测文本
    :param n: n-gram 阶数
    :return: KL 散度值
    """
    # 构建参考语料 n -gram 分布
    ref_ngrams = Counter(zip(*[reference_text[i:] for i in range(n)]))
    total_ref = sum(ref_ngrams.values())
    ref_probs = {k: v/total_ref for k,v in ref_ngrams.items()}

    # 计算生成文本分布    
    gen_ngrams = Counter(zip(*[generated_text[i:] for i in range(n)]))
    total_gen = sum(gen_ngrams.values())
    gen_probs = {k: (v/total_gen if total_gen>0 else 1e-10) for k,v in gen_ngrams.items()}

    # 计算 KL 散度
    kl_div = 0.0
    for gram in gen_probs:
        p = ref_probs.get(gram, 1e-10)
        q = gen_probs[gram]
        kl_div += q * np.log(q / p)

    return kl_div

from transformers import BertTokenizer, BertForSequenceClassification
import torch

def semantic_coherence_score(text_segments, model_name='bert-base-uncased'):
    """
    基于预训练模型的上下文连贯性评分
    :param text_segments: 待检测文本片段列表
    :param model_name: 预训练模型名称
    :return: 平均连贯性得分 (0-1)
    """
    tokenizer = BertTokenizer.from_pretrained(model_name)
    model = BertForSequenceClassification.from_pretrained(model_name)

    scores = []
    for i in range(len(text_segments)-1):
        # 构建前后句对
        inputs = tokenizer(text_segments[i], text_segments[i+1], 
                          return_tensors='pt', truncation=True, max_length=512)

        with torch.no_grad():
            outputs = model(**inputs)
            logits = outputs.logits
            prob = torch.softmax(logits, dim=1)[0][1].item()  # 取连贯性概率

        scores.append(prob)

    return sum(scores)/len(scores) if scores else 1.0