ChatGPT降重指令实战：从原理到工程化解决方案

1次阅读

共计 1664 个字符，预计需要花费 5 分钟才能阅读完成。

最近在用 ChatGPT 生成技术文档时，发现一个头疼的问题：虽然每次生成的内容看似不同，但用查重工具一测，重复率经常高达 30%-40%。查了 ACL 2022 的一篇论文《Neural Text Degeneration》才发现，LLM 生成文本的重复率普遍比人类写作高 2 - 3 倍。传统方案比如直接字符串匹配（像 Levenshtein 距离）或者简单的同义词替换，要么效果差要么会把句子改得面目全非。

TF-IDF：计算快，适合捕捉关键词分布特征，但无法理解语义
Word2Vec：能处理近义词，但对多义词敏感（比如『苹果』公司 vs 水果）
BERT：上下文感知强，但计算资源消耗大

最终方案是动态混合模型，公式如下：

 最终相似度 = α×TF-IDF 相似度 + (1-α)×BERT 相似度

其中 α 根据文本长度动态调整——短文本侧重 BERT（α=0.3），长文本侧重 TF-IDF（α=0.7）

from transformers import BertModel, BertTokenizer
import torch

def get_bert_embedding(text, device='cuda'):
    tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
    model = BertModel.from_pretrained('bert-base-uncased').to(device)

    # GPU 内存优化技巧：使用 with torch.no_grad()
    with torch.no_grad():
        inputs = tokenizer(text, return_tensors='pt', 
                          truncation=True, max_length=512).to(device)
        outputs = model(**inputs)

    # 取最后一层 CLS token 作为句子向量
    return outputs.last_hidden_state[:,0,:].cpu().numpy()

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

class DynamicTfidf:
    def __init__(self, max_features=5000):
        self.vectorizer = TfidfVectorizer(
            stop_words='english',
            max_features=max_features,
            ngram_range=(1,3)  # 捕捉短语级特征
        )

    def fit_transform(self, texts):
        try:
            return self.vectorizer.fit_transform(texts)
        except ValueError as e:
            print(f"Error: {e}. Fallback to empty matrix")
            return csr_matrix((len(texts), max_features))