ChatGPT数据收集实战：从原理到落地的技术解析

1次阅读

没有评论

共计 1939 个字符，预计需要花费 5 分钟才能阅读完成。

在大语言模型（LLM）盛行的今天，数据收集成为开发者面临的首要挑战。无论是为了模型微调还是知识库构建，高效、合规地获取 ChatGPT 交互数据都至关重要。但实际操作中，我们常常遇到三类典型问题：

API 限制：官方接口的速率限制（如 GPT-3.5 的 20 请求 / 分钟）难以满足批量需求
动态内容：网页版 ChatGPT 依赖复杂 JS 渲染，传统爬虫无法直接解析
状态保持：多轮对话需维护 session/token，简单请求容易丢失上下文

优点：合规性强，响应结构化，支持流式输出
缺点：费用高（$0.002/1k tokens），功能受限（无法获取网页版完整交互）
适用场景：小规模合规采集，生产环境集成

优点：能完整模拟用户操作，绕过部分反爬机制
缺点：性能差（单实例 QPS<5），资源占用高
适用场景：需要完整 UI 交互流的特定需求

优点：性能优异（QPS 可达 50+），资源消耗低
缺点：维护成本高，法律风险大
适用场景：技术团队雄厚的大规模采集

class ChatGPTCollector:
    def __init__(self, api_key: str):
        self.session = aiohttp.ClientSession()
        self.rate_limiter = AsyncLimiter(10)  # 10 请求 / 秒

    async def fetch(self, prompt: str) -> dict:
        async with self.rate_limiter:
            try:
                async with self.session.post(
                    "https://api.openai.com/v1/chat/completions",
                    headers={"Authorization": f"Bearer {API_KEY}"},
                    json={"model": "gpt-3.5-turbo", "messages": [{"role": "user", "content": prompt}]}
                ) as resp:
                    return await resp.json()
            except Exception as e:
                logging.error(f"Request failed: {e}")
                await asyncio.sleep(2)
                return await self.fetch(prompt)  # 指数退避重试

异步速率控制：结合 asyncio.Semaphore 和滑动窗口算法
上下文保持：使用 aiohttp.ClientSession 自动管理 cookies
智能重试：对 429/503 状态码自动实施指数退避

flowchart TD
    A[调度中心] --> B[Worker 集群]
    B --> C{失败队列}
    C -->| 重试 | B
    B --> D[消息队列]
    D --> E[存储集群]

去重：SimHash 算法 +Redis 布隆过滤器
校验：响应内容包含[code=200] 且 response_time<2s
抽样质检：人工标注 1000 条样本，确保准确率 >98%

请求头标准化：包含完整的 Accept-Language 和 Sec-Ch-UA
IP 轮换策略：住宅代理 +TOR 网络混合使用
行为模拟：随机请求间隔(1.2s±0.3s)

async def render_js_page(url):
    async with async_playwright() as p:
        browser = await p.chromium.launch()
        page = await browser.new_page()
        await page.goto(url)
        await page.wait_for_selector(".message")
        content = await page.content()
        await browser.close()
        return html2text(content)