基于ChatGPT的网页内容抽取实战：高效爬取与结构化处理方案

共计 2235 个字符，预计需要花费 6 分钟才能阅读完成。

传统爬虫的局限性

网页数据抓取一直是数据分析、市场研究等领域的重要基础工作。然而，随着 Web 技术的快速发展，传统的爬虫方案遇到了诸多挑战：

• 现代网站大量使用 JavaScript 动态渲染内容，传统的 requests+BeautifulSoup 组合无法获取完整数据
• 反爬机制日益复杂，包括 IP 封禁、验证码、行为检测等手段
• 非结构化数据（如新闻正文、产品描述）需要复杂的正则或 XPath 规则提取
• 网页结构频繁变动导致维护成本高

ChatGPT 在内容抽取中的优势

相比于传统方法，ChatGPT 提供了全新的解决方案：

1. 语义理解能力 ：能理解网页内容的上下文关系，无需精确的定位规则
2. 自适应解析 ：对网页结构变化有更强的鲁棒性
3. 多格式输出 ：可直接生成结构化数据（JSON/CSV）
4. 反爬友好 ：通过 API 调用模拟人类阅读行为

技术方案对比

核心实现方案

1. 动态页面处理（Playwright）

from playwright.sync_api import sync_playwright

def get_dynamic_html(url):
    with sync_playwright() as p:
        browser = p.chromium.launch()
        page = browser.new_page()
        page.goto(url)
        # 等待关键元素加载
        page.wait_for_selector('.main-content', timeout=10000)
        html = page.content()
        browser.close()
        return html

2. ChatGPT 提示工程模板

prompt_template = """
请从以下 HTML 中提取结构化信息：要求：1. 识别所有产品条目
2. 提取字段：名称、价格、描述、图片 URL
3. 输出 JSON 格式，包含数组 "products"

HTML 内容：{html_content}
"""

3. 结果后处理流水线

import json

def process_response(api_response):
    try:
        data = json.loads(api_response)
        # 数据清洗
        for product in data['products']:
            product['price'] = float(product['price'].replace('$',''))
        return data
    except Exception as e:
        log_error(f"Processing failed: {str(e)}")
        return None

完整实现代码

import openai
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def chatgpt_extract(html):
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "system", "content": "你是一个专业的网页数据提取助手"},
            {"role": "user", "content": prompt_template.format(html_content=html)}
        ],
        temperature=0.3  # 降低随机性
    )
    return response.choices[0].message.content

# 使用示例
html = get_dynamic_html("https://example.com/products")
structured_data = chatgpt_extract(html)
clean_data = process_response(structured_data)

性能优化技巧

1. 并发控制 ：
2. 使用 asyncio+Playwright 实现异步渲染

3. 通过 Semaphore 限制最大并发数

4. API 批处理 ：

   # 将多个页面的 HTML 合并为一个请求
   batch_prompt = """
   请分别处理以下三个网页内容...
   网页 1：{html1}
   网页 2：{html2}
   网页 3：{html3}
   """

5. 缓存策略 ：

6. 对 API 响应建立本地缓存（SQLite/Redis）
7. 设置合理的 TTL（如 24 小时）

反反爬策略

• 随机化请求间隔（0.5- 3 秒）
• 使用住宅代理轮换 IP
• 设置合理的 User-Agent 池
• 对于验证码：
• 优先尝试绕过的技术方案
• 必要时使用第三方打码服务

法律合规建议

1. 严格遵守 robots.txt 协议
2. 限制爬取频率（>5 秒 / 请求）
3. 不抓取个人隐私数据
4. 商用前咨询法律顾问

延伸思考

1. 如何平衡 ChatGPT 的 API 成本与传统方案的人力成本？
2. 对于超大规模采集任务，怎样设计分布式架构？
3. 如何评估不同方案的长期维护成本？

总结

本方案通过结合 Playwright 和 ChatGPT API，实现了动态网页的智能解析。相比传统方法，在开发效率和适应性方面有明显优势，特别适合需要快速原型验证或处理复杂网页结构的场景。开发者可以根据实际需求，灵活调整技术组合和优化策略。