Agent Browsers 入门指南：从零搭建自动化浏览器环境

1次阅读

没有评论

共计 2475 个字符，预计需要花费 7 分钟才能阅读完成。

在现代 Web 开发中，许多网站采用动态渲染技术，传统的 HTTP 请求无法获取完整页面内容。Agent Browsers 通过控制真实浏览器实例，完美解决以下痛点：

执行 JavaScript 渲染动态内容
模拟人类操作行为（点击、滚动、输入）
处理复杂认证流程（OAuth、CAPTCHA）
绕过基于浏览器指纹的防护机制

优点：Chromium 官方维护，API 设计优雅
缺点：仅支持 Chromium 内核

优点：跨浏览器支持（Chromium/WebKit/Firefox）
缺点：新兴工具生态尚不完善

优点：历史久远，支持语言丰富
缺点：性能较差，配置复杂

选择 Agent Browsers 的理由 ：
– 专为自动化场景优化
– 内置反检测机制
– 资源占用可控

# 使用官方 Playwright 镜像作为基础
FROM mcr.microsoft.com/playwright:v1.25.0-focal

# 设置工作目录
WORKDIR /app

# 安装 Node.js（示例使用 16.x LTS）RUN curl -fsSL https://deb.nodesource.com/setup_16.x | bash - \
    && apt-get install -y nodejs

# 复制配置文件
COPY package.json ./
COPY tsconfig.json ./

# 安装依赖（使用国内镜像加速）RUN npm config set registry https://registry.npmmirror.com \
    && npm install

# 暴露监控端口
EXPOSE 3000

CMD ["npm", "run", "start"]

import {AgentBrowser} from 'agent-browser';
import {ProxyPool} from './lib/proxy';

// 初始化浏览器实例
const browser = await AgentBrowser.launch({
  headless: false, // 调试时建议关闭无头模式
  stealthMode: true, // 启用反检测
  proxy: await ProxyPool.getRandomProxy(), // 集成代理池
  userAgent: {
    pool: ['Mozilla/5.0 (Windows NT 10.0)',
      'Mozilla/5.0 (Macintosh; Intel Mac OS X)'
    ],
    rotateInterval: 300000 // 5 分钟轮换
  }
});

// 页面操作示例
const page = await browser.newPage();
await page.goto('https://example.com', {
  waitUntil: 'networkidle2',
  timeout: 60000
});

// 确保资源释放
try {// 业务逻辑...} finally {await page.close();
}

await page.evaluateOnNewDocument(() => {
  Object.defineProperty(navigator, 'webdriver', {get: () => false
  });

  // 修改屏幕分辨率报告
  Object.defineProperty(screen, 'width', {get: () => 1920
  });
});

// 人类化滚动
async function humanScroll(page, scrollSteps = 5) {for (let i = 0; i < scrollSteps; i++) {await page.evaluate(() => {
      window.scrollBy({top: Math.random() * 500,
        behavior: 'smooth'
      });
    });
    await page.waitForTimeout(1000 + Math.random() * 2000);
  }
}

const browserInstances = new Set();

class MonitoredBrowser {static async launch(options) {const browser = await AgentBrowser.launch(options);
    browserInstances.add(browser);

    // 添加清理钩子
    browser.on('disconnected', () => {browserInstances.delete(browser);
    });

    return browser;
  }
}

// 定时检查泄漏
setInterval(() => {console.log(`Active instances: ${browserInstances.size}`);
  if (browserInstances.size > 10) {alert('Possible memory leak!');
  }
}, 60000);

import {Semaphore} from 'async-mutex';

// 限制最大并发数
const semaphore = new Semaphore(5);

async function safeVisit(url) {const [_, release] = await semaphore.acquire();
  try {const page = await browser.newPage();
    await page.goto(url);
    // ... 处理逻辑
  } finally {release();
    await page?.close();}
}