AI Agent 需要浏览器自动化与智能爬取。按「浏览器控制」和「数据提取」分开对比。
1. Agent 浏览器 / 浏览器自动化
| 框架名称 | 核心亮点 | 性能/资源 | 易用性 | 支持环境 | 典型场景 | 主要短板 |
|---|---|---|---|---|---|---|
| ego-lite | 真人共用 Chromium；Space 隔离；继承登录态；ego-browser 一次跑多步 JS | 极高 | 高（Skill / CLI） | macOS Chromium（Win/Linux 路线图） | 本地 Agent（Claude Code / Codex / Cursor）代操作已登录站 | 目前仅 macOS |
| agent-browser | Rust + Ref 访问树 + 紧凑文本，省 token | 极高 | 高（CLI） | Chromium | Agent 网页交互、长会话 | 生态较新；需另起浏览器、登录态难复用 |
| Steel | 开源 Browser API：会话、代理、Stealth、截图/PDF | 高 | 高 | Chromium（自托管 / Cloud） | Agent 后端浏览器沙箱、生产会话池 | 偏基础设施，交互逻辑需自接 |
| Lightpanda | Zig 轻量引擎，非 Chromium | 极高 | 中高 | 自定义 headless | 高并发、成本敏感 | 兼容边界 case |
| Playwright | 多浏览器 + 自动等待 + MCP + Trace | 高 | 极高 | Chromium / Firefox / WebKit | E2E、生产级 Agent | 比轻量方案占资源 |
| Puppeteer | CDP 深控，Node 友好 | 高 | 高 | 主 Chromium | 截图/PDF、简单脚本 | 浏览器覆盖有限 |
| Skyvern | 视觉 / 工作流向浏览器 Agent | 中高 | 中高 | 浏览器自动化 | 复杂表单、业务站点操作 | 成本与配置高于纯脚本 |
| Selenium | WebDriver 老牌标准 | 中 | 中 | 多浏览器 | 遗留自动化 | Agent / 现代 DX 弱于 Playwright |
ego-lite 和 agent-browser / Playwright 不在同一层：后两者是「驱动某个浏览器」的自动化层；前者是给人用的日常浏览器，并给外部 Agent 提供独立 Space + 登录态复用。需要「我已登录的站点、别抢我的标签页」时优先看 ego-lite；需要脚本化、CI、多浏览器或自建沙箱时仍看 agent-browser / Playwright / Steel。
2. AI Agent 爬虫 / 数据提取
| 框架名称 | 核心亮点 | 反检测 | 易用性 | 输出 | 典型场景 | 主要短板 |
|---|---|---|---|---|---|---|
| Browser Use | Stealth + 自愈 + LLM 提取 | 极高 | 高 | JSON / Markdown | 电商/社交、强反爬 | 部分靠云 |
| Stagehand | AI 原生控制 + 视觉语义（常配 Browserbase） | 高 | 中高 | 自然语言驱动 | 复杂交互页 | 成本较高 |
| Crawl4AI | 专为 LLM 设计的爬取 / 清洗 | 中高 | 高 | Markdown / 结构化 | RAG 语料、内容进模型 | 反检测不如专用 Stealth 栈 |
| Firecrawl | API 向，网页 → 干净 Markdown/JSON | 中高（托管） | 极高 | Markdown / JSON | 快速接 Agent 知识库 | 自托管 / 定制不如自建爬虫 |
| Crawlee | 编排 + Playwright/Puppeteer + 去重限流 | 中高 | 高 | 结构化数据集 | 大规模批量爬 | AI 提取需自接 LLM |
| Scrapling | 现代 Python 爬取，偏抗变 | 中高 | 高 | 结构化 | 站点结构常变 | 生态小于 Scrapy/Crawlee |
| Scrapy | 经典异步爬虫框架 | 中（需中间件） | 中高 | Item / Pipeline | 大规模传统爬虫 | 不是 AI-native |
推荐
- 本地 Agent 操作已登录站、与人并行不抢标签 → ego-lite。
- Agent 网页交互、省 token（无登录态要求）→ agent-browser。
- 生产级多浏览器 → Playwright；自托管浏览器沙箱 → Steel；视觉/复杂业务流 → Skyvern。
- 强反检测提取 → Browser Use；RAG 语料 → Crawl4AI / Firecrawl。
- 大规模批量 → Crawlee（或传统 Scrapy）。