AI 网页爬取代理
模板概览
| 项目 | 说明 |
|---|---|
| 分类 | 🤖 AI · 📄 数据采集 |
| 集成应用 | OpenAI、HTTP Request、Code |
| 难度 | ⭐⭐⭐ 高级 |
| 创建者 | n8n 官方团队 |
工作原理
这个工作流创建了一个能够自主爬取网页的 AI 代理。你只需给它一个 URL，它就能自动抓取页面内容、分析结构、提取关键信息，并以结构化的格式返回结果。
核心功能
- 智能爬取 — AI 自主决定爬取策略和数据提取方式
- 结构化输出 — 自动将网页信息整理为表格或 JSON
- 多页面支持 — 可以自动跟踪链接、爬取多个页面
- 错误容错 — 内置重试和错误处理机制
工作流节点
Manual Chat Trigger → AI Agent
├── OpenAI Chat Model
├── HTTP Request Tool (爬取网页)
├── Code Tool (解析 HTML)
└── Memory Buffer
使用步骤
- 导入模板 — 在 n8n 中导入此工作流
- 配置 OpenAI — 添加 OpenAI API Key
- 开始对话 — 告诉 Agent 你想爬取什么
- 获取结果 — AI 自动完成爬取并返回结构化数据
适用场景
- 🔍 竞品价格监控
- 📊 市场数据采集
- 📧 联系人信息收集
- 🏷️ 产品信息聚合