传统爬取技术与人工智能爬取技术：面向开发人员与数据团队的实用指南

response.css(".product-card .price::text").get()

提取此页面上每件商品的商品名称、价格和库存情况。

• Spidra采用了一种非常直接的数据提取方式。你只需描述所需获取的数据，它就会负责加载网页、解析内容，并返回结构化结果。同时，它还会在后台处理导航操作及各种交互逻辑，因此当你想要提取数据时，完全不必担心选择器或抓取逻辑的实现问题。

• Firecrawl的主要功能是将网页转换成结构清晰、易于处理的文本格式。它不会单独提取价格、标题等特定字段，而是将整页内容转换为Markdown或简化版的JSON格式。因此，当你需要将网页内容输入到人工智能系统中，或者以一种便于阅读的格式处理这些数据时，Firecrawl会非常有用。

• Jina Reader的设计目的是将网页中的冗余元素（如导航栏、广告和样式代码）去除，只保留实际内容。如果你只是想理解或处理页面上的信息，而不是提取结构化数据，那么这个工具会非常适用。

• Bright Data AI抓取工具结合了人工智能技术与强大的抓取基础设施。它们允许你在无需编写选择器的情况下获取结构化数据，同时也能有效应对数据被屏蔽或系统负载过高的问题。因此，这些工具更适合处理规模较大、要求较高的抓取任务。

• Apify介于传统抓取工具和人工智能驱动的抓取工具之间。它提供了一个完整的平台，用于构建和运行抓取脚本，并且可以在适当的地方应用人工智能技术，无论是进行数据提取还是后续处理。因此，当你需要对整个抓取流程拥有更多控制权时，Apify会非常有用。

实际上，这些工具所解决的具体问题并不完全相同。有些工具专注于提取结构化数据，有些则侧重于清理文本内容，还有些工具用于构建完整的抓取工作流程。选择合适的工具取决于你想要实现的目标，而不仅仅是工具本身具备的功能。

人工智能抓取在实践中的应用

让我们使用一个人工智能爬取工具，执行同样的数据收集任务，从books.toscrape.com中提取书籍信息。我们将使用Spidra的API，这样你们就能清楚地看到其中发生了哪些变化。

步骤1：获取API密钥

请在spidra.io注册账号，然后从控制面板中生成一个API密钥。后续的所有请求都需要使用这个密钥来进行身份验证。

步骤2：了解API结构

Spidra的爬取接口接受JSON格式的数据。其中两个最重要的字段是url（需要爬取的网址）和prompt（需要提取的信息，需用简单的英语表述）。你还可以选择指定output格式——对于结构化数据来说，JSON格式最为适用。

POST https://api.spidra.io/scrape
Authorization: Bearer YOUR_API_KEY
Content-Type: application/json

如你所见，我们根本不需要使用任何选择器或进行HTML结构分析，只需要提供一个URL和相应的提取要求即可。

步骤3：编写单页数据提取代码

以下是我们传统爬虫程序的等效版本，它是通过API调用来实现的：

import requests
import json

API_KEY = "your_api_key_here"

payload = {
    "urls": [{"url": "https://books.toscrape.com/"}],
    "prompt": "提取该页面上的所有书籍信息。对于每本书，需要返回书名、价格以及星级评分（评分范围为1到5）。",
    "output": "json"
}

response = requests.post(
    "https://api.spidra.io/scrape",
    headers={
        "Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json"
    },
    json=payload
)

data = response.json()
print(json.dumps(data, indent=2))

这就是整个爬取程序的代码。其中没有使用BeautifulSoup，也没有任何选择器逻辑或HTML解析过程。

步骤4：理解输出结果

API会返回一个结构化的JSON响应。每本书的信息都会以对象的形式呈现出来，其中包含你之前指定的各个字段：

{
  "results": [
    {
      "title": "阁楼里的光",
      "price": "£51.77",
      "rating": 3
    },
    {
      "title": "轻触天鹅绒",
      "price": "£53.74",
      "rating": 1
    },
    {
      "title": "屈服",
      "price": "£50.10",
      "rating": 1
    }
    ...
  ]
}

该系统能够自动识别星级评分的编码规则（例如star-rating Three表示3分），而无需我们事先指定评分的具体表示方式。它完全理解了“星级评分应为1到5之间的数字”这一要求，并自行完成了相应的转换工作。

步骤5：在多步骤工作流程中使用Actions功能

当涉及到那些在传统爬虫中需要耗费大量开发工作的工作流程时，人工智能爬取技术才能真正发挥其优势。

^{假设你想访问每本书的详细页面，并提取其中的所有描述信息以及图书的可用状态（而不仅仅是列表页面上显示的内容）。
在传统的爬虫系统中，这意味着你需要构建一个循环来遍历这些页面，管理状态信息，在每个详细页面上处理可能出现的错误，同时为页面不同的结构设计专门的选取器。而在像Spidra这样的人工智能爬虫工具中，你可以通过浏览器操作来模拟人类的交互行为：}

{
  "urls": [
    {
      "url": "https://books.toscrape.com/catalogue/category/books/mystery_3/index.html",
      "actions": [
        {
          "type": "forEach",
          "observe": "查找产品列表中的所有图书卡片",
          "mode": "inline",
          "captureSelector": "article.product_pod",
          "maxItems": 10,
          "itemPrompt": "提取图书的标题、价格和星级评价（一/二/三/四/五），并以JSON格式返回：{title, price, star_rating}"
        }
      ]
    }
  ]
}

^{该系统会自动导航到每本书的页面，读取新内容，提取所需的字段，并将所有结果整合到同一个结果集中。
你还可以根据自己的需求配置数据提取的方式：}

{
  "urls": ["https://jobs.example.com/senior-engineer"],
  "prompt": "提取职位详情",
  "schema": {
    "type": "object",
    "required": ["title", "company", "remote", "employment_type"],
    "properties": {
      "title": { "type": "string" },
      "company": { "type": "string" },
      "location": { "type": ["string", "null"] },
      "remote": { "type": ["boolean", "null"] },
      "salary_min": { "type": ["number", "null"] },
      "salary_max": { "type": ["number", "null"] },
      "employment_type": {
        "type": ["string", "null"],
        "enum": ["full_time", "part_time", "contract", null]
      },
      "skills": {
        "type": "array",
        "items": { "type": "string" }
      }
    }
  }
}

^{这些人工智能爬虫工具还有许多其他功能，比如批量爬取、人工智能检索等等。}