能力标签

🔌 MCP 🤖 Agent 🔄 工作流 💻 CLI 🧠 Claude ✨ GPT 🕸 采集

🔌

MCP工具

爬虫工具

基于 Rust · 让 AI 助手直接操作你的系统与工具

英文名：crawlie

⭐ 18 Stars 🍴 1 Forks 💻 Rust 📄 MIT 🏷 AI 8.0分

8.0AI 综合评分

crawlergeomarketing-toolsmcprust

⬇ 下载源码 ZIP ⚙️ 配置说明 📺 TG 频道

✦ AI Skill Hub 推荐

经 AI Skill Hub 精选评估，爬虫工具获评「强烈推荐」。这款MCP工具在功能完整性、社区活跃度和易用性方面表现出色，AI 评分 8.0 分，适合有一定技术背景的用户使用。

📚 深度解析

爬虫工具是一款基于 MCP（Model Context Protocol）标准协议的 AI 工具扩展。MCP 协议由 Anthropic 开发并开源，旨在建立 AI 模型与外部工具之间的标准化通信接口，目前已被 Claude Desktop、Claude Code、Cursor 等主流 AI 工具采纳。

通过安装爬虫工具，你的 AI 助手将获得额外的工具调用能力，可以用自然语言直接操控该工具的功能，无需学习复杂的命令行语法。MCP 工具的核心价值在于"一次配置，永久增强"——配置完成后，每次与 AI 对话时都可以无缝调用这些工具。

在技术实现上，MCP 工具通过标准的 JSON-RPC 协议与 AI 客户端通信，工具的功能以"工具列表"的形式暴露给 AI 模型，AI 可以按需调用。爬虫工具提供了结构化的工具调用接口，使 AI 模型能够精确地理解和使用每个功能点，显著降低 AI 在工具使用上的错误率。

与传统的 API 集成相比，MCP 工具的优势在于无需编写代码——用户只需在配置文件中添加几行 JSON，即可让 AI 获得全新能力。AI Skill Hub 将爬虫工具评为 AI 评分 8.0 分，属于同类工具中的优质选择。

📋 工具概览

爬虫工具是一款遵循 MCP（Model Context Protocol）标准协议的 AI 工具扩展。通过 MCP 协议，它可以让 Claude、Cursor 等主流 AI 客户端直接访问和操作外部工具、数据源和服务，实现 AI 能力的无缝扩展。无论是文件操作、数据库查询还是 API 调用，都可以通过自然语言在 AI 对话中直接触发，极大提升生产效率。

GitHub Stars

⭐ 18

开发语言

Rust

支持平台

Windows / macOS / Linux

维护状态

轻量级项目，按需更新

开源协议

MIT

AI 综合评分

8.0 分

工具类型

MCP工具

Forks

📖 中文文档

以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

📌 核心特色

通过标准 MCP 协议与 Claude、Cursor 等主流 AI 客户端深度集成
提供结构化工具调用接口，显著降低 AI 集成复杂度
支持 Claude Desktop 和 Claude Code 无缝接入，开箱即用
可与其他 MCP 工具组合叠加，构建完整 AI 工作站
轻量无侵入设计，不影响现有系统架构

🎯 主要使用场景

在 Claude Desktop 对话中直接调用本地工具，实现 AI 与系统的深度联动
通过自然语言驱动复杂的多步骤自动化任务，代替繁琐手动操作
将多个 MCP 工具组合使用，构建个人专属 AI 工作站

以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。

安装命令

# 方式一：通过 Claude Code CLI 一键安装
claude skill install https://github.com/spronta/crawlie

# 方式二：手动配置 claude_desktop_config.json
{
  "mcpServers": {
    "----": {
      "command": "npx",
      "args": ["-y", "crawlie"]
    }
  }
}

# 配置文件位置
# macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
# Windows: %APPDATA%/Claude/claude_desktop_config.json

📋 安装步骤说明

确认已安装 Node.js（v18 或以上版本）
打开 Claude Desktop 或 Claude Code 的 MCP 配置文件
按「交给 Agent 安装 → Claude Desktop」标签中的 JSON 配置填入 mcpServers 字段
保存配置文件并重启 Claude 客户端
重启后，在对话中即可使用本工具

以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。

常用命令 / 代码示例

# 安装后在 Claude 对话中直接使用
# 示例：
用户: 请帮我用 爬虫工具 执行以下任务...
Claude: [自动调用 爬虫工具 MCP 工具处理请求]

# 查看可用工具列表
# 在 Claude 中输入："列出所有可用的 MCP 工具"

以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。

配置示例

// claude_desktop_config.json 配置示例
{
  "mcpServers": {
    "____": {
      "command": "npx",
      "args": ["-y", "crawlie"],
      "env": {
        // "API_KEY": "your-api-key-here"
      }
    }
  }
}

// 保存后重启 Claude Desktop 生效

📑 README 深度解析真实文档完整度 37/100 查看 GitHub 原文 →

以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

简介

Setup

The easy way — npm (installs the crawlie CLI and the crawlie-mcp server):

npm i -g crawlie

The macOS app — grab the signed .dmg from Releases.

From source — needs Rust (engine/CLI/MCP) and, for the desktop app, pnpm + Node:

```bash git clone https://github.com/spronta/crawlie cd crawlie cargo build --release

or install onto your PATH:

cargo install --path crates/crawlie-cli # installs crawlie cargo install --path crates/crawlie-mcp # installs crawlie-mcp ```

How it ships: the CLI + MCP come only through npm — the right native binary installs automatically as a platform package (nothing to download or unblock). The desktop app is the only direct download: a Spronta-signed, notarized .dmg on Releases.

---

One-step install: the Claude Code plugin

The fastest path. The crawlie plugin bundles the MCP server and a set of skills (audit playbooks) in a single install — the MCP server auto-runs via npx, so you don't even pre-install the binary:

```bash

add this repo as a marketplace, then install the plugin

claude plugin marketplace add spronta/crawlie claude plugin install crawlie@spronta ```

How to use (CLI)

```bash

Example agent prompts

"Crawl spronta.com, then give me the top 5 fixes that would most improve my GEO score, with the exact change for each."

"Audit these three landing pages and tell me which is least ready to be cited by AI search, and why."

"Run a crawl with --fail-on error semantics — are there any broken links or 5xx pages blocking launch?"

The agent calls crawl_site, reads the structured issues, and uses explain_issue to turn findings into a prioritized, actionable plan.

---

Use cases

Pre-launch QA — catch broken links, redirects, 4xx/5xx, and missing metadata before you ship.
GEO optimization — make pages citable by AI search: structured data, semantic HTML, answer-ready content, authorship/E-E-A-T.
Agent workflows — let a marketing/SEO agent audit a site and propose fixes autonomously via MCP.
CI/CD gating — crawlie crawl … --fail-on error in a pipeline to block regressions.
Client reporting — generate a polished, shareable HTML report in one command.
Auditing AI-generated sites — verify that the site your agent just built is actually built for search.

---

How it compares

	crawlie	Screaming Frog	Sitebulb
Price	Free & open-source	£259/yr to unlock	from £13.50/mo
Engine	Rust, async, tiny binary	Java (JVM)	.NET
CLI with JSON output	✅	partial	❌
MCP server (agent-native)	✅	❌	❌
GEO — AI/answer-engine audit	✅	❌	❌
"Why it matters" built in	✅ every issue	❌	partial
Shareable HTML report	✅	paid	✅
Source you can read & extend	✅	❌	❌