AI Skill Hub 推荐使用：MCP工具 是一款优质的AI工具。AI 综合评分 7.5 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。
📚 深度解析
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
MCP工具 依赖 Python 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Python 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 MCP工具 的版本更新，及时通知重要功能变化。
📋 工具概览
MCP工具：开源MCP工具，用于SEO爬虫，支持Self-hosted和Screaming Frog-level audits，适合SEO专家和开发者。
MCP工具 是一款基于 Python 开发的开源工具，专注于 MCP、SEO、爬虫 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
📖 中文文档
MCP工具：开源MCP工具，用于SEO爬虫，支持Self-hosted和Screaming Frog-level audits，适合SEO专家和开发者。
MCP工具 是一款基于 Python 开发的开源工具，专注于 MCP、SEO、爬虫 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 方式一：pip 安装（推荐）
pip install librecrawl-mcp
# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install librecrawl-mcp
# 方式三：从源码安装（获取最新功能）
git clone https://github.com/adityaarsharma/librecrawl-mcp
cd librecrawl-mcp
pip install -e .
# 验证安装
python -c "import librecrawl_mcp; print('安装成功')"
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 命令行使用
librecrawl-mcp --help
# 基本用法
librecrawl-mcp input_file -o output_file
# Python 代码中调用
import librecrawl_mcp
# 示例
result = librecrawl_mcp.process("input")
print(result)
# librecrawl-mcp 配置文件示例（config.yml） app: name: "librecrawl-mcp" debug: false log_level: "INFO" # 运行时指定配置文件 librecrawl-mcp --config config.yml # 或通过环境变量配置 export LIBRECRAWL_MCP_API_KEY="your-key" export LIBRECRAWL_MCP_OUTPUT_DIR="./output"
简介
⚡ Install in 60 seconds
curl -fsSL https://raw.githubusercontent.com/adityaarsharma/librecrawl-technical-seo-audit-mcp/main/install.sh | bashThe installer asks 3 questions (target client, optional Google PageSpeed API key, optional GSC integration) and writes a ready-to-use MCP entry into your Claude / Cursor / Codex / Windsurf config. Done.
<details> <summary><strong>What if I'm not a developer?</strong></summary>
You don't need to be. If you can: 1. Open a terminal (macOS: Cmd+Space → "Terminal" · Windows: Win+R → "powershell") 2. Paste the curl command above 3. Answer 3 yes/no questions
…you're done. The installer handles Python, Docker, the LibreCrawl backend, and your AI client config. First-audit-to-zip is under 10 minutes from cold start.
</details>
<details> <summary><strong>Manual install (Python 3.10+, Docker for LibreCrawl backend)</strong></summary>
```bash git clone https://github.com/adityaarsharma/librecrawl-technical-seo-audit-mcp.git cd librecrawl-technical-seo-audit-mcp python3 -m venv venv && source venv/bin/activate pip install httpx mcp weasyprint markdown fpdf2
Start LibreCrawl backend on :5080 (see install.sh for Docker compose)
python server.py
Add to your client config (Claude Desktop example):
</details>
---
⚙️ Configuration
| Env var | Default | Purpose |
|---|---|---|
LIBRECRAWL_PORT | 5080 | LibreCrawl backend port |
MCP_PORT | 5081 | MCP wrapper port |
MCP_TRANSPORT | http | http (streamable) or stdio |
REPORTS_DIR | ~/librecrawl-reports | Where audit artifacts land |
PAGESPEED_API_KEY | unset | Optional — enables librecrawl_pagespeed* |
LIBRECRAWL_STATE_DB | ~/librecrawl-state.db | SQLite WAL state store |
---
🆚 Feature comparison to other on-site SEO crawlers
This is a factual feature comparison. Prices were checked at publication and may have changed — see each vendor's site for current pricing. Brand names belong to their respective owners.
| Capability | Desktop crawler (Screaming Frog SEO Spider™)<sup>1</sup> | Desktop+cloud crawler (Sitebulb™)<sup>2</sup> | Cloud site-audit (Ahrefs™)<sup>3</sup> | **librecrawl-technical-seo-audit-mcp** |
|---|---|---|---|---|
| **Pricing model** | Free tier (500 URLs) · paid annual licence | Paid monthly subscription | Bundled with main subscription | **Free, MIT-licensed, self-hosted** |
| **Page cap** | 500 free / unlimited paid | Unlimited | Tiered by subscription plan | **♾️ Unlimited** |
| **Runs inside your AI assistant** | ❌ | ❌ | ❌ | ✅ |
| **Chunked / background crawl (no timeout)** | ❌ | ❌ | Cloud only | ✅ |
| **Auto-adaptive crawl delay (AIMD)** | ❌ | Manual | Hidden | ✅ |
| **WAF / bot-block detection on 200-OK pages** | ❌ | ❌ | ❌ | ✅ |
| **Sitemap-orphan fill (URLs not internally linked)** | ❌ | ❌ | ❌ | ✅ |
| **Ephemeral by default (zero server footprint)** | N/A | N/A | N/A | ✅ |
| Broken links (4xx/5xx/timeout/DNS/SSL) | ✅ | ✅ | ✅ | ✅ |
| Redirect chains with destination | ✅ | ✅ | ✅ | ✅ |
| Title / meta / H1 + duplicates | ✅ | ✅ | ✅ | ✅ |
| Canonical full audit | ✅ | ✅ | ✅ | ✅ |
| Hreflang full audit (incl. return-tag graph) | ✅ | ✅ | Partial | ✅ |
| Sitemap full cross-checks | ✅ | ✅ | Partial | ✅ |
| Schema.org validation (16 types + Rich Results) | ✅ | ✅ | Partial | ✅ |
| Soft-404 fingerprinting | ✅ | ✅ | ✅ | ✅ |
| Mixed content (HTTPS → HTTP) | ✅ | ✅ | ✅ | ✅ |
| Security headers pack | ✅ | ✅ | Partial | ✅ |
| Image performance + CLS | ✅ | ✅ | ✅ | ✅ |
| Content quality (Flesch · AI-tells · boilerplate) | ❌ | Partial | ❌ | ✅ |
| Crawl-budget traps (calendar · session-id · facets) | ✅ | ✅ | ✅ | ✅ |
| Branded PDF report | ❌ | ✅ | ❌ | ✅ |
| GSC clicks/impressions merge | Paid add-on | Paid add-on | Native | ✅ |
| JavaScript rendering | ✅ | ✅ | Cloud only | 🛣️ Roadmap |
<sub> <sup>1</sup> Screaming Frog SEO Spider is a trademark of Screaming Frog Ltd, UK. We are not affiliated.<br> <sup>2</sup> Sitebulb is a trademark of Sitebulb Ltd, UK. We are not affiliated.<br> <sup>3</sup> Ahrefs is a trademark of Ahrefs Pte. Ltd., Singapore. We are not affiliated. </sub>
Reading guide: if you currently use a paid on-site crawler and your workflow is "crawl → export CSVs → analyse", librecrawl-technical-seo-audit-mcp covers that flow inside your AI assistant for £0 with no page caps. If your workflow depends on JavaScript-rendered SPAs, that's on the roadmap but not shipped yet — use the desktop tool for now.
---
MCP工具是一个开源的MCP工具，支持SEO爬虫和Screaming Frog-level audits，适合SEO专家和开发者使用。
- 需要让 Claude / Cursor 操作本地工具的 AI 工程师
- 构建多智能体协作系统的 Agent 开发者
- 配置 MCP 服务器时建议使用 stdio 传输 + JSON-RPC，避免暴露公网
- 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- MCP 配置路径拼错或权限不足，重启 Claude Desktop 才生效
- 容器内无法访问宿主机 localhost — 使用 host.docker.internal
- Python 依赖冲突：建议用 venv / uv 隔离环境
- Docker：librecrawl-mcp 提供官方镜像，docker compose up 一键启动
- CLI：直接 npm install -g / pip install，命令行调用
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 需要让 Claude / Cursor 操作本地工具的 AI 工程师
- 构建多智能体协作系统的 Agent 开发者
- 配置 MCP 服务器时建议使用 stdio 传输 + JSON-RPC，避免暴露公网
- 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- MCP 配置路径拼错或权限不足，重启 Claude Desktop 才生效
- 容器内无法访问宿主机 localhost — 使用 host.docker.internal
- Python 依赖冲突：建议用 venv / uv 隔离环境
👥 适合人群
🎯 使用场景
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −未明确开源协议，商用场景需谨慎评估
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
该工具未明确声明开源协议，商业使用前请联系原作者确认授权范围，避免侵权风险。
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
🔗 相关工具推荐
❓ 常见问题 FAQ
总体来看，MCP工具 是一款质量良好的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | librecrawl-mcp |
| 原始描述 | 开源MCP工具：Self-hosted SEO crawler for Claude — Screaming Frog-level audits, unlimited page。⭐17 · Python |
| Topics | MCPSEO爬虫Python |
| GitHub | https://github.com/adityaarsharma/librecrawl-mcp |
| 语言 | Python |
收录时间：2026-06-03 · 更新时间：2026-06-11 · License：未公布 · AI Skill Hub 不对第三方内容的准确性作法律背书。