webclaw 是什么工具？

webclaw 是一款Rust开发的AI辅助工具。开源MCP工具：Fast, local-first web content extraction for LLMs. Scrape, crawl, extract struct。⭐1.2k · Rust 主要应用场景包括：MCP配置。

webclaw 如何安装和开始使用？

访问 webclaw 的 GitHub 仓库或官方网站，按照 README 文档中的步骤安装依赖并运行。通常需要 Python 3.8+ 或 Node.js 16+ 基础环境。

webclaw 是否免费？许可证是什么？

webclaw 完全免费，采用 AGPL-3.0 许可证开源发布，任何人都可以免费使用、修改和分发。

webclaw 适合哪些用户使用？

webclaw 对初学者友好，无需深厚技术背景即可快速上手。同时也适合有经验的开发者和 AI 工程师进行深度定制。

webclaw 的社区活跃度和项目维护状况如何？

webclaw 在 GitHub 上已获得 1,155 个 Star，处于积极发展阶段，社区在持续扩大。

Rust实现确保高性能，本地运行无网络依赖，适合实时应用。

📄 工具详情 ⚙️ 安装教程 📚 使用教程

能力标签

🔌 MCP 🤖 Agent 🔄 工作流 🐳 Docker 💻 CLI 🔗 REST API 📚 RAG 🧠 Claude ✨ GPT 🖥 本地 LLM

🔌

MCP工具

webclaw MCP工具

基于 Rust · 让 AI 助手直接操作你的系统与工具

英文名：webclaw

⭐ 1.2k Stars 🍴 137 Forks 💻 Rust 📄 AGPL-3.0 🏷 AI 8.5分

8.5AI 综合评分

网页爬取内容提取LLM工具Rust开发MCP协议本地优先数据结构化

⬇ 下载源码（GPL） ⚙️ 配置说明 📺 TG 频道

✦ AI Skill Hub 推荐

webclaw MCP工具是 AI Skill Hub 本期精选MCP工具之一。已获得 1.2k 颗 GitHub Star，综合评分 8.5 分，整体质量较高。我们强烈推荐将其纳入你的 AI 工具库，帮助提升工作效率。

📚 深度解析

webclaw MCP工具是一款基于 MCP（Model Context Protocol）标准协议的 AI 工具扩展。MCP 协议由 Anthropic 开发并开源，旨在建立 AI 模型与外部工具之间的标准化通信接口，目前已被 Claude Desktop、Claude Code、Cursor 等主流 AI 工具采纳。

通过安装 webclaw MCP工具，你的 AI 助手将获得额外的工具调用能力，可以用自然语言直接操控该工具的功能，无需学习复杂的命令行语法。MCP 工具的核心价值在于"一次配置，永久增强"——配置完成后，每次与 AI 对话时都可以无缝调用这些工具。

在技术实现上，MCP 工具通过标准的 JSON-RPC 协议与 AI 客户端通信，工具的功能以"工具列表"的形式暴露给 AI 模型，AI 可以按需调用。webclaw MCP工具提供了结构化的工具调用接口，使 AI 模型能够精确地理解和使用每个功能点，显著降低 AI 在工具使用上的错误率。

与传统的 API 集成相比，MCP 工具的优势在于无需编写代码——用户只需在配置文件中添加几行 JSON，即可让 AI 获得全新能力。AI Skill Hub 将 webclaw MCP工具评为 AI 评分 8.5 分，属于同类工具中的优质选择。

📋 工具概览

高性能本地网页内容提取工具，专为LLM优化。支持网页爬取、内容提取、结构化解析，采用Rust开发确保速度和安全。适合AI应用开发者、数据爬虫工程师和智能体框架集成使用。

webclaw MCP工具是一款遵循 MCP（Model Context Protocol）标准协议的 AI 工具扩展。通过 MCP 协议，它可以让 Claude、Cursor 等主流 AI 客户端直接访问和操作外部工具、数据源和服务，实现 AI 能力的无缝扩展。无论是文件操作、数据库查询还是 API 调用，都可以通过自然语言在 AI 对话中直接触发，极大提升生产效率。

GitHub Stars

⭐ 1.2k

开发语言

Rust

支持平台

Windows / macOS / Linux

维护状态

正常维护，社区驱动

开源协议

AGPL-3.0

AI 综合评分

8.5 分

工具类型

MCP工具

Forks

137

📖 中文文档

以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

📌 核心特色

通过标准 MCP 协议与 Claude、Cursor 等主流 AI 客户端深度集成
提供结构化工具调用接口，显著降低 AI 集成复杂度
支持 Claude Desktop 和 Claude Code 无缝接入，开箱即用
可与其他 MCP 工具组合叠加，构建完整 AI 工作站
轻量无侵入设计，不影响现有系统架构

🎯 主要使用场景

在 Claude Desktop 对话中直接调用本地工具，实现 AI 与系统的深度联动
通过自然语言驱动复杂的多步骤自动化任务，代替繁琐手动操作
将多个 MCP 工具组合使用，构建个人专属 AI 工作站

以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。

安装命令

# 方式一：通过 Claude Code CLI 一键安装
claude skill install https://github.com/0xMassi/webclaw

# 方式二：手动配置 claude_desktop_config.json
{
  "mcpServers": {
    "webclaw-mcp--": {
      "command": "npx",
      "args": ["-y", "webclaw"]
    }
  }
}

# 配置文件位置
# macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
# Windows: %APPDATA%/Claude/claude_desktop_config.json

📋 安装步骤说明

确认已安装 Node.js（v18 或以上版本）
打开 Claude Desktop 或 Claude Code 的 MCP 配置文件
按「交给 Agent 安装 → Claude Desktop」标签中的 JSON 配置填入 mcpServers 字段
保存配置文件并重启 Claude 客户端
重启后，在对话中即可使用本工具

以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。

常用命令 / 代码示例

# 安装后在 Claude 对话中直接使用
# 示例：
用户: 请帮我用 webclaw MCP工具 执行以下任务...
Claude: [自动调用 webclaw MCP工具 MCP 工具处理请求]

# 查看可用工具列表
# 在 Claude 中输入："列出所有可用的 MCP 工具"

以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。

配置示例

// claude_desktop_config.json 配置示例
{
  "mcpServers": {
    "webclaw_mcp__": {
      "command": "npx",
      "args": ["-y", "webclaw"],
      "env": {
        // "API_KEY": "your-api-key-here"
      }
    }
  }
}

// 保存后重启 Claude Desktop 生效

📑 README 深度解析真实文档完整度 69/100 查看 GitHub 原文 →

以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

简介

webclaw

Turn websites into clean markdown, JSON, and LLM-ready context. CLI, MCP server, REST API, and SDKs for AI agents and RAG pipelines.

---

Most web scraping tools give your agent one of two bad outputs:

a blocked page, login wall, or empty app shell
raw HTML full of nav, scripts, styling, ads, and duplicated boilerplate

webclaw.io is the hosted web extraction API for webclaw. This repo contains the open-source CLI, MCP server, extraction engine, and self-hostable server.

webclaw turns a URL into clean content your tools can actually use.

webclaw https://example.com --format markdown

```md

Install

Agent setup

The fastest way to connect webclaw to Claude Code, Claude Desktop, Cursor, Windsurf, OpenCode, Codex CLI, and other MCP-compatible tools:

npx create-webclaw

The installer detects supported clients and configures the MCP server for you.

Docker

docker run --rm ghcr.io/0xmassi/webclaw https://example.com

What You Can Build

Use case	Example
AI agent web access	Give Claude, Cursor, or another MCP client clean page context
RAG ingestion	Crawl docs, help centers, blogs, and knowledge bases
Competitor monitoring	Track pricing pages, changelogs, docs, and product pages
Structured extraction	Turn messy pages into typed JSON for automations
Research workflows	Search, scrape, summarize, and cite multiple sources
Brand intelligence	Extract logos, colors, fonts, and social metadata

Example Domain

This domain is for use in illustrative examples in documents.

You may use this domain in literature without prior coordination or asking for permission. ```

Use it from the terminal, wire it into Claude/Cursor through MCP, call the hosted API from your app, or self-host the OSS server.

---

Quick Start

Workflow examples

Configuration

Variable	Description
`WEBCLAW_API_KEY`	Hosted API key
`OLLAMA_HOST`	Ollama URL for local LLM features
`OPENAI_API_KEY`	OpenAI-compatible LLM provider key
`OPENAI_BASE_URL`	OpenAI-compatible base URL
`ANTHROPIC_API_KEY`	Anthropic-compatible LLM provider key
`ANTHROPIC_BASE_URL`	Anthropic-compatible base URL
`ORCAROUTER_API_KEY`	OrcaRouter LLM provider key
`ORCAROUTER_BASE_URL`	OrcaRouter base URL (defaults to https://api.orcarouter.ai/v1)
`WEBCLAW_PROXY`	Single proxy URL
`WEBCLAW_PROXY_FILE`	Proxy pool file

---

SDKs

npm install @webclaw/sdk
pip install webclaw
go get github.com/0xMassi/webclaw-go

<details> <summary>TypeScript</summary>

import { Webclaw } from "@webclaw/sdk";

const client = new Webclaw({ apiKey: process.env.WEBCLAW_API_KEY! });

const page = await client.scrape({
  url: "https://example.com",
  formats: ["markdown"],
  only_main_content: true,
});

console.log(page.markdown);

</details>

<details> <summary>Python</summary>

from webclaw import Webclaw

client = Webclaw(api_key="wc_your_key")

page = client.scrape(
    "https://example.com",
    formats=["markdown"],
    only_main_content=True,
)

print(page.markdown)

</details>

curl -X POST https://api.webclaw.io/v1/scrape \
  -H "Authorization: Bearer $WEBCLAW_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "formats": ["markdown"],
    "only_main_content": true
  }'

</details>

---

Community Plugins

Third-party plugins that integrate webclaw with AI agent platforms:

Plugin	Platform	What it does
[openclaw-webclaw](https://github.com/jal-co/openclaw-webclaw)	[OpenClaw](https://openclaw.ai)	Native webclaw v1 API plugin with 9 tools: scrape, search, crawl, extract, summarize, diff, map, batch, brand
[hermes-webclaw](https://github.com/jal-co/hermes-webclaw)	[Hermes Agent](https://github.com/NousResearch/hermes-agent)	Web search provider and 9 dedicated tools for the full v1 API surface. Install with `hermes plugins install jal-co/hermes-webclaw`

Built a webclaw integration? Open a PR to add it here.

---

Compare a page over time

webclaw https://example.com/pricing --format json > pricing-old.json
webclaw https://example.com/pricing --diff-with pricing-old.json

---

🇨🇳 中文文档镜像 AI 翻译 2026-07-08

英文原文章节由系统翻译为中文摘要，便于快速理解。完整原文见上方 "📑 README 深度解析"。

📌 简介

webclaw 是一个强大的网页解析工具，旨在将各类网站内容高效转化为干净的 Markdown、JSON 以及专为 LLM 优化的上下文数据。它不仅提供 CLI 命令行工具，还支持作为 MCP server、REST API 以及多种语言的 SDK 使用，能够完美融入 AI Agent 工作流和 RAG（检索增强生成）流水线中，是构建智能化网页数据处理能力的理想选择。

⚡ 功能介绍

webclaw 能够将复杂的 HTML 页面转换为结构化的 Markdown 或 JSON 格式，使其成为 LLM 易于理解的上下文。通过支持 MCP 协议，它可以无缝接入各类 AI 开发工具。此外，它还提供了兼容 Firecrawl 的 API 接口，并支持通过代理（如 ColdProxy）进行爬取，以及针对 Cloudflare 等防护机制的诊断功能，满足从简单抓取到复杂 RAG 应用的全场景需求。

🛠 安装步骤（Docker/pip/源码）

您可以根据使用场景选择多种安装方式：对于 AI Agent 用户，推荐使用 `npx create-webclaw` 快速配置 Claude Code、Claude Desktop、Cursor、Windsurf 等 MCP 兼容工具；对于容器化部署，可以直接使用 Docker 运行 `ghcr.io/0xmassi/webclaw`；开发者也可以通过 npm、pip 或 Go get 安装相应的 SDK 进行集成。

🚀 使用教程

webclaw 的使用非常灵活：您可以通过终端命令行直接操作，也可以通过 MCP 协议将其接入 Claude 或 Cursor 等 AI 编辑器中。如果您正在开发应用程序，可以直接调用托管的 API，或者通过自托管的 OSS 服务端进行大规模数据处理。项目文档中还提供了从 HTML 转 Markdown 用于 RAG、结合代理进行爬取等多种实战 Workflow 示例。

⚙️ 配置说明（含 MCP / env）

项目支持通过环境变量进行灵活配置。您可以设置 `WEBCLAW_API_KEY` 来使用托管 API，或者通过 `OLLAMA_HOST`、`OPENAI_API_KEY`、`ANTHROPIC_API_KEY` 及其对应的 `BASE_URL` 来配置本地或兼容 OpenAI/Anthropic 标准的 LLM 服务，从而实现本地化或自定义的 AI 处理能力。

🔌 API 说明

webclaw 为开发者提供了多语言 SDK 支持，包括 TypeScript (`@webclaw/sdk`)、Python (`pip install webclaw`) 以及 Go 语言。开发者可以通过简单的代码调用 `client.scrape` 方法，轻松实现网页抓取并获取结构化数据，将 webclaw 的强大解析能力集成到自己的业务逻辑中。

🔄 工作流/模块

除了核心功能，webclaw 还拥有活跃的社区生态。通过 Community Plugins，您可以将 webclaw 与 OpenClaw 等 AI Agent 平台进行深度集成。例如，使用 `openclaw-webclaw` 插件，可以在 OpenClaw 平台中直接调用包含 scrape、search、crawl、extract、summarize 等 9 种工具的 native API，实现高度自动化的网页智能交互。

🎯 aiskill88 AI 点评 A 级 2026-05-20

高质量开源工具，Rust实现保证性能安全，MCP协议集成便捷，1.2k Star证明社区认可度高。适合专业AI开发者使用。

📚 实用指南（长尾问题）

适合谁

需要让 Claude / Cursor 操作本地工具的 AI 工程师
构建多智能体协作系统的 Agent 开发者
构建企业知识库 / RAG 检索应用的团队

最佳实践

配置 MCP 服务器时建议使用 stdio 传输 + JSON-RPC，避免暴露公网
生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant
Agent 任务先做 dry-run 验证工具调用链，再开启自主执行

常见错误

API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
MCP 配置路径拼错或权限不足，重启 Claude Desktop 才生效
容器内无法访问宿主机 localhost — 使用 host.docker.internal
embedding 模型与查询模型不一致导致检索失效
显存不足直接 OOM — 优先降低 context 或换更小的量化模型

部署方案

Docker：webclaw 提供官方镜像，docker compose up 一键启动
CLI：直接 npm install -g / pip install，命令行调用
本地部署：CPU 8GB 起，GPU 推荐 16GB+ 显存
云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台

⚡ 核心功能

通过标准 MCP 协议与 Claude、Cursor 等主流 AI 客户端深度集成
提供结构化工具调用接口，显著降低 AI 集成复杂度
支持 Claude Desktop 和 Claude Code 无缝接入，开箱即用
可与其他 MCP 工具组合叠加，构建完整 AI 工作站
轻量无侵入设计，不影响现有系统架构

👥 适合谁

需要让 Claude / Cursor 操作本地工具的 AI 工程师
构建多智能体协作系统的 Agent 开发者
构建企业知识库 / RAG 检索应用的团队

⭐ 最佳实践

配置 MCP 服务器时建议使用 stdio 传输 + JSON-RPC，避免暴露公网
生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant

⚠️ 常见错误

API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
MCP 配置路径拼错或权限不足，重启 Claude Desktop 才生效
容器内无法访问宿主机 localhost — 使用 host.docker.internal
embedding 模型与查询模型不一致导致检索失效

👥 适合人群

Claude Desktop / Claude Code 用户AI 工具开发者需要扩展 AI 能力的专业人士自动化工程师

🎯 使用场景

在 Claude Desktop 对话中直接调用本地工具，实现 AI 与系统的深度联动
通过自然语言驱动复杂的多步骤自动化任务，代替繁琐手动操作
将多个 MCP 工具组合使用，构建个人专属 AI 工作站

⚖️ 优点与不足

✅ 优点

+标准化 MCP 协议，生态互联性强
+与 Claude 官方生态无缝对接
+即插即用，配置简单快捷

⚠️ 不足

−依赖 Claude 客户端，非 Claude 用户无法使用
−MCP 协议仍在持续演进，接口可能变更
−需要一定的配置步骤

⚠️ 使用须知

该工具使用 AGPL-3.0 协议，商用场景请仔细阅读协议条款，必要时咨询法律意见。

AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。

建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。

📄 License 说明

⚠️ AGPL 3.0 — 最严格的 Copyleft，网络服务端使用也需开源，SaaS 使用受限。

🔗 相关工具推荐

github-mcp-server MCP工具

GitHub官方MCP服务器实现，使AI助手能直接操作GitHub仓库、问题、拉取请求等资源。采用Go语言开发，高性能稳

全市场股票行情MCP接口

一个基于MCP协议的开源股票数据接口工具，支持A股、美股及港股的实时行情与基金数据查询。它允许AI助手直接获取金融市场数

MCP 服务器资源汇总

汇集开源MCP（模型上下文协议）服务器的权威目录库。为开发者提供丰富的MCP服务器实现和集成方案，支持AI应用快速扩展功

📚 相关教程推荐

Cursor AI 编程完全指南：Rules 配置、Composer 使用、MCP 集成

帮助中心 · AI Skill Hub

MCP 工作流生产级配置方案：从开发环境到团队共享

📰 相关 AI 新闻

Claude Code 最新功能与使用技巧

AI 资讯 · 知识关联

OpenAI 最新产品与研究动态

AI 资讯 · 知识关联

🍿 AI 圈相关吃瓜

配了5个 MCP 工具，Claude 一个都没用

AI 圈观察

AutoGPT 自主完成了任务：把我的文件夹全部重命名了

AI 圈观察

Filesystem MCP 帮 Claude 找文件，找了整个 node_modules

🗺️ 相关解决方案

ai-workflow-templates

docker

docker-deploy

🧩 你可能还需要

基于当前 Skill 的能力图谱，自动补全的工具组合

AI公司多智能体操作系统

为Claude Code设计的开源MCP工具集，包含108个MCP工具和40+智能体模板。支持多智能体协作编排，提供完整的自主代理框架。适合

natively-cluely-ai-assistant — Claude Skill 中文使用文档

免费开源的AI面试助手，实时转录，隐蔽模式，局部RAG，BYOK。无订阅，防止数据泄露。

multi-agent-shogun Agent工作流

基于Claude的开源多智能体编排系统，采用武士风格架构设计，支持并行任务协调。适合需要构建复杂AI工作流、自动化多步骤任务的开发者和企业用

Redmine MCP服务器

为Redmine项目管理系统设计的生产级MCP服务器，提供安全认证、分页查询和企业级功能。支持AI Agent与Redmine深度集成，适合

❓ 常见问题 FAQ

webclaw支持哪些网页格式提取？−

支持HTML/CSS内容提取、结构化数据解析，可自定义提取规则适配各类网站。

如何集成到AI Agent中？+

性能如何？+

MCP 是什么？和普通 API 有什么区别？+

我需要编程基础才能使用这个 MCP 工具吗？+

这个工具支持 Claude Code 吗？还是只有 Claude Desktop？+

MCP 工具是否会访问我的本地文件或数据？+

多个 MCP 工具可以同时使用吗？+

💡 AI Skill Hub 点评

经综合评估，webclaw MCP工具在MCP工具赛道中表现稳健，质量优秀。如果你已有明确的使用需求，可以直接上手体验；如果还在评估阶段，建议对比同类工具后再做决策。

⬇️ 获取与下载

⬇ 下载源码（GPL）

⚠️ 本工具使用 AGPL-3.0 协议。您可以自由下载和使用，但衍生作品必须以相同协议开源，不可商业闭源。使用前请确认符合协议要求。

📚 深入学习 webclaw MCP工具

查看分步骤安装教程和完整使用指南，快速上手这款工具

⚙️ 安装教程 📚 使用教程

🌐 原始信息

原始名称	`webclaw`
原始描述	开源MCP工具：Fast, local-first web content extraction for LLMs. Scrape, crawl, extract struct。⭐1.2k · Rust
Topics	`网页爬取内容提取LLM工具Rust开发MCP协议本地优先数据结构化`
GitHub	https://github.com/0xMassi/webclaw
License	AGPL-3.0
语言	Rust

🔗 原始来源

🐙 GitHub 仓库 https://github.com/0xMassi/webclaw 🌐 官方网站 https://webclaw.io

收录时间：2026-05-16 · 更新时间：2026-05-19 · License：AGPL-3.0 · AI Skill Hub 不对第三方内容的准确性作法律背书。

📺 订阅 AI Skill Hub Daily Telegram 频道

每天 8 条精选 AI Skill、MCP、Agent 与自动化工具推送

加入频道 →

webclaw MCP工具

📚 深度解析

📋 工具概览

📖 中文文档

简介

webclaw

Install

Agent setup

Docker

What You Can Build

Example Domain

Quick Start

Workflow examples

Configuration

SDKs

Community Plugins

Compare a page over time

⚡ 核心功能

👥 适合人群

🎯 使用场景

⚖️ 优点与不足

🔗 相关工具推荐

❓ 常见问题 FAQ

🤖 交给 Agent 安装 · webclaw MCP工具