经 AI Skill Hub 精选评估,网页智能抓取服务 获评「推荐使用」。这款MCP工具在功能完整性、社区活跃度和易用性方面表现出色,AI 评分 7.5 分,适合有一定技术背景的用户使用。
基于MCP协议的网页内容抓取工具,集成Cloudflare反爬虫绕过、Trafilatura智能提取等功能。支持突破反爬限制、自动解析网页主体内容,适合需要大规模网页数据采集的开发者和AI应用集成场景。
网页智能抓取服务 是一款遵循 MCP(Model Context Protocol)标准协议的 AI 工具扩展。通过 MCP 协议,它可以让 Claude、Cursor 等主流 AI 客户端直接访问和操作外部工具、数据源和服务,实现 AI 能力的无缝扩展。无论是文件操作、数据库查询还是 API 调用,都可以通过自然语言在 AI 对话中直接触发,极大提升生产效率。
基于MCP协议的网页内容抓取工具,集成Cloudflare反爬虫绕过、Trafilatura智能提取等功能。支持突破反爬限制、自动解析网页主体内容,适合需要大规模网页数据采集的开发者和AI应用集成场景。
网页智能抓取服务 是一款遵循 MCP(Model Context Protocol)标准协议的 AI 工具扩展。通过 MCP 协议,它可以让 Claude、Cursor 等主流 AI 客户端直接访问和操作外部工具、数据源和服务,实现 AI 能力的无缝扩展。无论是文件操作、数据库查询还是 API 调用,都可以通过自然语言在 AI 对话中直接触发,极大提升生产效率。
# 方式一:通过 Claude Code CLI 一键安装
claude skill install https://github.com/dondai1234/master-fetch
# 方式二:手动配置 claude_desktop_config.json
{
"mcpServers": {
"--------": {
"command": "npx",
"args": ["-y", "master-fetch"]
}
}
}
# 配置文件位置
# macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
# Windows: %APPDATA%/Claude/claude_desktop_config.json
# 安装后在 Claude 对话中直接使用 # 示例: 用户: 请帮我用 网页智能抓取服务 执行以下任务... Claude: [自动调用 网页智能抓取服务 MCP 工具处理请求] # 查看可用工具列表 # 在 Claude 中输入:"列出所有可用的 MCP 工具"
// claude_desktop_config.json 配置示例
{
"mcpServers": {
"________": {
"command": "npx",
"args": ["-y", "master-fetch"],
"env": {
// "API_KEY": "your-api-key-here"
}
}
}
}
// 保存后重启 Claude Desktop 生效
Give your AI agent the web. $0. Two commands. ~1K tokens.
pip install hound-mcp[all] && playwright install chromium
Fetch any page, search the web, bypass bot protection. No accounts, no Docker, no credit card.
Commands · Tools · How it works · Token cost · Comparison · Pi Agent
---
| Fetch pages | Anti-bot | Search | Free? | |
|---|---|---|---|---|
| **Hound** | HTTP + stealthy | Cloudflare + bot walls | Yes (TinyFish) | Yes |
| **Crawl4AI** | Playwright | Stealth mode (basic) | No | Yes |
| **Firecrawl** (self) | HTTP + browser | No | Yes | API key |
| Fetch pages | Anti-bot | Search | Free limit | |
|---|---|---|---|---|
| **Bright Data** | Scrape + unlocker | Proxy infra | Yes | 5K req/mo |
| **Exa** | /contents | No | Yes | 1K req/mo |
| **Tavily** | /extract | No | Yes | 1K credits/mo |
| **Firecrawl** (cloud) | HTTP + browser | Yes | Yes | 1K pages/mo |
| **Jina Reader** | URL→markdown | No | No | Free tier |
---
实用的MCP网页抓取工具,集成反爬和智能提取功能。项目活跃度一般,文档完整度待提升,适合集成到AI工作流中。
AI Skill Hub 为第三方内容聚合平台,本页面信息基于公开数据整理,不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后,再部署至生产环境,并做好必要的安全评估。
✅ MIT 协议 — 最宽松的开源协议之一,可自由商用、修改、分发,仅需保留版权声明。
AI Skill Hub 点评:网页智能抓取服务 的核心功能完整,质量良好。对于Claude Desktop / Claude Code 用户来说,这是一个值得纳入个人工具库的选择。建议先在非生产环境试用,再逐步推广。
| 原始名称 | master-fetch |
| 原始描述 | 开源MCP工具:MCP server for web fetching with Cloudflare bypass, Trafilatura extraction, and 。⭐7 · Python |
| Topics | 网页抓取MCP服务反爬虫内容提取 |
| GitHub | https://github.com/dondai1234/master-fetch |
| License | MIT |
| 语言 | Python |
收录时间:2026-06-06 · 更新时间:2026-06-11 · License:MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。
选择 Agent 类型,复制安装指令后粘贴到对应客户端