基本网页爬虫

1. 依赖 + Playwright 浏览器

pip install -r requirements-collector.txt playwright install chromium

安装要求

- Python 3.8+ - 依赖包：

  requests
  beautifulsoup4
  markdownify
  fastmcp
  playwright
  

安装步骤

1. 克隆项目到本地 2. 安装依赖：

   pip install requests beautifulsoup4 markdownify fastmcp
   

HTTP 传输（云部署，自定义端口）

python mcp_server/start_mcp_server.py --transport http --host 0.0.0.0 --port 9000 --auto

安装 mcp-proxy

uv tool install mcp-proxy

部署选项

1. 本地部署：直接运行Python脚本
2. 容器部署：使用Docker容器化部署
3. 云服务：部署到云平台提供API服务

使用方法

方法1：使用统一启动脚本（推荐）

python mcp_server/start_mcp_server.py

方法2：使用统一启动脚本 + 命令行参数

python mcp_server/start_mcp_server.py --transport stdio --auto

方法3：直接运行Python脚本

python mcp_server/mcp_server.py

方法4：使用FastMCP CLI

fastmcp run mcp_server/mcp_server.py

##### 方式二：SSE 传输（Server-Sent Events）

**特点**：
- 基于HTTP的服务器推送事件
- 支持远程访问和多客户端连接
- 适合Web应用和分布式系统

**启动方法**：

方法1：使用统一启动脚本（推荐）

python mcp_server/start_mcp_server.py --transport sse --host 127.0.0.1 --port 8000 --auto

方法2：使用FastMCP CLI

fastmcp run mcp_server/mcp_server.py --transport sse --host 127.0.0.1 --port 8000

方法1：使用统一启动脚本（推荐）

python mcp_server/start_mcp_server.py --transport http --host 127.0.0.1 --port 8000 --auto

方法2：使用FastMCP CLI

fastmcp run mcp_server/mcp_server.py --transport http --host 127.0.0.1 --port 8000

交互式启动（显示配置示例）

python mcp_server/start_mcp_server.py --transport sse --port 8000

运行测试

运行所有测试：

python -m unittest discover tests

运行特定测试： ```bash

网站配置示例

每个网站都有专门的配置，包括： - 特定的HTTP请求头 - 针对性的内容选择器 - Cookie需求设置

快速启动（全自动，推荐）

```bash cd BasicWebCrawler

4. 三个终端分别运行：

快速启动（仅插件，可选）

```bash pip install -r requirements-collector.txt cp .env.example .env # 设置 COLLECTOR_API_TOKEN alembic upgrade head python -m wechat_collector.io.import_wechat_accounts samples/pilot_wechat_accounts.csv uvicorn wechat_collector.api.app:app --reload --port 8787

Claude Desktop 配置

{ "mcpServers": { "basic-web-crawler": { "command": "mcp-proxy", "args": ["http://127.0.0.1:8000/sse"] } } }

#### MCP 工具说明

MCP服务器提供以下工具：

1. **crawl_single_url** - 爬取单个网页
   - 参数：url, img_folder, use_cookies, cookies_file
   - 功能：爬取指定URL并转换为Markdown

2. **crawl_urls_from_text** - 批量爬取 URL
   - 参数：text, img_folder, use_cookies, cookies_file
   - 功能：从文本中提取URL并批量爬取

3. **extract_urls** - 提取 URL 列表
   - 参数：text
   - 功能：从文本中提取所有有效URL

4. **check_site_config** - 检查网站配置
   - 参数：url
   - 功能：查看特定网站的爬取配置信息

5. **get_supported_sites** - 获取支持的网站

6. **interactive_crawl** - 交互式抓取（默认头显模式）
   - 参数：
     - `url` 初始页面地址
     - `actions` 动作数组（支持 goto、wait、click、type、scroll、sleep、screenshot、evaluate）
     - `output_dir` 可选，保存目录；未传则为仓库根目录
     - `img_folder` 可选，默认 `images`（最终为 `output_dir/images`）
     - `use_cookies`、`cookies_file` 可选，用于需要登录站点
     - `headers` 合并站点配置的请求头
     - `headless` 是否无头，默认 `False`
     - `timeout_ms` 默认 `15000`
   - 行为：执行动作序列完成交互后，获取页面 HTML，进行内容抽取与图片本地化，生成 Markdown 保存到 `output_dir`
   - 功能：列出所有预配置的网站

#### MCP 资源

- **crawler://config** - 爬虫配置信息（JSON格式）

#### MCP 提示模板

- **crawl_webpage_prompt** - 爬取网页的标准提示
- **batch_crawl_prompt** - 批量爬取的标准提示

#### AI助手使用示例

在AI助手中，你可以这样使用：

测试网站配置功能

python -m unittest tests.test_site_configs ```

自定义配置

可以通过修改crawler.py中的SITE_CONFIGS字典来添加新的网站配置：

SITE_CONFIGS = {
    'example.com': {
        'headers': {
            'Referer': 'https://example.com',
            # 其他请求头
        },
        'main_content_selectors': ['.article', '#main-content'],
        'needs_cookies': False
    }
}

2. 配置（至少改 Token，并开启 SOGOU_PLAYWRIGHT_ENABLED=true）

cp .env.example .env

方法3：修改mcp_server.py中的main函数：

方法3：修改mcp_server.py中的main函数：

终端 1 — API

uvicorn wechat_collector.api.app:app --reload --port 8787

主要 API 接口

Chrome 加载 extension/ 目录，打开微信文章后点「采集当前文章」

```

常见问题

1. 403错误 - 检查cookies是否有效 - 确认是否需要登录 - 检查网站是否有反爬虫机制

2. 图片下载失败 - 检查网络连接 - 确认图片URL是否有效 - 检查是否有足够的存储空间

3. 内容提取不完整 - 可能需要调整内容选择器 - 检查网页结构是否符合预期

4. MCP服务器连接失败 - 确认服务器正在运行 - 检查配置文件路径是否正确 - 验证Python环境和依赖是否安装