NanmiCoder / MediaCrawler

# 🔥 MediaCrawler - 自媒体平台爬虫 🕷️
### 🤝 特别感谢金牌赞助商
 BrowserAct 支持一句话从任意网站提取数据。无需代码，一次构建、稳定复用，Token 消耗极低。BrowserAct 使用真实浏览器自动构建数据采集 Bot，内置隐身浏览、验证码处理和住宅代理，直接输出结构化结果。立即免费试用。 
---
> **免责声明：**
> 
> 大家请以学习为目的使用本仓库⚠️⚠️⚠️⚠️，爬虫违法违规的案件 
>
>本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。
>
> 点击查看更为详细的免责声明。点击跳转
## 📖 项目简介
一个功能强大的**多平台自媒体数据采集工具**，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。
### 🔧 技术原理
- **核心技术**：基于 Playwright 浏览器自动化框架登录保存登录态
- **无需JS逆向**：利用保留登录态的浏览器上下文环境，通过 JS 表达式获取签名参数
- **优势特点**：无需逆向复杂的加密算法，大幅降低技术门槛
## ✨ 功能特性
| 平台 | 关键词搜索 | 指定帖子ID爬取 | 二级评论 | 指定创作者主页 | 登录态缓存 | IP代理池 | 生成评论词云图 |
| ------ | ---------- | -------------- | -------- | -------------- | ---------- | -------- | -------------- |
| 小红书 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 抖音 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 快手 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| B 站 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 微博 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 贴吧 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 知乎 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
 🚀 开源版不够用？看看 MediaCrawlerPro 多了什么：断点续爬 · 多账号 + IP 代理池 · 去掉 Playwright · 多个 AI Agent 项目源码 （点击展开） 
> 专注于学习成熟项目的架构设计，不仅仅是爬虫技术，Pro 版本的代码设计思路同样值得深入学习！
MediaCrawlerPro 相较于开源版本的核心优势：
#### 🎯 核心功能升级
- ✅ **断点续爬功能**（重点特性）
- ✅ **多账号 + IP代理池支持**（重点特性）
- ✅ **去除 Playwright 依赖**，使用更简单
- ✅ **完整 Linux 环境支持**
#### 🏗️ 架构设计优化
- ✅ **代码重构优化**，更易读易维护（解耦 JS 签名逻辑）
- ✅ **企业级代码质量**，适合构建大型爬虫项目
- ✅ **完美架构设计**，高扩展性，源码学习价值更大
#### 🎁 额外功能
- ✅ **AI Agent Skill 支持**（Codex / OpenClaw 🦞 / Hermes / Claude Code / DeepSeek Harness / cc-haha / WorkBuddy / 豆包 / Trae / Qoder / Cursor 一键安装，让 Agent 自动爬取数据）
- ✅ **评论分析 Agent**（🆕 新上线）：输入关键词或链接，自动采集评论并生成研究报告
- ✅ **自媒体内容拆解 Agent**：解析内容、视频转文字、拆解爆款元素
- ✅ **多平台首页信息流推荐**（HomeFeed）和**热搜榜单**
- ✅ **自媒体视频下载器桌面端**（适合学习全栈开发）
- ✅ **AI 图片生成 Agent**：多轮迭代自动优化，内置精选模板库
开源不易，欢迎订阅支持！点击查看：MediaCrawlerPro 项目主页 更多介绍
## 🚀 快速开始
> 💡 **如果这个项目对您有帮助，请给个 ⭐ Star 支持一下！**
## 📋 前置依赖
### 🚀 uv 安装（推荐）
在进行下一步操作之前，请确保电脑上已经安装了 uv：
- **安装地址**：uv 官方安装指南
- **验证安装**：终端输入命令 `uv --version`，如果正常显示版本号，证明已经安装成功
- **推荐理由**：uv 是目前最强的 Python 包管理工具，速度快、依赖解析准确
### 🟢 Node.js 安装
项目依赖 Node.js，请前往官网下载安装：
- **下载地址**：https://nodejs.org/en/download/
- **版本要求**：>= 16.0.0
### 📦 Python 包安装
 [code] 
### 🌐 浏览器驱动安装（可选）
> 如果使用默认的 CDP 模式（连接已有 Chrome 浏览器），**无需安装浏览器驱动**。仅在使用标准 Playwright 模式时需要安装。
 [code] 
### 🌍 Chrome 浏览器配置（推荐）
项目默认使用 CDP 模式连接用户已有的 Chrome 浏览器，可以复用浏览器已有的登录状态、Cookie、扩展等，**大幅降低平台风控检测风险**。
使用前需要：
1. **安装最新版 Chrome 浏览器**（版本 >= 144），下载地址
2. **开启远程调试功能**：在 Chrome 地址栏输入 `chrome://inspect/#remote-debugging`，勾选 **"Allow remote debugging for this browser instance"**
3. 页面显示 `Server running at: 127.0.0.1:9222` 表示已就绪
> 💡 **提示**：运行爬虫后，Chrome 浏览器会弹出确认对话框，点击"接受"即可。程序会等待用户确认，60秒内操作完成即可。
>
> 如果不想使用 CDP 模式，可以在 `config/base_config.py` 中设置 `ENABLE_CDP_MODE = False` 切换为标准 Playwright 模式。
## 🚀 运行爬虫程序
 [code] 
 📥 媒体下载（封面 / 视频 / 图文图片） 
默认关闭。开启后会在爬取的同时把媒体文件下载到本地，按帖子聚合存放：
 [code] 
**落盘结构**（`SAVE_DATA_PATH` 为空时落在 `data/` 下）：
 [code] 
**支持平台**：小红书、抖音、快手、B站、微博。贴吧与知乎的数据结构中没有媒体字段，暂不支持。
**关于 B 站**：
- 安装