cv-cat / Spider_XHS
git clone https://github.com/cv-cat/Spider_XHS.git
v5.0.0 · 1mo ago
小红书爬虫数据采集,小红书逆向,私信,直播,小红书全域运营解决方案
+18
stars, 24h · #2,059
+~72
stars, 7 days · #2,907
+~310
stars, 30 days · #2,648
8.2k
★ total · +1% this week
1.4k
forks · 126 open issues
Star history (as recorded here)
LanguagePython
License—
Created2023-08-08 (3y ago)
Last pushtoday
Watchers35
OwnerUser
Links
README excerpt
# Spider_XHS ### The All-in-One Manager for XHS ## ❤️Sponsor **Sponsored by Vectrust @ OpenDev Org & NextRouter Alliance** 想出现在这里? --- **FastAIToken** 是面向开发者的 AI API 聚合平台,支持 OpenAI、Claude、Gemini 等主流大模型,兼容 OpenAI API 协议,可无缝接入 **Claude Code、Codex、Gemini CLI、Cherry Studio、Cline、Continue** 等各类 AI 开发工具。平台采用 **充值 1:1(1 元 = 1 美元 API 额度)**,帮助开发者以更低成本、更高效率地使用全球领先的大模型服务。 平台提供多个可选分组与公开状态页,开发者可根据成本、响应速度和稳定性自由选择不同渠道,并享受 **7×24 小时真人技术支持**(非机器人)。 **主要做 AI 开发接入?可以试试 FastAIToken,兼容 Codex / Claude Code / Gemini CLI 等主流工具。** ## 为什么需要这个项目? > **在 AI 大模型爆发的时代,内容运营的竞争本质是效率竞争。** > 本项目封装了小红书平台完整的数据采集与内容发布能力,为开发者构建 AI 运营智能体提供可靠、稳定的底层 API 支撑。 **⚠️ 本项目仅供学习交流使用,禁止任何商业化行为,如有违反,后果自负** [code] 小红书没有开放完整的内容运营接口。想要接入 AI 大模型实现内容批量采集、智能改写、一键发布,首先需要能**稳定读写平台数据**。Spider_XHS 解决的正是这个前置问题: - 逆向还原了小红书 PC 端与创作者平台的签名算法(a1 / web_id / b1 / websectiga / sec_poison_id / gid / x-s / x-t / x-s-common / x-b3-traceid / x-xray-traceid / x-rap-param / search_id / request_id / sign / q-signature 等参数) - 封装全部核心 HTTP 接口,签名参数已透明处理 - 同时覆盖 **数据采集**(PC端)、**内容发布**(创作者平台)、**KOL数据**(蒲公英)三大场景 **你负责接 AI 大脑,我们负责打通小红书的神经。** --- ## 成品 ### repo地址: XHS_ALL_IN_ONE ### 账号矩阵 — 多账号绑定与健康管理 支持绑定多个 PC / Creator 账号,扫码登录、手机验证码、Cookie 导入三种方式。Cookie 加密存储,2 小时自动健康巡检,过期自动通知。 ### 素材优化 — AI 图片润色 选择草稿中的任意图片,添加参考图,输入润色指令,AI 生成优化后的图片并原位替换。当前素材和优化结果并排对比,点击即可放大预览。 ### 发布中心 — 一键发布到小红书 预览草稿内容和图片素材,选择 Creator 账号,设置可见性和发布模式(立即/定时),发布校验通过后一键发布到小红书创作者平台。 --- ## 🧩 Skills 支持 当前项目已经支持基于 skills 的能力接入,既可以直接作为 `Spider_XHS` 的底层能力仓库使用,也可以通过标准化 skills 方式被上层 Agent 工具链引入。 如果你希望直接复用已经封装好的 skills,可以查看 XhsSkills。该仓库专门用于存放基于 `Spider_XHS` 封装的 Agent Skills,目前可被 `Clawbot`、`Claude Code`、`Codex` 等支持 skills 的工具直接引入与集成。 --- ## ⭐ 已实现功能 | 模块 | 功能 | 状态 | |------|------|------| | **小红书 PC 端** | 二维码登录 / 手机验证码登录 | ✅ | | | 获取主页所有频道 & 推荐笔记 | ✅ | | | 获取用户主页信息 / 自己的账号信息 | ✅ | | | 获取用户发布 / 喜欢 / 收藏的所有笔记 | ✅ | | | 获取笔记详细内容(无水印图片 & 视频) | ✅ | | | 搜索笔记 & 搜索用户 | ✅ | | | 获取笔记评论 | ✅ | | | 获取未读消息 / 评论@提醒 / 点赞收藏 / 新增关注 | ✅ | | **直播 / 私信** | 直播间连接与事件监听(弹幕 / 点赞 / 进场 / 礼物等) | ✅ | | | 私信发送与接收(WebSocket + HTTP 兜底) | ✅ | | **创作者平台** | 二维码登录 / 手机验证码登录 | ✅ | | | 登录会话级自动重试(406 概率闸门) | ✅ | | | 上传图集作品 | ✅ | | | 上传视频作品(含转码轮询) | ✅ | | | 查看已发布作品列表 | ✅ | | | 发布接口 Creator RAP 本地纯算 | ✅ | | **蒲公英平台** | 获取 KOL 博主列表 & 详细数据 | ✅ | | | 获取博主粉丝画像 & 历史趋势 | ✅ | | | 发起合作邀请 | ✅ | | **千帆平台** | 获取分销商列表 & 详细数据 | ✅ | | | 获取分销商合作品类 / 店铺 / 商品信息 | ✅ | --- ## 🤖 接入 AI 智能体 Spider_XHS 天然适合作为 AI 运营 Agent 的数据底座,以下是几种典型用法: ### 场景一:竞品笔记采集 + AI 改写 + 自动发布 [code] ### 场景二:关键词监控 + AI 情报分析 [code] ### 场景三:KOL 筛选 + 智能匹配 [code] --- ## 🎨 爬虫效果图 ### 处理后的所有用户 ### 某个用户所有的笔记 ### 某个笔记具体的内容 ### 保存的 Excel --- ## 🛠️ 快速开始 ### ⛳ 环境要求 - Python 3.10+ - Node.js 20+ ### 🎯 安装依赖 [code] ### 🎨 配置登录方式 项目运行不依赖浏览器。直接在 `spider/spider.py` 中设置: [code] - `qrcode`:项目本地请求二维码,用小红书 App 扫码。 - `phone`:项目直接调用手机号验证码登录接口。 - `cookie`:用户登录后直接复制完整 Cookie,或复用本项目登录流程之前保存的完整 Cookie。 只有 `cookie` 模式需要复制 `.env.example` 为 `.env`: [code] PC 端统一通过 `XHSPcAuth` 管理登录状态、b1、DS、MNS 环境材料和会话计数: [code] 如果同时需要 PC 内容/直播/私信和 Creator 发布,推荐使用统一入口,只扫码(或输 入手机号)一次: [code] 主站和 Creat