微信公众号文章抓取工具

概述

抓取微信公众号文章到本地，默认一次产出两份：

产物	用途	特点
Markdown 整理版	检索、引用、下游加工	纯文本段落 + 图片本地化，自动过滤小装饰图
HTML 原件	保真留痕、回溯核对	完整页面 + 全部图片本地化（不过滤），离线双击可读，原外链保留在 `data-src` 备查

为什么两份都要：公众号分享链接常带 tempkey 临时凭证，过期后打不开；Markdown 整理会丢排版和配图，日后无法回溯核对原文。原件保真，整理版好用，两者互补不互替。

抓取引擎：

HTTP 直抓（默认主路线）：微信文章是服务端渲染，正文与图片地址都在初始 HTML 里，直接请求即可。零依赖、速度快。
Playwright 浏览器兜底（--engine auto 自动切换）：HTTP 路线失败或页面需要 JS 渲染时启用。

使用方法

# 默认：双产出，保存到 skill 内 archive/<时间戳>_<标题>/
node scripts/fetch.js "https://mp.weixin.qq.com/s/xxxxx"

# 指定输出根目录（文章产物归入其下子目录）
node scripts/fetch.js "https://mp.weixin.qq.com/s/xxxxx" "./articles/"

# 兼容旧用法：直接指定 .md 文件路径（其余产物同目录平铺）
node scripts/fetch.js "https://mp.weixin.qq.com/s/xxxxx" "./articles/my-article.md"

# 只要 Markdown 整理版 / 只要 HTML 原件
node scripts/fetch.js "https://mp.weixin.qq.com/s/xxxxx" --mode markdown
node scripts/fetch.js "https://mp.weixin.qq.com/s/xxxxx" --mode archive

# 强制走浏览器（或只走 HTTP 不装 Playwright）
node scripts/fetch.js "https://mp.weixin.qq.com/s/xxxxx" --engine playwright
node scripts/fetch.js "https://mp.weixin.qq.com/s/xxxxx" --engine http

完整参数运行 node scripts/fetch.js --help 查看。

产物结构

archive/<YYYYMMDD_HHMMSS>_<文章标题>/
├── <文章标题>.md            # 整理版（头部注明原文链接与 HTML 原件位置）
├── <文章标题>.html          # 原件（src 已本地化，离线可读）
├── <文章标题>_assets/       # 整理版图片（智能过滤小装饰图）
└── <文章标题>_html_assets/  # 原件图片（全量保真，含小图标）

编程接口

import { fetchWechatArticle } from './scripts/fetch.js';

const report = await fetchWechatArticle("https://mp.weixin.qq.com/s/xxxxx", {
  engine: 'auto',        // 'auto' | 'http' | 'playwright'
  mode: 'both',          // 'both' | 'markdown' | 'archive'
  outputPath: null,      // 输出路径（可选）
  retries: 3             // Playwright 路线重试次数
});
// report: { title, url, engine, md, archive: { htmlPath, images, missing, remoteLeft, failed } }

抓取后检查（必做，不要跳过）

看脚本输出：

HTML 原件行首为 [OK ] 即归档完整；[警告] 时查看"缺失本地图"与"残留外链"两项
残留外链只剩微信官方空白占位 pic_blank.gif 属正常，可忽略
Markdown 的图片统计里"失败"应为 0，过滤数是装饰图属正常
页面报"该内容已被发布者删除""环境异常"等 → 链接失效，脚本会自动切换引擎重试；两条引擎都失败时不要再盲试链接

陷阱与要点

坑	处理
`tempkey` 链接会过期	收到就立刻抓，不要等"有空再存"
图片真地址在 `data-src` 不在 `src`	`src` 多为 base64 占位；脚本已处理，手工排查时注意
URL 属性里是 `&` 不是 `&`	解码后才能下载，否则 403；脚本已处理
图片域名不止 `mmbiz.qpic.cn`	还有 `mmecoa.qpic.cn` 等，按 `qpic.cn` 后缀识别，别写死子域
`wx_fmt` 参数定扩展名	微信图 URL 无 `.jpg` 后缀，靠 `?wx_fmt=jpeg` 推断，PNG 不会存成 jpg 名
svg 小图标看着像 0KB	原件目录里的几百字节装饰图标不是下载失败，别删（原件全量保真）
"环境异常"页	引擎自动切换重试；仍失败说明链接失效或需验证

下游加工建议

抓取完成后，如内容为法律法规、裁判文书等结构化法律文本，可在汇报时提示用户：如需进一步格式化整理，可指定相应的格式化技能（若环境中有）继续处理。是否调用、调用哪个技能由用户或上层流程决定——本技能不自动调用、不绑定任何下游技能。

注意事项

⚠️ 仅用于个人学习和研究，请遵守网站服务条款 ⚠️ 频繁抓取可能被限流，建议控制请求频率 ⚠️ 抓取内容版权归原作者所有 ⚠️ Playwright 兜底路线首次使用会自动安装 chromium（npx playwright install chromium）；HTTP 直抓路线零依赖

wechat-article-fetch