🚀 在 vibe coding 时,如果遇到大模型不熟悉的技术栈,即使把文档做了索引,效果也不尽如人意(可能跟各家 RAG 的实现细节有关)。
理想状态是:直接把整份文档 下载下来,作为上下文扔给大模型处理。
这里分享 2 个实用工具,帮你快速下载网站文档👇
1️⃣ exa.ai 的 Crawling 工具
可以快速抓取某个网站的所有页面(上限 100 页),并导出为 JSON 格式。
2️⃣ builder.io 的开源 gpt-crawler
GitHub 地址:
github.com功能类似,同样支持整站抓取。如果你在使用时遇到 TypeScript 类型报错,可以参考这个 issue:
github.com/issues/151。
⸻
如果有其他的工具,或者更好的方式,也请评论分享下哦 😇