HeyBlog！自动爬取所有个人博客的友链探索器
从一条 LINUX DO 帖子说起
前几天在 LINUX DO 上看到一个帖子——「我要找到所有个人博客」。作者 lige 说：
很久以前，就对探索网络社区的社交关系非常感兴趣。于是某天晚上灵光一现：如果从一个随机个人博客出发，自动爬取其友链，根据友链找到新的博客，不断延伸，理论上可以找到网络上所有的个人博客。
这个想法很有意思。个人博客不像社交平台那样有中心化的推荐机制，它们散落在互联网的各个角落，靠友链（友情链接）彼此相连。如果能顺着友链这张网一路走下去，确实有可能把一个巨大的博客生态给「摸」出来。
HeyBlog 是什么？
HeyBlog 就是这个 idea 的落地产物。目前它已经：
- 爬取到了 13890 个节点（个人博客/站点）
- 建立了 37593 条连接（友链关系）
- 支持通过博客 URL 搜索自己的博客有没有被找到
- 提供随机博客发现功能，每次展示 9 个随机站点
- 有图谱可视化（目前限制展示 200 个节点）
- 支持筛选和统计
怎么玩？
1️⃣ 搜一搜自己的博客
首页输入你的博客链接，看看有没有被爬虫发现。目前爬虫还在持续运行中，不一定所有博客都能立刻找到，尤其是那些没有友链的「孤岛」博客。
2️⃣ 随机探索
点「随机博客」可以看到随机展示的博客卡片，每次 9 个。你可以从这里发现很多有意思的个人站点——比如我随便刷了几下就看到：
- 猫东东 - 好好生活，停止摸鱼
- 老吴博客
- WallBreakerNO4 的博客
- 探索;实践的BLOG - 生命不息，折腾不止
每一个点进去都是一个人真实的生活痕迹和思考记录。
3️⃣ 图谱可视化
项目还做了一个粗糙但有趣的网络图谱，把博客之间的友链关系可视化出来。虽然目前只展示 200 个节点，但已经能看出来一些「博客社群」的聚集现象。
项目背景
作者 lige 在 LINUX DO 持续更新这个项目，从最初的 idea 到现在部署上线花了不少精力。项目开源在 GitHub：ligeaaa/HeyBlog。
目前作者还在：
- 构建博客爬取的 Benchmark
- 思考可以用什么特征来区分博客和非博客（区分度不高的节点如 CDN 文档站会被误抓）
- 探讨 Agent 在这个项目中的可行性
如果你对项目感兴趣，还可以加 Q 群一起交流：399523190
写在最后
「每个人细究起来都蛮有意思，只是人很少有被人仔细看见的机会，以至于被仔细看见这件事有点近似于爱。」
这句话写在 HeyBlog 的 About 页上，我觉得很适合用来形容个人博客的意义。博客是一种慢节奏的表达方式，每一篇文章背后都是一个真实的人。而 HeyBlog 试图把这些散落在互联网各处的人连接起来——你不再是一座孤岛。
封面来自 HeyBlog 首页截图
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
音乐
暂未播放