以我的网站为例,打开连接https://ziyuan.baidu.com/crawltools/index?site=http://inspiring26.github.io/
在空格处补全输入其中一篇文章的地址:1
2019/11/05/使用python建立两台电脑之间的连接
抓取后的结果:
点击抓取失败,查看详情:
说明我们即使主动推送网站内链接,百度依然抓取不到的。这个并不怪百度。github禁止百度蜘蛛爬取了。
老博客地址:https://www.jianshu.com/u/1c73a3a8ae2d
新博客地址:https://inspiring26.github.io/