可以通过百度搜索资源平台,将自己的网址推送给百度。从而搭上“快车”,缩短了爬虫发现网站链接的时间。
1 登录百度资源搜索平台
官方地址:百度资源搜索平台
使用自己的百度账号登录该网站。
2 将账号与网站域名绑定
进入用户中心->站点管理:
点击站点->添加网站:
按照步骤对网站进行验证:
网站验证成功后,进入下一步。
3 将网站的主页和子页面的链接提交
点击上方的搜索服务->链接提交:
链接有自动提交和手动提交两种。
具体推送方式可以查看地址:https://ziyuan.baidu.com/linksubmit/index
3.1 自动提交
自动提交有主动推送、自动推送和sitemap推送。
3.1.1 主动推送
可以使用curl、post、php等方式。
curl:
将要提交的链接按照每行一条的格式写入一个文本文件中,命名此文件为urls.txt,然后进入该文件所在目录,执行如下命令:
curl -H 'Content-Type:text/plain' --data-binary @urls.txt "http://data.zz.baidu.com/urls?site=https://www.xxxx.xx&token=xxxxxx"
使用php、python、java等可以参照这个过程推送结构化数据。
状态码为200表明推送成功。
若为4xx,则表明推送失败。
3.1.2 自动推送
请javascript代码安装在网站页面中,在新的页面被访问时,页面URL将立即被推送给百度。
3.1.3 sitemap推送
将所有链接写到一个文件,然后将这个文件的地址粘贴进去即可。
3.2 手动提交
对于手动提交,只需要将网页的地址粘贴进去提交即可。
对于wordpress网站,可以使用Export Data from you Site插件,将网站上所有的链接都导出来。
0