可以通过百度搜索资源平台，将自己的网址推送给百度。从而搭上“快车”，缩短了爬虫发现网站链接的时间。
1 登录百度资源搜索平台
官方地址：百度资源搜索平台
使用自己的百度账号登录该网站。
2 将账号与网站域名绑定
进入用户中心->站点管理：
点击站点->添加网站：
按照步骤对网站进行验证：
网站验证成功后，进入下一步。
3 将网站的主页和子页面的链接提交
点击上方的搜索服务->链接提交：
链接有自动提交和手动提交两种。
具体推送方式可以查看地址：https://ziyuan.baidu.com/linksubmit/index
3.1 自动提交
自动提交有主动推送、自动推送和sitemap推送。
3.1.1 主动推送
可以使用curl、post、php等方式。
curl：
将要提交的链接按照每行一条的格式写入一个文本文件中，命名此文件为urls.txt，然后进入该文件所在目录，执行如下命令：
curl -H 'Content-Type:text/plain' --data-binary @urls.txt "http://data.zz.baidu.com/urls?site=https://www.xxxx.xx&token=xxxxxx"
使用php、python、java等可以参照这个过程推送结构化数据。
状态码为200表明推送成功。
若为4xx，则表明推送失败。
3.1.2 自动推送
请javascript代码安装在网站页面中，在新的页面被访问时，页面URL将立即被推送给百度。
3.1.3 sitemap推送
将所有链接写到一个文件，然后将这个文件的地址粘贴进去即可。
3.2 手动提交
对于手动提交，只需要将网页的地址粘贴进去提交即可。
对于wordpress网站，可以使用Export Data from you Site插件，将网站上所有的链接都导出来。
0