可以通过百度搜索资源平台，将自己的网址推送给百度。从而搭上“快车”，缩短了爬虫发现网站链接的时间。

1 登录百度资源搜索平台

官方地址：百度资源搜索平台
使用自己的百度账号登录该网站。

2 将账号与网站域名绑定

进入用户中心->站点管理：

点击站点->添加网站：

按照步骤对网站进行验证：

网站验证成功后，进入下一步。

3 将网站的主页和子页面的链接提交

点击上方的搜索服务->链接提交：

链接有自动提交和手动提交两种。
具体推送方式可以查看地址：https://ziyuan.baidu.com/linksubmit/index

3.1 自动提交

自动提交有主动推送、自动推送和sitemap推送。

3.1.1 主动推送

可以使用curl、post、php等方式。
curl：
将要提交的链接按照每行一条的格式写入一个文本文件中，命名此文件为urls.txt，然后进入该文件所在目录，执行如下命令：

curl -H 'Content-Type:text/plain' --data-binary @urls.txt "http://data.zz.baidu.com/urls?site=https://www.xxxx.xx&token=xxxxxx"

使用php、python、java等可以参照这个过程推送结构化数据。
状态码为200表明推送成功。
若为4xx，则表明推送失败。

3.1.2 自动推送

请javascript代码安装在网站页面中，在新的页面被访问时，页面URL将立即被推送给百度。

3.1.3 sitemap推送

将所有链接写到一个文件，然后将这个文件的地址粘贴进去即可。

3.2 手动提交

对于手动提交，只需要将网页的地址粘贴进去提交即可。

对于wordpress网站，可以使用Export Data from you Site插件，将网站上所有的链接都导出来。