可以通过百度搜索资源平台,将自己的网址推送给百度。从而搭上“快车”,缩短了爬虫发现网站链接的时间。

1 登录百度资源搜索平台

官方地址:百度资源搜索平台
使用自己的百度账号登录该网站。

2 将账号与网站域名绑定

进入用户中心->站点管理:

点击站点->添加网站:

按照步骤对网站进行验证:

网站验证成功后,进入下一步。

3 将网站的主页和子页面的链接提交

点击上方的搜索服务->链接提交:

链接有自动提交和手动提交两种。
具体推送方式可以查看地址:https://ziyuan.baidu.com/linksubmit/index

3.1 自动提交

自动提交有主动推送、自动推送和sitemap推送。

3.1.1 主动推送

可以使用curl、post、php等方式。
curl:
将要提交的链接按照每行一条的格式写入一个文本文件中,命名此文件为urls.txt,然后进入该文件所在目录,执行如下命令:

curl -H 'Content-Type:text/plain' --data-binary @urls.txt "http://data.zz.baidu.com/urls?site=https://www.xxxx.xx&token=xxxxxx"

使用php、python、java等可以参照这个过程推送结构化数据。
状态码为200表明推送成功。
若为4xx,则表明推送失败。

3.1.2 自动推送

请javascript代码安装在网站页面中,在新的页面被访问时,页面URL将立即被推送给百度。

3.1.3 sitemap推送

将所有链接写到一个文件,然后将这个文件的地址粘贴进去即可。

3.2 手动提交

对于手动提交,只需要将网页的地址粘贴进去提交即可。

对于wordpress网站,可以使用Export Data from you Site插件,将网站上所有的链接都导出来。

0
Posted in 问题解决

Leave a Comment:

电子邮件地址不会被公开。