今天,我无聊用搜狗搜了一下我的博客,当时我就尿了:
3291208411

这。。。这。。。这就很尴尬了!搜狗收录的效率极其低就算了,好不容易收了几个页面,竟然还把admin下的登录入口给收了,还排到第二。这让我顿时十分蛋疼。

通常情况下,后台登陆入口都会在admin下,用typecho的话肯定也就是admin下了,一般就懒得改了,麻烦。而且想我这种个人小博客,也没什么黑的价值。一般情况下搜索引擎都不抓这个页面的,我观察了百度和360都不会抓admin下,搜狗真的是,不知道为啥。

既然这样,只好把robots.txt加上了(一直忘了加= =!)。
robots.txt文件写好放到根目录,搜索引擎爬虫抓取时第一时间访问这个文件,然后你告诉它,哪些可以抓,哪些不能抓。其实现在线上工具很方便,最偷懒的办法就是,直接用线上工具生成一下,复制黏贴过来,然后把robots.txt文件上传到网站根目录就可以。

这里给个链接:站长之家robots.txt生成工具

比如我要屏蔽掉我的网站的admin下的所有东西,生成出来就这样:

# robots.txt generated at http://tool.chinaz.com/robots/ 
User-agent: *
Disallow: 
Disallow: /admin/
Sitemap: http://www.gzpblog.com/sitemap.xml

创建一个robots.txt文件,粘贴进去,上传到网站根目录就可以了。保证能够正常抓取到就行。

测试一下能不能抓取,可以,完成,就这样。
1021041937
840893558