记录搜索引擎蜘蛛的爬行代码PHP版
申请了域名空间,网站也搭建好了,文章也写的很漂亮,剩下的就是靠搜索引擎帮你带来流量了,可是我的网站怎么没人来呢,除了网站自身的问题之外,搜索引擎是不是来过我的网站呢?不会是没有收录吧,再或者我怎么才能查看哪家搜索引擎的蜘蛛来过,以及它们在我站点的爬行情况呢?
嘿嘿,这里FunKey给大家提供一段记录搜索引擎蜘蛛的爬行代码PHP版,按照下面的方法做,就知道搜索引擎是不是,什么时候光临你的网站了,可以清楚的了解搜索引擎收录的频率,FunKey的站刚建起来,在谷歌的站长工具中进行了一些必要的设置,比如提交sitemap,定义robots.txt等等,并提交了自己的个人网站,第二天谷歌就收录了,而且谷歌器人爬行的频率也比较高,这对我这个PR值还为0的小站已经很不错了~百度。。。额,很不讲究~
记录代码下载地址:点我下载
下面是这段代码的使用方法:
以FunKey的博客为例,把下载回来的文件解压得到一个”robots.txt”文件,要把文件名修改成robots.php,之后把这个文件放在这个/wp-content/themes/inove/文件夹里面,放根目录也是可以的,最后在你的模板文件中调用它,如放在footer.php里面,你可以在footer.php文件中添加<?php include(‘robots.php’) ?>代码即可。(注意将其中的引号修改成英文状态下的引号)
接下来你就耐心的等着搜索引擎蜘蛛光临你的网站了,爬行的结果记录在网站根目录的robotslogs.txt中,如果你觉得这个文件名不爽,可以修改robots.php文件的第50 行,$file=”robotslogs.txt”; 把robotslogs.txt换成你想要的名字就可以了。
通过一段时间的监测,你就可以发现搜索引擎蜘蛛在你的网站上爬行的频率了,一般来讲,蜘蛛光临得越勤快当然越好咯,这样就可以更好的了解自已的网站,做到有的放矢~



@mountainshao
header.php和footer.php是采用DIV+CSS这种布局类型的网站才有的文件,目前的网站大多是这么编写的。
如果您的网站是静态站,确定空间支持php脚本,可以将文中的代码拷贝粘贴到首页的/body标签之前试试。
站长您好,我还是不明白您这个蜘蛛程序到底怎么用,说的太专业了,我不知从何下手,我已经把robots.php上传到我空间的根目录了,下面怎么办我根本不知道了,我的网站是纯HTML的,你说的模板文件,footer.php,是什么意思,我都不知道,能告诉我怎么办吗?
还有,我最终如何查看到蜘蛛爬行的结果?请指点,谢谢
呵呵,还好WP有统计插件。
@fisher
谷歌的服务器全部在美国,检测不到多半是设置的问题~
至于返回000webhost的页面,你给出的信息太少,如有可能请详细描述问题~
我上传robots.txt之后再谷歌管理工具中检测不到,输入网址就转到000webhost页面是为什么呢?谢谢
@竹风
大意了,现已标出~
至于收录问题可查询相关SEO资料,一般站点3天谷歌就会收录,百度大约需要一到两个月才会正常收录,而WordPress的百度收录不正常是很早之前就有的问题了。
你的域名是这个月注册的,说收录,还早了点。。。
已经下下来了,可是怎么在模板里调用它呢?直接把代码考到footer.php里吗?
再者为什么谷歌不收录我的博客呢,百度好几天了也就收录了一页,能帮我看看吗?
@竹风
已验证~可下~请选择普通下载地址~
今天是圣诞节啊,祝大家节日快乐。呵呵
这个文件下不下来啊,能发我邮箱吗