首页 > WordPress技巧 > 记录搜索引擎蜘蛛的爬行代码PHP版

记录搜索引擎蜘蛛的爬行代码PHP版

2009年10月25日 FunKey 发表评论 阅读评论

搜索引擎蜘蛛爬行代码PHP版  申请了域名空间,网站也搭建好了,文章也写的很漂亮,剩下的就是靠搜索引擎帮你带来流量了,可是我的网站怎么没人来呢,除了网站自身的问题之外,搜索引擎是不是来过我的网站呢?不会是没有收录吧,再或者我怎么才能查看哪家搜索引擎的蜘蛛来过,以及它们在我站点的爬行情况呢?

  嘿嘿,这里FunKey给大家提供一段记录搜索引擎蜘蛛的爬行代码PHP版,按照下面的方法做,就知道搜索引擎是不是,什么时候光临你的网站了,可以清楚的了解搜索引擎收录的频率,FunKey的站刚建起来,在谷歌的站长工具中进行了一些必要的设置,比如提交sitemap,定义robots.txt等等,并提交了自己的个人网站,第二天谷歌就收录了,而且谷歌器人爬行的频率也比较高,这对我这个PR值还为0的小站已经很不错了~百度。。。额,很不讲究~

记录代码下载地址:点我下载

下面是这段代码的使用方法:

  以FunKey的博客为例,把下载回来的文件解压得到一个”robots.txt”文件,要把文件名修改成robots.php,之后把这个文件放在这个/wp-content/themes/inove/文件夹里面,放根目录也是可以的,最后在你的模板文件中调用它,如放在footer.php里面,你可以在footer.php文件中添加<?php include(‘robots.php’) ?>代码即可。(注意将其中的引号修改成英文状态下的引号)

  接下来你就耐心的等着搜索引擎蜘蛛光临你的网站了,爬行的结果记录在网站根目录的robotslogs.txt中,如果你觉得这个文件名不爽,可以修改robots.php文件的第50 行,$file=”robotslogs.txt”; 把robotslogs.txt换成你想要的名字就可以了。

  通过一段时间的监测,你就可以发现搜索引擎蜘蛛在你的网站上爬行的频率了,一般来讲,蜘蛛光临得越勤快当然越好咯,这样就可以更好的了解自已的网站,做到有的放矢~

本文地址:记录搜索引擎蜘蛛的爬行代码PHP版
本文作者:
FunKey
如需转载请以超链接形式标明:转载自发现空间 – 优秀免费空间发布站.

  1. 2010年3月1日14:03 | #1

    @mountainshao
    header.php和footer.php是采用DIV+CSS这种布局类型的网站才有的文件,目前的网站大多是这么编写的。
    如果您的网站是静态站,确定空间支持php脚本,可以将文中的代码拷贝粘贴到首页的/body标签之前试试。

  2. 2010年2月26日23:47 | #2

    站长您好,我还是不明白您这个蜘蛛程序到底怎么用,说的太专业了,我不知从何下手,我已经把robots.php上传到我空间的根目录了,下面怎么办我根本不知道了,我的网站是纯HTML的,你说的模板文件,footer.php,是什么意思,我都不知道,能告诉我怎么办吗?
    还有,我最终如何查看到蜘蛛爬行的结果?请指点,谢谢

  3. 2010年2月19日14:16 | #3

    呵呵,还好WP有统计插件。

  4. 2010年1月13日00:01 | #4

    @fisher
    谷歌的服务器全部在美国,检测不到多半是设置的问题~
    至于返回000webhost的页面,你给出的信息太少,如有可能请详细描述问题~

  5. 2010年1月12日20:28 | #5

    我上传robots.txt之后再谷歌管理工具中检测不到,输入网址就转到000webhost页面是为什么呢?谢谢

  6. 2009年12月27日15:41 | #6

    @竹风
    大意了,现已标出~

    至于收录问题可查询相关SEO资料,一般站点3天谷歌就会收录,百度大约需要一到两个月才会正常收录,而WordPress的百度收录不正常是很早之前就有的问题了。

    你的域名是这个月注册的,说收录,还早了点。。。

  7. 2009年12月27日13:11 | #7

    已经下下来了,可是怎么在模板里调用它呢?直接把代码考到footer.php里吗?
    再者为什么谷歌不收录我的博客呢,百度好几天了也就收录了一页,能帮我看看吗?

  8. 2009年12月25日16:53 | #8

    @竹风
    已验证~可下~请选择普通下载地址~

  9. 2009年12月25日16:46 | #9

    今天是圣诞节啊,祝大家节日快乐。呵呵

  10. 2009年12月25日16:12 | #10

    这个文件下不下来啊,能发我邮箱吗

  1. 本文目前尚无任何 trackbacks 和 pingbacks.