
对于一些对 SEO 有研究需求的站长来说,如果能方便的掌握蜘蛛在网站中的踪迹,便能更好的“对症下药”,更加方便的对网站进行 SEO 优化了,那么这一次的 WordPress 开发教程就教大家如何便捷的获取蜘蛛的爬行记录。
每次打开服务器端访问日志查看非常麻烦,特别是当日志文件比较大时更是不便。最好的办法就是在线直接打开看蜘蛛爬行记录。
为此,我们可以免插件使用纯 PHP 代码在 WordPress 主题中来实现这个功能。
WordPress 开发教程
将以下代码插入 到主题根目录下的 funtion.php 文件的<?php 下面,并在网站根目录下创建一个名为 robotslogs.txt 的文件即可,文件名可自定义。
// 记录蜘蛛访问记录 function get_naps_bot(){ $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return 'Googlebot'; } if (strpos($useragent, 'bingbot') !== false){ return 'Bingbot'; } if (strpos($useragent, 'slurp') !== false){ return 'Yahoobot'; } if (strpos($useragent, 'baiduspider') !== false){ return 'Baiduspider'; } if (strpos($useragent, 'sogou web spider') !== false){ return 'Sogouspider'; } if (strpos($useragent, 'haosouspider') !== false){ return 'HaosouSpider'; } if (strpos($useragent, 'yodaobot') !== false){ return 'YodaoBot'; } return false; } function nowtime(){ date_default_timezone_set('Asia/Shanghai'); $date=date("Y-m-d G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $addr=$_SERVER['REMOTE_ADDR']; $file="robotslogs.txt"; //根目录下记录蜘蛛访问的文件 $time=nowtime(); $data=fopen($file,"a"); $PR="$_SERVER[REQUEST_URI]"; fwrite($data,"[$time] - $addr - $PR - $searchbot $tlc_thispage \r\n"); fclose($data); }注意需为 robotslogs.txt 设置可写权限,最好是 777 (慎用)权限,755 权限某些主机配置下可能存在无法写入的情况。
以上代码能记录搜索蜘蛛的基本抓取信息,完成以后,一般 24 小时候,就可以看到你“robotslogs.txt”当中已经满是数据的了。
说到 SEO 方面,那就不得不提一下 robots.txt 文件了,如果你还不知道这是什么的话,可以看看下面这篇 WordPress 开发教程文章: