Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志,并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。
Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志,并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。
Spider Analyser Pro
这是Spider Analyser的免费版本,包括蜘蛛概况、蜘蛛日志、蜘蛛列表(蜘蛛清单)、访问路径等大部分功能。如需使用到蜘蛛IP段、伪蜘蛛判断、蜘蛛拦截及蜘蛛文章爬取分析等功能,则需要升级到Pro版本! 点击了解及购买Spider Analyser Pro版本!
功能包括:
支持查看网站日常各大搜索引擎蜘蛛来访的数据;
今日蜘蛛
方便站长快速了解当日、昨日及30天平均的来访蜘蛛数、爬取URL数及平均爬取URL数。
趋势图
支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量、响应状态码及热门蜘蛛爬取链接数走势折线图,并可查看上一周期数据,以作对比分析。
Top10蜘蛛
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。
Top10蜘蛛爬取URL
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比,方便站长对热门蜘蛛爬取页面URL进行分析。
Top10热门文章
按今天、昨天、最近7天及最近30天查看Top10热门文章,以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页SEO。
支持按今天、最近7天及最近30天查看蜘蛛日志,包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等参数。
并且支持按蜘蛛名称、状态码及时间进行筛选日志;以及可通过访问URL、蜘蛛IP搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。
ℹ️ Tips
1.应重点关注301/302,及404状态码主流搜索引擎(如百度、谷歌和必应)蜘蛛日志。
2.蜘蛛日志分析工作,请查阅详细教程。
3.301/302状态码内部链接,尽可能修改为最终目标链接。
4.404状态码内部链接,应修复或重定向为正确链接。
5.重定向可安装Smart SEO Tool插件实现或手动配置。
蜘蛛列表包含蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛及蜘蛛拦截四部分的功能,其中:
ℹ️ Tips
1.蜘蛛清单数据引自蜘蛛查询工具。
2.部分不常见蜘蛛尤其是伪蜘蛛,可能类型显示为未知。但站长切勿以此为标准判别该蜘蛛是否为伪蜘蛛。
3.对于无需记录的蜘蛛爬虫,应该选择忽略或者拦截,避免浪费服务器资源。
ℹ️ Tips
1.IP段拦截前,请确保该IP段蜘蛛均是不需要统计的,若要取消拦截,请通过蜘蛛拦截列表取消。
2.Pro版本用户可以考虑直接启用智能拦截,则无需执行手动拦截操作。
ℹ️ Tips
1.疑似伪蜘蛛数据参考蜘蛛查询工具,仅供参考。
2.如果您的网站启用了全站CDN(如Cloudflare),真实蜘蛛也可能被判断为伪蜘蛛。全站CDN站点应结合CDN路线IP进一步判断蜘蛛的真伪。
ℹ️ Tips
1.开启智能拦截前,需确定未采用全站CDN,否则可能误判拦截真实蜘蛛。
2.部分伪蜘蛛可能会伪装成真实蜘蛛名称,对于伪蜘蛛拦截请使用IP拦截方式。
3.按蜘蛛名称拦截,需准确填写蜘蛛名称,区分大小写,否则可能会拦截失败。
4.蜘蛛拦截仅对前端页面爬取蜘蛛有效,对后端数据爬取蜘蛛无效。
支持按今天、最近7天及最近30天查看蜘蛛访问路径(爬取页面URL)具体信息列表,包括URL、URL类型、爬取次数及占比情况等数据。
并且支持按蜘蛛名称、类型、状态、时间、访问URL及蜘蛛IP进行筛选查询。同时,站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。
ℹ️ Tips
1.重点关注主流搜索引擎对文章页及Sitemap的访问爬取。
2.持续更新发布高质量文章内容,以吸引搜索引擎爬取。
3.安装Smart SEO Tool插件或其他类似插件,通过sitemap生成配置剔除不重要链接类型。
4.对于主流搜索引擎高频次爬取文章页,应该适当地添加内部链接。
此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间,快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标,对文章进行内链布局处理,提升蜘蛛爬取频率,从而提升网站收录量。
ℹ️ Tips
1.蜘蛛访问量直接体现搜索引擎对URL的嗅觉,蜘蛛访问频率越高,URL被收录索引几率越大。
2.蜘蛛访问量频率低且未收录文章,可以尝试内容重建及增加入链数。
3.尽可能降低文章指向其他网站的链接数,又或者外链增加nofollow属性。
4.收录状态数据通过搜索引擎推送插件引入,建议站长结合这两插件做好链接推送和爬虫分析工作。
ℹ️ Tips
1.如无需统计某一蜘蛛,可以通过操作修改该蜘蛛状态为忽略即可。
2.对于一些非必要蜘蛛,应直接拦截,节省服务器资源。
3.此列表的占比计算范围:最近7天的蜘蛛数据。
4.蜘蛛名称及类型数据引自蜘蛛查询工具。
ℹ️ Tips
1.支持通配符形式链接规则,如
/mp-api/*
2.如有不同于预设的链接类型,可以通过添加自定义来新增;否则建议在预设类型基础上修改新增。
ℹ️ Tips
1.日志保留周期可根据自身实际情况选择,一般保留30天即可。如数据量非常大,改为近7天亦可。
2.日志更新方式需写入数据库,为保证服务器性能,可考虑每小时(默认)甚至每天更新。
3.如蜘蛛日志数据量非常庞大,建议备份日志并删除,忽略及拦截不必要的蜘蛛。
Spider Analyser插件非常适合站长作为网站SEO优化的辅助工具,通过数据统计深入了解更大搜索引擎蜘蛛爬取页面URL的行为习惯。WordPress站长可以利用该插件,并结合WordPress网站SEO优化插件、百度推送插件和关键词推荐插件,对WordPress网站内容的搜索引擎收录及排名优化可以做到事半功倍的效果!
Spider Analyser插件的蜘蛛爬虫数据引自蜘蛛爬虫查询在线工具。该工具整合了1600+蜘蛛爬虫数据,涵盖的类型包括搜索引擎、营销、快照、监控、信息流、链接检测、爬虫、工具、速度检测和漏洞/病毒扫描等。
您也可以使用该在线工具在线,通过蜘蛛名称、IP地址和用户代理字符串,来查询蜘蛛的详细信息及判断蜘蛛爬虫的真伪!
Spider Analyser是一款专门为WordPress开发的搜索引擎蜘蛛分析插件.
闪电博(wbolt.com)专注于原创WordPress主题和WordPress插件开发,为中文博客提供更多优质和符合国内需求的主题和插件。
除了Spider Analyser插件外,目前我们还开发了以下WordPress插件:
更多主题和插件,请访问wbolt.com!
如果你在WordPress主题和插件上有更多的需求,也希望您可以向我们提出意见建议,我们将会记录下来并根据实际情况,推出更多符合大家需求的主题和插件。
由于我们是WordPress重度爱好者,在WordPress主题插件开发之余,我们还独立开发了一系列的在线工具及分享大量的WordPress教程,供国内的WordPress粉丝和站长使用和学习,其中包括:
1. WordPress学院: 这里将整合全面的WordPress知识和教程,帮助您深入了解WordPress的方方面面,包括基础、开发、优化、电商及SEO等。WordPress大师之路,从这里开始。
2. 关键词查找工具: 选择符合搜索用户需求的关键词进行内容编辑,更有机会获得更好的搜索引擎排名及自然流量。使用我们的关键词查找工具,以获取主流搜索引擎推荐关键词。
3. WOrdPress错误查找: 我们搜集了大部分WordPress最为常见的错误及对应的解决方案。您只需要在下方输入所遭遇的错误关键词或错误码,即可找到对应的处理办法。
4. SEO工具箱: 收集整理国内外诸如链接建设、关键词研究、内容优化等不同类型的SEO工具。善用工具,往往可以达到事半功倍的效果。
5. SEO优化中心: 无论您是 SEO 初学者,还是想学习高级SEO 策略,这都是您的 SEO 知识中心。
6. 蜘蛛查询工具: 网站每日都可能会有大量的蜘蛛爬虫访问,或者搜索引擎爬虫,或者安全扫描,或者SEO检测……满目琳琅。借助我们的蜘蛛爬虫检测工具,让一切假蜘蛛爬虫无处遁形!
7. WP开发宝典: WordPress作为全球市场份额最大CMS,也为众多企业官网、个人博客及电商网站的首选。使用我们的开发宝典,快速了解其函数、过滤器及动作等作用和写法。
8. robots.txt测试工具: 标准规范的robots.txt能够正确指引搜索引擎蜘蛛爬取网站内容。反之,可能让蜘蛛晕头转向。借助我们的robots.txt检测工具,校正您所写的规则。
9. WordPress主题检测器: 有时候,看到一个您为之着迷的WordPress网站。甚是想知道它背后的主题。查看源代码定可以找到蛛丝马迹,又或者使用我们的小工具,一键查明。
插件-安装插件
,输入 Spider Analyser
关键词搜索,找搜索结果中找到Spider Analyser插件,点击现在安装
;Spider Analyser
插件.蜘蛛分析
即可查看网站蜘蛛爬虫的数据统计及行为分析.FTP上传安装
1. 解压插件压缩包spider-analyser.zip,将解压获得文件夹上传至wordpress安装目录下的 /wp-content/plugins/
目录.
2. 访问WordPress仪表盘,进入 插件-已安装插件
,在插件列表中找到Spider Analyser插件,点击启用
.
3. 通过仪表盘左侧菜单 蜘蛛分析
即可查看网站蜘蛛爬虫的数据统计及行为分析.
仪表盘上传安装
插件-安装插件
;上传按钮
,选择本地提前下载好的插件压缩包spider-analyser.zip,点击现在安装
;蜘蛛分析
即可查看网站蜘蛛爬虫的数据统计及行为分析.关于本插件,你可以通过阅读Spider Analyser插件教程学习了解插件安装、设置等详细内容。
网站如采用全站CDN,所有访问IP均经过CDN服务器,再到源服务器,此时访问IP已经变更为CDN服务器的IP,插件无法判断CDN服务器的IP访问背后的真实IP地址属于真实蜘蛛或者伪装蜘蛛。
该插件的主要作用是用于统计分析搜索引擎蜘蛛行为。如需要吸引搜索引擎蜘蛛到访或者增加蜘蛛访问深度。建议如下:
首先,如果是首次安装,数据可能有延迟,应该稍后再次查看插件后台数据显示情况;
然后,如果不是首次安装,可查看蜘蛛日志列表确认是否有蜘蛛到访,若有数据,尝试强刷浏览器清除缓存及暂停缓存插件,查看是否正常;
上述两个方法均不管用,则应该在插件异常页面,鼠标右键点击“检查”跳出浏览器开发工具,切换至Console标签项,查看是否存在报错信息。如果有,通过“闪电博工单”反馈信息。
插件仅统计前端页面的蜘蛛访问日志,服务器日志则统计所有数据访问日志。因此,理论上服务器日志蜘蛛访问数据应该大于插件的蜘蛛访问数据。但插件统计的数据已经足以作为搜索引擎蜘蛛分析。
数据库。由于该数据仅用于网站管理分析时使用,存放在数据库更加实时和准确,主要是占数据库空间,对服务器性能影响可以忽略不计。
会进行伪蜘蛛识别,如站长发现可疑伪蜘蛛,可以通过Robots.txt进行屏蔽。查看教程《如何编写和优化WordPress网站的Robots.txt?》,但不是所有蜘蛛不一定遵循该协议。也可以通过插件进行拦截。拦截前务必确保该蜘蛛为伪蜘蛛或者不需要的蜘蛛。
部分历史数据及一些未能够识别类别的蜘蛛访问URL地址,均列为unknown。在后面的插件版本,将会加入URL类型分组自定义功能。