本文给出了一个最近的免费工具可用,获取广告,所有你需要在一个基本的机器人。txt测试仪对Bing和谷歌。这是如何使用这个工具来满足你的搜索引擎优化的机器人。三种需求。

首先,这是一个小工具的发布背景。在节奏使它清晰明确,他们爬行和理解JavaScript科学,谷歌搜索引擎优化世界宣布“禁止JavaScript和CSS文件的站点的爬行机器人。txt直接危害我们的算法如何呈现和索引你的内容,可以导致次优的排名。”

这个声明后,谷歌陷入了其预期的行为模式与附加功能和武装站长免费工具,获取广告,了解如果这是发生在他们的网站上。此外,这家搜索巨头提供的文档来帮助了解如何修复它。

虽然这是一个很好的工具,它不是一个全面的解决方案为每一个搜索引擎优化机器人。三种问题。这里是原因:

你需要一个谷歌帐户

验证网站的所有权是必需的

机器人。txt,只能测试广告的行为

网站地图声明不检查

如何看到如果你阻止JavaScript或CSS吗

直接导航到机器人。三种测试工具:

进入网站和/ robot.txt

指定用户或代理(或两者)你想测试

检查资源的选择“是”

单击按钮测试URL

robot-testing-tool-bg1Scrolling通过XML站点地图声明和用户代理不接受检查的部分,你会看到:

CSS和JavaScript资源一起列出他们返回的状态码

结果反映是否允许的资源

域的资源是托管在

一个链接到实际的机器人。txt文件

下面你将看到kuhl.com有一个JavaScript资源无效的机器人。txt在static.criteo.net上。

kuhl-blocking-javascript-bg2

基本的机器人。三种测试器和XML站点地图检查

通常需要检查一个URL是否被指令在robots . txt。这个工具把它进一步通过检查对任何用户代理问题中的URL中指定的robots . txt。

例如,在这里我们可以看到,samsung.com是阻止Yandex爬行美国主页。

samsung-blocking-yandex-bg3Additionally,任何XML网站地图声明的机器人。txt将被检查以确保他们访问搜索引擎。

uber-sitemap-bg4

结论

当寻找一个机器人。txt测试仪,大多数结果是急需的更新和重新设计。

大感谢马克斯普林斯顿,最后开发搜索引擎优化的好工具,不伴有或专门为谷歌。