SemrushBot是什么蜘蛛?要不要屏蔽?

发现一个不常见的蜘蛛SemrushBot，访问不正常的页面URL，我就觉得神奇了，怎么老是访问评论数据处理文件和一些错误处理文件，根本不是正常的蜘蛛。

那么要不要屏蔽+SemrushBot/1.2~bl呢，查看了网上的消息，也有其它人发现它的踪迹。

SemrushBot是SEMrush的蜘蛛爬虫。

以下是官方简介：

SEMRush是一个专门从事搜索引擎优化和搜索引擎营销服务网站。SEMRush通常会收集一些谷歌SERP相关的信息，包括: AdVords广告副本，域名在8000万个关键词搜索中的排名，域名的统计数据和关键词统计数据′搜索里统计，搜索结果数里，点击付费广告等相关的信息。SEMush非常乐意为用户提供正在搜索的信息,将数据集中起来，为您提供自定义报道。

如何屏蔽SemrushBot呢？

屏蔽SemrushBot的方法，在robots.txt文件中添加：

User-agent: SemrushBot

Disallow: /

User-agent: SemrushBot-SA

Disallow: /