如何通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀？

作者：超级管理员发布日期：2022-04-29 10:06:21 浏览次数：

[导读]:很多时候，我们在分析网站访问日志的时候，通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等，如何通过robots.txt···

很多时候，我们在分析网站访问日志的时候，通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等，如何通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀？下面赛得威网络小编就来为大家讲解一下：

网站优化

网站怎么优化,网站的优化,网站搜索引擎优化

我们可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。

在robots.txt文件填写屏蔽规则如下：

Disallow: /*.asp$

Disallow: /*.php$

Disallow: /*.aspx$

注意前面一个*，后面一个$，代表后缀。

这样，守规则的合法搜索引擎就会在抓取的时候忽略掉对应的后缀文件的访问和抓取。

以上就是通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀的办法了，希望可以帮助到大家！赛得威（山东）网络科技有限公司是一家集网络运营、网络营销、企业信息化建设、软件开发、机械行业网站运营等为一体的科技有限公司。公司专业定制高端网站（营销型网站、品牌网站）、竞价托管、百度SEO优化、阿里巴巴诚信通店铺装修代运营、400电话等企业应用服务。