15891777269

网站建设

作者:西安网站建设 日期:2020-12-31 16:34 | 阅读数:
假设您以了解一下名词含义:搜索引擎,spider(搜索引擎蜘蛛),死链接,权重,网站排名

何为Robots协议?

Robots协议是国际互联网界通行的道德规范,基于以下原则建立:

1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

何为robot文件?

robots.txt是限制搜索引擎spider(或称为蜘蛛)收录或爬取您网站内容的一种文件。搜索引擎蜘蛛在网站中第一个访问的文件就是robot文件,当然,也可以没有robot文件,不过spider会访问您的网站的所有页面。

robot文件有何作用?

屏蔽您网站的死链接,限制spider爬取您的网站内容,保护您网站的隐私内容。例如您的后台目录,或者存有您个人信息的页面或目录。

如果您网站的重复页面或死链接过多,搜索引擎蜘蛛会认为您的网站不行,价值较低,就会降低您网站的权重,网站排名就会下降,如果创建了robot文件并写入了相应的规则,那么搜索引擎蜘蛛就不会爬取您限制的页面,您网站的权重与排名也就不会降低了。

如何构建robot文件

robot文件也没什么特殊的地方,就是一文本文件(txt)。新建一个文本文件,然后重命名为robots并在此文件中编写相应的规则,最后上传到网站跟目录就行了,注意一定要放置到跟目录且文件名一定要小写,不然就失效了。

如何编写robot文件规则?

或许您没有太多的时间来了解并学会robot文件规则,那么您可以生成robot文件规则,当然,您需要一定的英语基础,并了解特定的名词。假设您有时间来学习的话,就往下看下面的规则。

现假设一个robot文件里面规则有:

User-agent: *

Disallow: /admin/

Disallow: /user/

规则解读为:所有的搜索引擎蜘蛛都不允许访问根目录的admin目录与user目录。

现在你可能就明白了,user-agent:后面输入的是欲限制搜索引擎蜘蛛的名称,*为全部限制,baiduspider为限制百度搜索引擎蜘蛛不可以访问。

disallow:后面追加的是欲限制蜘蛛访问的目录名称。

注意,不管你有多少个disallow,只要有一个后面为空或者只有一个/符号的,就是所以目录都可以访问。符号一定是英文符号。

robot文件只是一种规则,并不是强制约束搜索引擎蜘蛛,需要搜索引擎蜘蛛配合才有用,有些spider会不顾您的robot文件,擅自访问您的限制页面。不过,就目前而且,大部分spider是遵守的robots.txt规则的。






网址:http://www.tengfan.cchttp://www.tengfan.cc/wang/wzjs/10072.html
本文由西安网站建设公司 西安做网站公司 西安网站制作 西安网站设计 西安网络公司 网络中心收集整理!以上整理自互联网,如有侵权,请及时联系我们进行删除,谢谢!
免责声明:本网站部分图片和文字来源于网络,版权归原作者或者原公司所有,如果您觉得侵犯了您的权利,请告知我们立即删除,谢谢!Email: 917896677@qq.com
西安网站建设,西安做网站,西安网站设计,西安网站制作,西安网站开发,西安网页设计,西安小程序开发,西安微信开发,西安网站优化,西安网络公司,西安网站维护,西安网络推广关于我们
公司简介 荣誉资质 团队介绍 联系我们
西安网站建设,西安做网站,西安网站设计,西安网站制作,西安网站开发,西安网页设计,西安小程序开发,西安微信开发,西安网站优化,西安网络公司,西安网站维护,西安网络推广电子商务
B2C电商 O2O电商 BBC电商
西安网站建设,西安做网站,西安网站设计,西安网站制作,西安网站开发,西安网页设计,西安小程序开发,西安微信开发,西安网站优化,西安网络公司,西安网站维护,西安网络推广网站建设
企业网站建设 品牌网站建设 响应式网站建设 营销网站建设

与我们合作

与腾帆科技合作,您将会得到更成熟的品牌建设服务。力求呈现优质的品牌建设成果 主营业务:企业网站建设、品牌网站开发、商城网站建设、微信公众号开发、小程序开发
西安网站建设,西安做网站,西安网站设计,西安网站制作,西安网站开发,西安网页设计,西安小程序开发,西安微信开发,西安网站优化,西安网络公司,西安网站维护,西安网络推广
品牌咨询热线15891777269
2018 西安腾帆网络科技有限公司 All Rights Reserved   陕ICP备15000721号
西安网站建设_西安网站设计_西安网站制作_西安做网站      网站地图 XML      免责申明
地址:西安市高新区科技五路8号数字生活1幢2单元25层22501号     
    

0

在线
客服

在线客服服务时间:9:00-24:00

客服
热线

4000-700-102
7*24小时客服服务热线

关注
微信

关注官方微信
顶部