网站robots怎么写?robots写法大全

robots写法 robots.txt声明网站中哪些目录不让搜索引擎收录,执行顺序从上到下,那么robots怎么写呢?robots对seo优化有什么影响吗?。今天南昌seo就花一点时间,专门为大家献上史上最详细的robots文件的写法解析。

robots写法

为什么要写robots?

robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候,它首先会检查网站是否存在robots.txt,如果有则会根据文件命令访问有权限的文件。写robots好处是:1、保护网站安全。2、节省流量。3、禁止搜索引擎收录部分页。4、引导蜘蛛爬网站地图

robots基本语法

User-agent:定义禁止搜索引擎名字。百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)等。*号代表全部搜索引擎

Disallow:不允许收录

Allow:允许收录

全站屏蔽所有蜘蛛

User-agent:*

Disallow:/

作用:网站改版或者还没搭建好的时候,用这个语法屏蔽所有搜索引擎爬取你网站

屏蔽某个目录,但抓取目录下的文件或文件夹

User-agent:*

Disallow:/wap/

Allow:/wap/*.html

禁止抓取根目录下的wap文件夹,但是允许抓取wap文件夹里面后缀带.html的文件。Allow:允许抓取。Disallow:禁止抓取。

屏蔽动态链接

User-agent:*

Disallow:/*?*

用robots屏蔽动态URL

User-agent:*

Allow:.html$

Disallow:/

仅允许访问“.html”为后缀的URL

使用robots屏蔽死链

网站改版,或者删除文章之后就会出现死链。

对付死链我们有三种方法:

1、使用robots禁止抓取。

2、制作404页面,然后使用百度站长工具提交死链。

3、如果连接更换了,可以使用301跳转到。针对2、3点可以制作404页面和设置301重定向

User-agent:*

Disallow:http://www.zwtseo.cn/seo/21.html

禁止各大搜索引擎爬取该连接

不让页面参与排名写法

如果我们不想让关于我们这个页面参与排名,那我们可以再指向该页面的链接加上nofollow标签

<a href="guanyuwomen" rel="nofollow">关于我们</a>

版权所有,未经允许禁止转载,邹伟廷博客 QQ/微信: 893268219