robots.txt文件语法及写法发布时间:2013-04-27

robots.txt文件的基本语法相当简单。指定一个蜘蛛名称,例如“Googlebot”,然后再指定一个行为。蜘蛛通过用户代理(User-Agent)分辨,指定行为放在紧跟着的下一行。下面是可以指定的主要行为。 ·Disallow:要屏蔽蜘蛛访问的页面(可以有任意多行Disallow)。 ·Noindex:要屏蔽搜索引擎并且不... 详细内容 | 点击咨询SEOQQ咨询

Robots.txt文件的作用发布时间:2013-04-25

这个文件位于域名根目录(例如西http://www818seo.com/robots.txt),在控制蜘蛛可以访问网站什么内容时有很多用途。你可以使用robots.txt文件来: ·防止网站非公开部分被爬行。 ·禁止搜索引擎访问脚本、应用和其他类型的代码。 ·避免收录网站复制内容,例如HTML页面的打印版本或产品目录... 详细内容 | 点击咨询SEOQQ咨询

搜索引擎robots协议用法详解发布时间:2012-07-23

1、robots基本概念 robots是网站和搜索引擎之间的一个协议,会根据robots.txt这个文本文件这个来抓取内容,是搜索引擎中访问我们网站的时候要查看的第一个文件,存放在网站的根目录,如郑州SEO的robots文件的地址就是www.818seo.com/robots.txt。它不是命令而是协议,搜索引擎偶尔也会抽... 详细内容 | 点击咨询SEOQQ咨询