发表评论 | 点击咨询SEOQQ咨询 0 条评论 发布:程俊克 发表时间:2013-05-05 标签:
 

按lP地址段屏蔽和隐藏页面

可以通过服务器端IP限制设置整个IP或IP段屏蔽特定蜘蛛。大部分搜索引擎从有限数量的IP段爬行,所以辨认蜘蛛、限制访问是可能的。具有讽刺意味的是,这个技术在误以为搜索引擎蜘蛛是试图窃取内容的垃圾制造者的站长中很受欢迎,被用来屏蔽lP段的访问以节省带宽。屏蔽蜘蛛时要小心,确保不要限制能带来好处(无论是搜索流量还是链接贡献角度)的蜘蛛访问。

根据用户代理屏蔽和隐藏页面

在服务器端可以检测用户代理,根据身份声明限制页面或网站访问。例如,如果一个网站检测到一个流氓蜘蛛,在允许访问之前你可以再次检查它的身份。搜索引擎都用类似协议确认其用户代理:做反向DNS查询,然后再做一个相应的正向DNS_lP查询。

Google的例子如下所示:

>host66.249.66.1

1.66.249.66.in-addr,arpa domain name pointer crawl-66-249-66-1,googlebot,com,

>   host C rawl-66 – 249 – 66 -l.googlebot .com

crawl-66-249-66-l,googlebot.com has address 66.249.66.1

仅仅是反向DNS查询可能并不够,因为造假者可以设置反向DNS指向xyz.googlebot.com或任何其他地址。

使用iframes

有时候,你不希望搜索引擎看到页面上的一部分内容(或者整个网站上经常出现的一部分内容)。如本文前面所讨论的,明智地使用iframe可能很方便。

概念很简单,使用iframe,可以将另一个URL上的内容嵌入到你选择的任何页面,然后通过robots.txt文件阻止蜘蛛访问iframe,这就确保了搜索引擎不会看到页面的这部分内容。网站可能有多种原因这样做,包括避免复制内容问题、降低返回给搜索引擎的页面大小或减少页面上可爬行的链接数目(帮助控制链接权重的流动)。

在图片中隐藏文字

如前面讨论的,主流搜索引擎还几乎不能读取图片中的文字(所要求的计算能力是一个难以克服的障碍)。一般并不建议在图片中隐藏文字,因为对替代设备(尤其是手机)并不实用,而且有时候无法访问(例如屏幕阅读器)。

在Java应用程序中隐藏文字

和图片中的文字一样,Java应用程序中的内容很难被搜索引擎解析,不过把它当做隐藏文字的工具是个挺奇怪的选择。

强制表格提交

搜索引擎不会提交HTML表格来尝试访问搜索或提交后才能获得的信息。因此,如果你将内容放在强制表格提交后面,完全没有外部链接,你的内容将不会出现在搜索引擎里。

表格后面的内容获得一些你无法控制的链按时可能会有问题,如博客、记者或研究人员链接到你存档中的页面,而你并不知道。因此,虽然表格提交将使搜索引擎无法访问,但是要确保真正敏感的内容必须要有额外的保护(例如通过robots.txt文件或meta robots标签)。

使用登录/密码保护

任何形式的密码保护都能有效防止任何搜索引擎访问内容,任何形式的用户确认要求也如此,例如CAPTCHAs(要求在对话框中输入字母数字组合才能访问)。主流搜索引擎不会尝试猜测密码或绕过这些系统。

从搜索引擎索引中删除URL

在被索引之后,你可以通过网站认证和使用搜索引擎提供的工具删除URL。例如雅虎允许通过Site Explorer系统删除URL。Google通过网管工具提供相似服务。微软必应也可能很快提供支持。

阅读本文的人还阅读

1.隐藏文本与隐藏文本代码及操作方法

2.隐藏页面和内容传送

3.什么时候对搜索引擎和访客显示不同网站内容

4.网页上什么东西搜索引擎看不到

5.隐藏链接

文章作者:程俊克
本文地址:http://www.818seo.com/2612.html
郑州SEO版权所有 © 转载时请以链接形式注明作者和原始出处,尊重版权,谢谢!

发表评论

*

* 绝不会泄露