飘易博客(作者:Flymorn)
订阅《飘易博客》RSS,第一时间查看最新文章!
飘易首页 | 留言本 | 关于我 | 订阅Feed

搜索引擎蜘蛛和人访问时返回不同的页面

Author:flymorn Source:flymorn
Categories:SEO技术 PostTime:2011-5-11 21:37:03
正 文:
    某些时候,需要短暂关闭网站一会,以备检查(你懂的),而又不希望搜索引擎来访时,发现网站已经关闭,从而影响权重,这个时候你就需要用到一些技术手段处理下了。

    下面的这段代码就是起了这么个作用。搜索引擎蜘蛛抓取时,一切如常,人来访问时,返回404页面。

ASP代码:
<%
Dim robots
robots="Baiduspider|Googlebot|Yahoo!|msnbot|Sosospider|YodaoBot|Sogou"  
uagent=request.servervariables("HTTP_USER_AGENT")  
uas=split(robots,"|") 
rob=false
for i=0 to ubound(uas)
if instr(lcase(uagent),lcase(uas(i)))>0 then  
rob=true:exit for
end if
next

if rob=false then '不是爬虫 转向404页面
response.write "<script>top.location=""404.htm"";</script>"
response.end
end if

'下面放置其它正常代码
%>

    其他语言类似,关键是判断 HTTP_USER_AGENT 客户端类型。

    注意,这样的处理只是临时性的,因为这种方式如果长时间使用,会被判为作 弊的。
作者:flymorn
来源:flymorn
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。
上一篇:503 Service Temporarily Unavailable:网站临时维护,你该做什么?
下一篇:Windows Server 2003服务器配置总结
2条评论 “搜索引擎蜘蛛和人访问时返回不同的页面”
1 cp
2011-5-18 17:49:08
LZ真强大啊,来看看怎么绕过平民访问,还有就是怎么现在的网页很多都是404错误的,以前没看还真不知道呢,原来这个可以设置的啊
2 dms
2012-6-29 12:48:21
楼主强力,诶 这样设置起来也麻烦,我一个wordpress站前几天被空间提供商关了,我的那个网页 都被 删除索引了
发表评论
名称(*必填)
邮件(选填)
网站(选填)

记住我,下次回复时不用重新输入个人信息
© 2007-2010 飘易博客 Www.Piaoyi.Org 原创文章版权由飘易所有 渝ICP备07006361号