|
|
马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？注册
×
SEO们经常头疼的一个问题，没有收录、索引就无从谈排名。尤其对达到一定规模的网站来说，使网站充 分收录是个颇令人费神的SEO技术，当页面达到比如说几十万，无论网站架构怎么设计、多么优化，100%收录都是不可能的，只能尽量提高收录率。 但有时候怎么阻止搜索引擎收录也可能成为一个问题，最近越来越成为问题。需要阻止收录的情况如保密信息、复制内容、广告链接等。过去常用的阻止收录方法包括密码保护、把内容放在表格后面、使用JS/Ajax、使用Flash等。今天看到Google网管博客一篇文章，这些方法都不保险。
8 O/ \! N7 R$ J5 S8 n3 X0 E3 K: L# s9 t7 W0 F2 T( w
使用Flash
, C9 k: j1 v/ C }7 a! h9 E0 h9 ? a$ Z e- u+ T& K0 ?/ K$ v
Google几年前就开始尝试抓取Flash内容了，简单文字性内容已经能抓取。Flash里面的链接也能被跟踪。* W; T* r1 a3 F, \; z, ?* U
7 i; l/ s( v6 J4 N0 F
表格1 I1 _/ n, y) v* g8 P
% @8 A% U8 \& G
Google蜘蛛也能填表，也能抓取POST请求页面。这个早就能从日志中看到。& k% t9 k2 v+ A3 y5 D D8 ]
7 B9 \! b c; X) D& r9 P- W5 b JS/Ajax ?9 i W% x3 n2 ]* P$ S5 o
7 h" U8 B, {# k: M7 |& Z7 H
使用JS链接一直以来被当作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但两三年前我就看到JS链接不能阻止Google蜘蛛抓取，不仅JS中出现的URL会被爬，简单的JS还能被执行找到更多URL。3 ^4 p! s% q Z; t5 c5 q
; p/ g- q4 z% P$ Q9 @ 前几天有人发现很多网站使用的Facebook评论插件里的评论被爬、被收录，插件本身是个AJAX。这是个好消息。我的一个实验电子商务网站产品 评论功能就因为这个费了不少心思，用Facebook comments插件好处大大的，具体什么好处以后有时间再说，唯一的问题就是评论是AJAX实现的，不能被抓取，而产品评论被收录是目的之一(产生原创 内容)。我当时想了半天也没有解决方法，只好先傻傻地既放上Facebook comments插件又打开购物车本身的评论功能。现在好了，Facebook comments里的评论能被收录，就不用两套评论功能了。
* A, @+ k& o& P. N- [
3 q' A' v$ r4 X* Z {1 t Robots文件3 Z6 l/ E6 ?3 k" z+ w8 y- d$ Y
5 ?6 k; ?% G$ _
目前唯一确保内容不被收录的方法是robots文件禁止。但也有个坏处，会流失权重，虽然内容是不能收录了，但页面成了只接受链接权重、不流出权重的无底洞。. `0 ?7 m9 x( v; ^7 m
. `, b4 c4 a, [+ r: N7 _ Nofollow
/ L3 E4 y9 g t7 f0 Q3 L n T Z) [" q, y# h" T
Nofollow并不能保证不被收录。就算自己网站所有指向页面的链接都加了NF，也不能保证别人网站不给这个页面弄个链接，搜索引擎还是能发现这个页面。1 n, D) S7 s+ U
, f: V: G' V1 y3 Q6 M
怎样使页面不被收录是个值得思考的问题，没意识到严重性的童鞋可以想想自己网站上有多少复制内容、低质量内容、各种无搜索价值(但用户觉得方便、有用所以又不能拿掉)的分类、过滤URL。& T* N4 P U% L& l) F4 a
f. r$ y0 b9 N2 u 本文由http://www.74981.com 整理，转载请保留出处74981.com游戏网!
: T0 l6 p5 d! t3 ~* ?' Q8 v |
|
IP卡
狗仔卡
发表于 2011 年 11 月 9 日 22:41:58
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
显身卡