论文部分内容阅读
可能有的朋友会奇怪,网站的页面不是让搜索引擎抓的越多越好吗,怎么还会有怎么让网站页面内容不被抓取的想法。首先,一个网站可以分出去的权重是有限,哪怕是Pr10的站,也不可能无限的分权重出去。这权重包括链到别人网站的处链以及自己网站内的内链。外链的话,除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取,这不在本文讨论范围之内。而内链,因为有些网站有不少重复或冗余的内容。