Nofollow标签是Google和Yahoo以及微软在前几年共同推出的一个标签。这个标签的作用主要体现在权重的传递上。例如,页面中有一个跳出链接,在跳出链接后加上rel="nofollow"之后,爬虫蜘蛛不会计算权值。以下是nofollow标签的具体用法和作用说明。
nofollow表示要告知搜索引擎不要使用nofollow属性来跟踪URL链接。举例来说:网站注册,这样就不会让搜索引擎跟踪register.html的链接地址。
一、nofollow标签原理
使用meta元标签:告诉爬虫该页面上的所有链接不需要进行跟踪。
标签:用来登录,告诉爬虫该页不需要进行跟踪。
二、nofollow标签的作用
1.防止不可信内容:最常见的是在博客上的垃圾留言和评论中为获得外链的垃圾链接,以防止页面指向某些拉黑页面和网站。
二、引导爬虫抓取有效页面:避免爬虫抓取一些没有意义的页面,从而影响抓取效果。
三、支付链接:为了防止支付链接影响Google在其搜索结果中的排名,Google推荐nofollow属性。
nofollow标签使用方法
通常有两种使用nofollow标签的方法
把“nofollow”写在网页的meta标签上,告诉搜索引擎不要抓取网页的所有外部链接和内部链接。
把“nofollow”放在超链接里,告诉搜索引擎不要抓到某个链接。
内涵。
第三,nofollow标签是超链接的属性值,我们只需将rel='nofollow'或更普通的rel='externalnofollow'加到源代码中,就可以:###。
Nofollow有其他几种书写方式:
元标签必须在和之间,格式为:
内容中的值决定了可以进行抓取的类型,它必须包含两个值:
索引(index)是否被允许,链接是否被跟踪(follow,也可以理解为是否允许沿着网页中的超级链接继续抓取)。
可选择的4个参数组成4个组合:
1. index,follow:允许抓取本页,允许跟踪链接。
2. index,nofollow:允许抓取本页,但禁止跟踪链接。
3. noindex,follow:禁止抓取本页,但允许跟踪链接。
4. noindex,nofollow:禁止抓取本页,同时禁止跟踪本页中的链接。