有各种用途的网络爬虫，但本质上是一个网络爬虫是用来从互联网收集挖掘数据。大多数搜索引擎使用它作为提供了最新数据的方法，并用于查找互联网上有什么新的内容。 在这篇文章中，介绍前50个开源的Web爬虫可在网上进行数据挖掘。
来源：36dsj
【灯塔大数据】微信公众号介绍：中国电信北京研究院通过大数据技术创新，自主研发了业内领先的“灯塔”大数据行业应用创新平台，灯塔面向市场研究、广告营销、商业地理、金融征信、人力资源等诸多行业领域，提供零售研究、消费者研究、店铺选址、精准营销、泛义征信，背景调查等服务，助力企业在大数据时代扬帆远航。
