很多同学认为只有Python可以实现爬虫功能，其实像Java、Python、C++等很多编程语言也可以实现，但是很多人会选择Python来实现爬虫功能，因为Python丰富的第三方库非常强大，最重要的是Python是一个很好的数据挖掘和数据分析专家，那么对于爬虫来说什么框架比较好？
      1、Scrapy
      是一个为了爬取网站数据而编写的应用框架，可以应用在数据挖掘、信息处理或存储历史数据等一系列的程序中，是个很强大的爬虫框架，可以满足简单的页面爬取。
      2、Crawley
      高速爬取网站的内容，支持关系和非关系型数据库，数据可以导出为JSON、XML等。
      3、Portia
      是一个开源的可视化爬虫工具，可以让使用者在不需要任何编程知识的情况下爬取网站，它是基于scrapy内核，可视化爬取内容，不需要任何开发知识。
      4、newspaper
      可以用来提取新闻、文章等，使用多线程，支持10多种语言等，且所有的都是unicode编码。
      5、Python-goose
      依靠Java的文章提取工具，包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。
      6、mechanize
      优点是可以加载JS，但也有缺点，比如文档容易缺失，不过如果使用官方的example以及人肉尝试的方法，也是勉强可以用的。

      

      本文由培训无忧网达内IT教育专属课程顾问老师整理发布，更多相关课程请关注培训无忧网Python培训或添加老师微信：15033336050

以上文章由北京达内教育课程顾问整理编辑发布，部分文章来自网络内容真实性请自行核实或联系我们，了解相关专业课程信息您可在线咨询也可免费申请试课。关注官方微信了解更多：150 3333 6050

免 费 申 请 试 课