一、请求库

      1. requests 这个库是爬虫最常用的一个库

      2. Selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作 对于一些用JS做谊染的页面来说，这种抓取方式是非常有效的。

      3.ChomeDrive 安装了这个库，才能驱动Chrome浏览器完成相应的操作

      4.GeckoDriver 使用W3C WebDriver兼容客户端与基于Gecko的浏览器进行交互的代理。

      5.PhantomJS PhantomJS 是一个无界面 、可脚本编程的 WebKit 浏览器引擎，它原生支持多种Web标准：Dom操作，css选择器，json，Canvas以及SVG。

      6.aiohttp 之前接收requests库是一个阻塞式HTTP请求库，当我们发送一个请求后。程序会一直等待服务器响应，直到服务器响应后，程序才会最下一步处理。其实，这个过程比较耗时间。如果程序可以在等待的过程中做一些其他的事情，如进行请求的调度，响应的处理等，那么爬虫的效率就会比之前的那种方式有很大的提升。 而aiohttp就是这样一个提供异步web服务的库。使用说这个库用起来还是相当方便的。

      二、解析库

      1.lxml lxml是python的一个解析库，这个库支持HTML和xml的解析，支持XPath的解析方式，而且效率也是非常高的，深受广大程序员的热爱

      2.Beautiful Soup Beautiful Soup也是python里一个HTML或XMl的解析库，它可以很方便的懂网页中提取数据，拥有强大的API和多种解析方式。

      3.pyquery 同样是一个强大的网页解析工具，它提供了和 jQuery 类似的语法来解析HTML。

      三、数据库

      1.mysql 数据库

      2.MongoDB Mo goDB 是由 ＋＋语言编写的非关系型数据库， 是一个基于分布式文件存储的开源数据库系统内容存储形式类似 JSON 对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活

      3.Redis 是一个基于 存的高效的非关系型数据库，

      四、存储库

      1.PyMySOL

      2.PyMongo

      3.redis-py

      4.RedisDump

      五、web库

      1.Flask 是一个轻量级的Web服务程序，它简单，易用，灵活

      2.Tornado 是一个支持异步的Web框架，通过使用非阻塞I/O流，可以支持成千上万的开放式连接。

      以上就是常见的Python爬虫库的介绍了，大家不需要全部都掌握，了解其中一个或者几个就可以了。最后欢迎对Python爬虫开发感兴趣的同学来到千锋Python培训班参加我们的Python培训课程的学习，不仅有为期两周的免费试听，更有全套Python学习教程视频可以领取，赶紧来了解一下吧。

       本文由培训无忧网千锋教育专属课程顾问整理发布，希望能够对想学习Python开发培训的同学有所帮助。更多Python开发培训课程欢迎关注培训无忧网Python开发培训频道或添加老师微信：15033336050

以上文章由北京IT培训课程顾问整理编辑发布，部分文章来自网络内容真实性请自行核实或联系我们，了解相关专业课程信息您可在线咨询也可免费申请试课。关注官方微信了解更多：150 3333 6050

免 费 申 请 试 课