爬虫需要哪些
1、爬虫架构
（1）爬虫调度器主要配合调用其他四个模块。所谓调度，就是调用其他模板。
（2）URL管理器负责管理URL链接。URL链接分为爬行链接和未爬行链接，需要URL管理器来管理。同时，它还为获取新的URL链接提供了接口。
（3）HTML下载器是下载要抓取的页面的HTML。
（4）HTML解析器是从HTML源代码中获取爬行的数据，同时向URL管理器发送新的URL链接，并向数据存储器发送处理后的数据。
（5）数据存储器是将HTML下载器发送的数据存储在本地。
2、爬虫原理
在编写python爬虫程序时，只需要做以下两件事：
发送GET请求，获取HTML
解析HTML，获取数据
3、使用ip代理
使用Python爬虫时，经常会遇到有反爬机制的网站。我们可以通过伪装headers爬行，但网站仍然可以获得您的ip，从而禁止您的ip爬行信息。
爬虫为什么能快速爬取
python爬虫是最方便快捷获取数据的方法，不过很多小伙伴还没有切实地感受过。爬行数据基本上通过网页URL获得该网页的源代码，根据源代码筛选必要的信息。
1、爬虫的准备
requests：获取网页源代码
lxml：得到网页源代码中的指定数据
2、爬虫快速的原因
requests可以很方便地让我们得到网页的源代码网页，同时lxml能够很快来筛选出我们所需要的信息。
3、完整代码实例
importrequestsimportlxmlhtml=requests.get("https://coder-lida.github.io/")print(html.text)爬虫爬取网页
1、为什么需要用爬虫？
为其他程序提供数据源，如搜索引擎(百度、Google等)、数据分析、大数据等等。
2、python爬虫设计思路
（1）、首先确定需要爬取的网页URL地址 ；
（2）、通过HTTP协议来获取对应的HTML页面 ；
（3）、提取html页面里的有用数据 ；
（4）、如果是需要的数据就保存起来，如果是其他的URL，那么就执行第二步。
3、python爬虫实例：爬取网页新闻内容
（1）、确定爬取网页内容的网络地址
