qin_天
分享资料个
本书讲解 了 如何使用Python 来编写网络爬虫程序 ， 内 容包括 网络爬虫简介 ， 从页面 中 抓取数据 的三种方法 ， 提取缓存 中 的 数据 ， 使用 多 个线程和进程来进行并发抓取 ， 如何抓取动态页面 中 的 内 容 ， 与表单进行交互 ， 处理页面 中 的 验证码 问 题， 以及使用 Sca rpy 和 Portia 来进行数据抓取 ， 并在最后使用 本书介绍 的 数据抓取技术对几个真实 的 网 站进行 了 抓取 ， 旨在帮 助读者活学活用书中介绍 的技术 。本书适合有一定Python 编程经验 ， 而且对爬虫技术感兴趣的读者阅读 。
互联网 包含了迄今为止最有用的数据集， 并且大部分可以免费公开访问。但是， 这些数据难以复用。 它们被嵌入在网 站的结构和样式当中， 需要抽取出来才能使用。 从网 页中抽取数据的过程又被称为网 络爬虫。 随着越来越多的信息被发布到网 络上， 网 络爬虫也变得越来越有用。
本书内容
第1章， 网 络爬虫简介， 介绍了网 络爬虫， 并讲解了爬取网站 的方法。
第2章， 数据抓取，展示了如何从网 页中抽取数据。
第3章， 下载缓存， 学习了如何通过缓存结果避免重复下载的问题。
第4章， 并发下载， 通过并行下载加速数据抓 取。
第5章， 动态内容， 展示了如何从动态网 站中抽取数据。
第6章， 表单交互， 展示了如何与 表单进行交互， 从而访问你需要的数据。
第7章， 验证码处理， 阐述了如何访问被验证码图像保护的数据。
第8章， Scrapy， 学习了如何使用流行的高级框架 Scrapy。
第9章， 总结， 对我们介绍的这些网 络爬虫技术进行总结。
假 设我有一个鞋店， 并且想要及时了解竞争对手的价格。 我可以每天访问他们的网 站 ， 与 我店铺中鞋子的价格进行对比。但是， 如果我店铺中的鞋类品种繁多，或是希望 能够更加频繁地查看价格变化的话， 就需要花费大量的时间， 甚至难以实现。 再举一个例 子， 我看中了一双鞋， 想等它促销时再购买。我可能需要每天访问这家鞋店的网 站 来查看这双鞋是否降价， 也许需要等待几个月的时间， 我才能如愿盼到这双鞋促销。 上述这两个重复性的手工流程，都可以利用本书介绍的网 络爬虫技术实现自动化处理。
理想状态下， 网 络爬虫并不是必须品，每个网站 都应该提供 API， 以结构化的格式共享它们的数据。 然而现实情况中， 虽然一些网站 已经提供了这种 API，但是它们通常会限制可以抓 取的数据，以及访问这些数据的频率。 另外，对于网站 的开发者而言， 维护前端界面比维护后端API接口优先级更高。 总之， 我们不能仅仅依赖于 API去访问我们所需的在线数据， 而是应该学习一些网 络爬虫技术的相 关知识。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !
