Python网络爬虫开发课程大纲:
第 一阶段：Python语言
第 一部分：Python基础
第1节 认识Python
1.1 计算机语言、Python简介、发展历史、特点、应用场景
1.2  IDLE的下 载与安装、配置与验证
1.3 第 一个Python程序
1.4 关键字
1.5 标识符概念、规则、命名规范
1.6 注释、注释的分类、支持中文
第2节 Python的基本语法&选择结构
2.1 变量、变量的类型
2.2 输出和输入
2.3 运算符：算术、赋值、关系(比较)、逻辑、位、移位
2.4 表达式类型和值、运算顺序、优先级
2.5 程序流程控制：顺序、选择、循环
2.6 选择结构：if语句、if else语句、多重if语句、if嵌套语句
第3节 循环结构&特殊流程控制&字符串&列表&字典
3.1 循环结构：while循环、for循环
3.2 特殊流程控制语句：break、continue、两者的区别
3.3 字符串和列表
3.4 元组和字典
第4节  函数&文件操作
4.1 函数简介
4.2 函数定义与调用、基本使用、文档说明
4.3 函数的参数、返回值、类型、局部变量与成员变量
4.4 递归算法、匿名函数
4.5 文件和目录
4.6 os模块、过滤文件、批量重命名文件
4.7 file对象、拷贝文本文件、拷贝图片
4.8 学员管理系统(文件版)
第二部份：Python核心编程
第5节  面向对象
5.1 面向过程的设计思想、面向对象的编程思维、面向对象编程
5.2 类和对象
5.3 魔法方法：__init__()、__str__()、__repr__()
5.4 self参数、创建多个对象
5.5 封装性、继承介绍、单继承、多继承、多态
5.6 属性和方法扩展、对象属性与类属性、类方法与静态方法
第6节  异常处理与模块
6.1 异常处理简介、错误、异常
6.2 Python中的异常：NameError、SyntaxError、IndexError等
6.3 检测与处理异常、捕获异常try-except、else、finally、抛出异常、raise
6.4 模块概念、导入及使用、import
6.5 制作与发布模块
6.6 安装与使用模块、常见模块
第7节  -语法
7.1 浅拷贝、深拷贝、拷贝的其他方式
7.2 ==与is
7.3 封装性进阶、基本使用、私有化属性、属性property
7.4 动态语言、基本定义、添加属性、添加方法、删除属性、__slots__
7.5 生成器概念、创建
7.6 可迭代对象、迭代器对象
7.7 闭包、基本使用、深入理解
7.8 装饰器、*元类(type类)
7.9 内建属性与内建函数、模块进阶、常用标准库
第8节  进程&线程
8.1 进程简介、进程的创建与启动
8.2 multiprocessing模块、Process类
8.3 进程池、Pool类、队列(Queue)、进程拷贝文件
8.4 线程简介、进程与线程的区别
8.5 线程的创建与启动、threading模块、Thread类
8.6 线程的生命周期
8.7 线程同步、Lock类
8.8 死锁、local类、生产者与消费者模型
第9节  正则表达式&网络编程
9.1 正则表达式的规则
9.2 字符类、特殊字符类、原始字符串、数量量词、匹配分组、边界匹配器
9.3  re模块的-操作、匹配、分割、替换、获取
9.4 贪婪模式、非贪婪模式
9.5 计算机网络、OSI模型与TCP/IP模型、网络术语、三要素、TCP/IP协议
9.6  Socket编程、常用方法
9.7 UDP简介、发送数据、接收数据、模拟QQ聊天
9.8  TCP简介、服务器端、客户端、发送数据、接收数据
第二阶段：服务器、数据库
第1节 服务器
1.1 HTTP协议详细介绍
1.2 静态服务器显示静态页面、动态页面
1.3 静态服务器使用类
1.4 请求服务器动态资源
1.5 基本实现动态服务器
1.6 应用案例、传递数据给动态服务器
第2节 MySQL
2.1 数据库的概念、数据知识、常见的数据库
2.2 MySQL的使用、安装MySQL、打开Windows服务、启动和关闭MySQL、登录
2.3  SQL语句、基本概述
2.4 数据库(database)操作、建库、建表
2.5 数据表结构操作、增删查改
2.6  MySQL与Python进行交互
第3节 MongoDB
3.1 MongoDB的环境搭建、数据库操作
3.2 集合操作、数据类型、数据操作
3.3 数据查询：Limit与Skip、投影
3.4 排序、统计、去掉重复
3.5 聚合aggregate、安全性、复制、备份与恢复
3.6  MongoDB与Python进行交互
第4节 Redis
4.1 NoSQL简介、安装、基本配置
4.2 数据操作：string、键、hash、list、set、zset
4.3 -、发布订阅、主从配置
4.4 Redis与Python进行交互
第三阶段：网络爬虫开发
第1节 爬虫简介&抓取数据
1.1 爬虫基本简介、通用爬虫、聚焦爬虫
1.2 HTTP的请求与响应
1.3 fiddler工具的简介与使用
1.4 urllib2的基本使用、GET请求、POST请求
1.5  Handler处理器和自定义Opener
1.6  URLError/HTTPError、requests模块
第2节 抓取结构化与非结构化数据
2.1 抓取并分析re模块正则表达式的爬虫
2.2 XPath与XML类库分析数据、使用XPath爬虫
2.3 BeautifulSoup4解析器、使用bs4的爬虫
2.4 Json模块与JsonPath
2.5 实际应用案例、多线程爬虫案例
第3节 HTML处理与识别机器图像
3.1 动态HTML介绍
3.2 selenium与phantomJS
3.3 模拟登录、点击动态页面、执行js
3.4 机器视觉与Tesseract介绍
3.5 处理规范格式的文字内容、对验证码进行机器识别
3.6 训练Tesseract进行机器学习
第4节 scrapy框架及实战
4.1 配置安装、入门使用
4.2 scrapy shell、item Pipeline、spiders
4.3 crawlspiders、请求与响应、settings
4.4 抓取手机APP包的爬虫
4.5 新浪网分类资讯爬虫
4.6 阳光热线问政平台爬虫、图片**器
4.7 将数据保存在MongoDB数据库中
第5节 scrapy及Redis实战
5.1 源码分析之Connection、Dupefilter、Picklecompat
5.2 源码分析之Queue、Scheduler、Spider
5.3 有缘网分布式爬虫分析
5.4 处理Redis中的数据内容
5.5 改写新浪网资讯爬虫