网络爬虫

课程内容：

爬虫与数据

Scrapy框架

Mongodb+Redis

Scrapy-redis框架

培养目标：

可掌握的核心能力： 1.掌握爬虫的工作原理和设计思想；2.掌握反爬虫机制； 3.通过学习NoSql数据库和Scrapy-redis框架，可以独立运用分布式爬虫框架实现海量数据的爬取。

任老师  

优就业Python+人工智能高级讲师

原大型项目Python开发工程师

8年Python教学经验，3年项目开发经验，负责过大型婚庆、宠物商城、妇婴商城、律师事务所、房产、装修公司等项目的开发工作。熟悉项目开发流程，精通ThinkPHP5、Yii、CI、Laravel、Django、Flask等主流开发框架。

授课风格：思维严谨，条理清晰，风趣幽默，及时的和学员沟通并耐心的解决学生的各种学习问题，深受学员信任。

教学环境

优就业拥有全国500多家直营分部，为学员提供便捷的面授服务，优美的学习环境。教室环境、实训环境、培训基地均设施完善、环境优美。

字典推导：

teams = ["Packers", "49ers", "Ravens", "Patriots"]

print {key: value for value, key in enumerate(teams)}

>>> {'49ers': 1, 'Ravens': 2, 'Patriots': 3, 'Packers': 0}

控制语句

if语句，当条件成立时运行语句块。经常与else, elif(相当于else if) 配合使用。

for语句，遍历列表、字符串、字典、集合等迭代器，依次处理迭代器中的每个元素。

while语句，当条件为真时，循环运行语句块。

try语句，与except,finally配合使用处理在程序运行中出现的异常情况。

class语句，用于定义类型。

def语句，用于定义函数和类型的方法。

pass语句，表示此行为空，不运行任何操作。

assert语句，用于程序调试阶段时测试运行条件是否满足。

with语句，Python2.6以后定义的语法，在一个场景中运行语句块。比如，运行语句块前加密，然后在语句块运行退出后解密。

yield语句，在迭代器函数内使用，用于返回一个元素。自从Python 2.5版本以后。这个语句变成一个运算符。

raise语句，制造一个错误。

import语句，导入一个模块或包。

from import语句，从包导入模块或从模块导入某个对象。

import as语句，将导入的对象赋值给一个变量。

in语句，判断一个对象是否在一个字符串/列表/元组里。