21.4.1 搭建Scrapy爬虫框架

< 21.4.1 搭建Scrapy爬虫框架

04 MacOS系统中安装Python——视频

1.1 Python概述

1.2.1 安装Python

1.2.2 解决提示“'python'不是内部或外部命令……”

1.3 使用IDLE编写“hello world”

2.1 PyCharm下载与安装

2.2 测试PyCharm开发环境

2.3 PyCharm常用操作

2.4 熟悉PyCharm开发环境

2.5 PyCharm开发环境配置

3.1.1 使用print()函数输出

3.1.2 使用input()函数输入

3.2 注释

3.3 代码缩进

3.4 编码规范

3.5 命名规范

4.1 保留字与标识符

4.2 变量

4.3.1 数字类型

4.3.2 字符串类型

4.3.3 布尔类型

4.3.4 数据类型转换

5.1 算术运算符.

5.2 赋值运算符.

5.3 比较（关系）运算符

5.4 逻辑运算符.

5.5 位运算符

5.6 运算符的优先级

6.1.1 索引

6.1.2 切片

6.1.3 序列相加

6.1.4 乘法（Multiplying）

6.1.5 检查某个元素是否是序列的成员（元素）

6.1.6 计算序列的长度、最大值和最小值

6.2.1 列表的创建和删除

6.2.2 访问列表元素

6.2.3 遍历列表

6.2.4 添加、修改和删除列表元素

6.2.5 对列表进行统计计算

6.2.6 对列表进行排序

6.2.7 列表推导式

6.3.1 元组的创建和删除

6.3.2 访问元组元素

6.3.3 修改元组元素

6.3.4 元组推导式

6.3.5 元组与列表的区别

7.1.1 拼接字符串

7.1.2 计算字符串的长度

7.1.3 截取字符串

7.1.4 分割字符串

7.1.5 检索字符串

7.1.6 字母的大小写转换

7.1.7 去除字符串中的空格和特殊字符

7.1.8 格式化字符串

7.2 正则表达式基础

7.3.1 匹配字符串

7.3.2 替换字符串

7.3.3 使用正则表达式分割字符串

8.1 程序结构

8.2.1 最简单的if语句

8.2.2 if…else语句

8.2.3 if…elif…else语句

8.2.4 if语句的嵌套

8.3 使用and连接条件语句

8.4 使用or连接条件语句

8.5 使用not语句

9.1 for循环

9.2 while循环

9.3 循环嵌套

9.4.1 break语句

9.4.2 continue语句

10.1.1 字典的创建和删除

10.1.2 通过“键值对”访问字典

10.1.3 遍历字典

10.1.4 添加、修改和删除字典元素

10.1.5 字典推导式

10.2.1 集合的创建

10.2.2 集合的添加和删除

10.2.3 集合的交集、并集和差集运算

10.3 列表、元组、字典和集合的区别

11.1 函数的创建和调用

11.2.1 了解形式参数和实际参数

11.2.2 位置参数

11.2.3 关键字参数

11.2.4 为参数设置默认值

11.2.5 可变参数

11.3 返回值

11.4 变量的作用域

11.5 匿名函数

11.6 常用Python内置函数

12.1 面向对象概述

12.2.1 定义类

12.2.2 创建类的实例

12.2.3 “魔术”方法—__init__()

12.2.4 创建类的成员并访问

12.2.5 访问限制

12.3.1 创建用于计算的属性

12.3.2 为属性添加安全保护机制

12.4.1 继承的基本语法

12.4.2 方法重写

12.4.3 派生类中调用基类的__init__()方法

13.1 模块概述

13.2.1 创建模块

13.2.2 使用import语句导入模块

13.2.3 使用from…import语句导入模块

13.2.4 模块搜索目录

13.3 以主程序的形式执行

13.4.1 Python程序的包结构

13.4.2 创建和使用包

13.5.1 导入和使用标准模块

13.5.2 第三方模块的下载与安装

14.1.1 创建和打开文件

14.1.2 关闭文件

14.1.3 打开文件时使用with语句

14.1.4 写入文件内容

14.1.5 读取文件

14.2.1 os和os.path模块

14.2.2 路径

14.2.3 判断目录是否存在

14.2.4 创建目录

14.2.5 删除目录

14.2.6 遍历目录

14.3.1 删除文件

14.3.2 重命名文件和目录

14.3.3 获取文件基本信息

15.1.1 连接对象

15.1.2 游标对象

15.2.1 创建数据库文件

15.2.2 操作SQLite

15.3.1 下载安装MySQL

15.3.2 安装PyMySQL

15.3.3 连接数据库

15.3.4 创建数据表

15.3.5 操作MySQL数据表

16.1 什么是进程

16.2.1 使用multiprocessing模块创建进程

16.2.2 使用Process子类创建进程

16.2.3 使用进程池Pool创建进程

16.3.1 队列简介

16.3.2 多进程队列的使用

16.3.3 使用队列在进程间通信

16.4 什么是线程

16.5.1 使用threading模块创建线程

16.5.2 使用Thread子类创建线程

16.6.1 什么是互斥锁

16.6.2 使用互斥锁

16.6.3 使用队列在线程间通信

16.7.1 进程和线程的区别

16.7.2 多线程非全局变量是否要加锁

17.1.1 为什么要使用通信协议

17.1.2 TCP/IP简介

17.1.3 UDP简介

17.1.4 Socket简介

17.2.1 创建TCP服务器

17.2.2 创建TCP客户端

17.2.3 执行TCP服务器和客户端

17.3.1 创建UDP 服务器

17.3.2 创建UDP 客户端

17.3.3 执行UDP 服务器和客户端

18.1 异常概述

18.2.1 try…except语句

18.2.2 try…except…else语句

18.2.3 try…except…finally语句

18.2.4 使用raise语句抛出异常

18.3 程序调试

19.1.1 什么是GUI

19.1.2 常用的GUI框架

19.2.1 安装 wxPython

19.2.2 创建一个wx.App的子类

19.2.3 直接使用wx.App

19.2.4 使用wx.Frame框架

19.2.5 常用控件

19.2.6 BoxSizer布局

19.2.7 事件处理

19.3.1 安装PyQt

19.3.2 使用第三方开发工具

19.3.3 创建主窗体

19.3.4 常用控件

19.3.5 布局管理

19.3.6 信号与槽的关联

19.3.7 资源文件的使用

20.1.1 安装pygame

20.1.2 pygame常用模块

20.2 pygame的基本使用

21.1 初识网络爬虫

21.2.1 Python的网络请求

21.2.2 请求headers处理

21.2.3 网络超时

21.2.4 代理服务

21.2.5 HTML解析之BeautifulSoup

21.3 网络爬虫开发常用框架

21.4.1 搭建Scrapy爬虫框架

21.4.2 创建Scrapy项目

21.4.3 创建爬虫

21.4.4 获取数据

22.1.1 什么是Web框架

22.1.2 常用的Web框架

22.2.1 安装虚拟环境

22.2.2 安装Flask

22.2.3 第一个Flask程序

22.2.4 开启调试模式

22.2.5 路由

22.2.6 静态文件

22.2.7 模板

23.1 安装Django Web框架

23.2.1 创建一个Django项目

23.2.2 创建App

23.2.3 数据模型(models)

23.2.4 管理后台

23.2.5 路由(urls)

23.2.6 表单(forms)

23.2.7 视图(views)

23.2.8 Django模板

24.1 项目概述

24.5.1 主窗体的实现

24.5.2 滚动地图的显示

24.5.3 可以跳跃的小恐龙

24.5.4 障碍物的出现

24.5.5 碰撞与积分

25.1 概述

25.4.1 主窗体的实现

25.4.2 游戏界面设置

25.4.3 用户交互操作的实现

25.4.4 对子弹的处理

25.4.5 敌机的处理

25.4.6 显示游戏得分

25.4.7 游戏结束绘制游戏结束画面

25.4.8 更新排行榜内容

25.4.9 判断鼠标的单击位置

25.4.10 游戏排行榜

26.1 概述

26.5 开发前的准备工作

26.6.1 窗体的实现

26.6.2 同步手机屏幕的画面

26.6.3 选择起点与终点实现跳跃

26.6.4 实现重选功能

26.7 自动辅助

27.1概述

27.5.1 登录功能

27.5.2 主窗体设计

27.5.3 创建爬虫类

27.5.4 开启爬虫类

27.5.5 查看大图功能

28.1 概述

28.6.1 根据项目设计制作窗体

28.6.2 添加分类

28.6.3 选择识别的图片

28.6.4 银行卡图像识别

28.6.5 植物图像识别

28.6.6 复制识别结果到剪贴板

29.1 系统功能设计

29.2 系统开发必备

29.3 数据库设计

29.4.1 会员注册功能实现

29.4.2 会员登录功能实现

29.4.3 会员退出功能实现

29.5.1 推荐景区功能实现

29.5.2 推荐地区功能实现

29.5.3 搜索景区功能实现

29.6.1 查看景区功能实现

29.6.2 查看游记功能实现

29.6.3 收藏景区功能实现

29.6.4 查看收藏景区功能实现

29.7 关于我们模块设计

29.8.1 实现管理员登录功能

29.8.2 实现景区管理功能

29.8.3 实现地区管理功能

29.8.4 实现游记管理功能

29.8.5 实现会员管理功能

29.8.6 实现日志管理功能

30.1 项目概述

30.5 主窗体界面设计

30.6 设计数据库表结构

30.7.1 爬取排行信息

30.7.2 爬取价格信息

30.7.3 爬取评价信息

30.7.4 批量写入数据库

30.8 图表分析数据

30.9 商品排行展示

30.10 关注商品

30.11 商品营销预警

30.12 关注商品图表分析

30.13 其他功能

同步到手机

速记

提交意见反馈

写笔记

建议

0.5x 1.0x 1.5x 2.0x 2.5x

倍速

视频名称：21.4.1 搭建Scrapy爬虫框架

问答：0 查看全部

问答？

笔记！

我的问答我的笔记

全部问答全部笔记

只有登录才可以提问&回复，快登录吧！如果你还没有账号可以注册一个账号。

只有登录才可以发布笔记，快登录吧！如果你还没有账号可以注册一个账号。