已有81人关注
【爬虫之路】记录贴之《2020年双12,我买了第一本python书:<python网络爬虫从入门到实践>说起》
发表在新手报到 2024-06-28
是否精华
版块置顶:

每次记录总是感叹时间过得快。
想起这件事情的起源也是4年前了,
当时项目每天早上总是要从同一个网站上复制下来一些数据,做统计分析;
刚开始感觉没什么,时间一长感觉很没有意思,
于是就在放假期间,用鼠标精灵做了一个模拟鼠标自动录取数据的脚本,应付日常的数据获取。
时间长了,又感觉用鼠标精灵很LOW,于是就想着学爬虫!

所以,2020年12月12日在拼多多上,买了我的第一本python书:《python网络爬虫从入门到实践》
买了之后,没学多久,项目就交给别人做了,所以慢慢也放弃学习了。

至到,前几天闲来无事,我又捡起书来。
又迸发了我学习的欲望!
一天内读完了整本书,也摸索这写出了两个可行的爬虫。
( 爬策略截图发邮件_完善版_修改.py )

现在想想也挺有意思的,
所以开一个帖子记录自己学习中的点滴点滴。
没有过高的想法,
就是希望通过学习python解决更多自己或者身边人的问题。

分享到:
精彩评论 15
烂番茄
学分:35 LV2
2024-06-28
沙发

打算好好的学一学python
今天通过对所有书籍的了解
买了三本书:

《Python算法从入门到实践》

《Python从入门到项目实践》

《Python编程快速上手》


kmind.png


烂番茄
学分:35 LV2
2024-06-28
板凳

已开发脚本:
同时打开多个网页.py
实施_准备文件.py
实施_模拟上传.py
爬策略截图发邮件_完善版_修改.py

烂番茄
学分:35 LV2
2024-06-28
地板

《python网络爬虫从入门到实践》
https://www.mingrisoft.com/Book/bookDetails/id/581.html

烂番茄
学分:35 LV2
2024-06-28
4L

烂番茄 发表于2024-06-28 12:36

《python网络爬虫从入门到实践》
https://www.mingrisoft.com/Book/bookDetails/id/581.html

重新把视频看了一遍,现在感觉好简单呀 
感觉没有看的必要了

烂番茄
学分:35 LV2
2024-06-28
5L

下载升级到1.1版本了
真的是解放双手呀,几天的工作量,几小时就搞好了。
新版中,增加了 自动移除文件的功能。
需要进一步优化的内容是:
1. 多线程运行
2. 做一个操作界面出来

烂番茄
学分:35 LV2
2024-06-28
6L

烂番茄 发表于2024-06-28 23:24

下载升级到1.1版本了
真的是解放双手呀,几天的工作量,几小时就搞好了。
新版中,增加了 自动移除文件的功能。
需要进一步优化的内容是:
1. 多线程运行
2. 做一个操作界面出来

要不给脚本取个名字吧

烂番茄_爬取1.1
烂番茄_上传1.1

烂番茄
学分:35 LV2
2024-06-29
7L

虽然优化了一些内容,但是还是不够给力

这个多线程总是报错,不知道什么原因

烂番茄
学分:35 LV2
2024-06-30
8L

烂番茄 发表于2024-06-29 21:10

虽然优化了一些内容,但是还是不够给力

这个多线程总是报错,不知道什么原因

次奥,终于搞定了! 
没有缩行!
捣鼓了几个小时,都没有排查出来。
我咋说,爬的东西一直放在同一个文件中

多线程是真的快呀~

file_name file_names:

    for_keylinks(url,soukey)
烂番茄
学分:35 LV2
2024-06-30
9L

不能一点一点的摸索。

还得系统的学习才行

虽然搞出来这么几个东西

但是不够完美 效率也低

烂番茄
学分:35 LV2
2024-06-30
10L

烂番茄_准备.py
此次更新到1.3,速度直接提升1000倍以上
此次突破主要做到以下几点:
1.代码更加的模块化
2.加入多线程
3.向大佬学习,回顾之前的知识点。

首页上一页 12 下一页尾页 15 条记录 1/2页
手机同步功能介绍
友情提示:以下图书配套资源能够实现手机同步功能
明日微信公众号
明日之星 明日之星编程特训营
客服热线(每日9:00-17:00)
400 675 1066
mingrisoft@mingrisoft.com
吉林省明日科技有限公司Copyright ©2007-2022,mingrisoft.com, All Rights Reserved长春市北湖科技开发区盛北大街3333号长春北湖科技园项目一期A10号楼四、五层
吉ICP备10002740号-2吉公网安备22010202000132经营性网站备案信息 营业执照