VIP会员
购物车
私信
发表新帖
立即签到
关注
回复
支持(
反对(
首页上一页 1 下一页尾页 5 条记录 1/1页
这个多进程实例是不是没写完啊？
发表在Python图书答疑
2020-09-16
《Python实效编程百例·综合卷》第2章 网络爬虫 45页-50页
是否精华
是
否
版块置顶:
是
否
运行完全正常，耗时也短，但是数据库没有存储一条数据呀？
if __name__ == "__main__":
print('开始了!')
current = time.time()
total_page_count = get_json(1)["result"]["query"]["totlePageCount"]
pool = Pool()
index = ([x for x in range(1, total_page_count+1)])
# print(index,total_page_count)
pool.map(mian, index)
pool.close()
pool.join()
cur.close()
conn.commit()
conn.close()
print('执行结束')
end = time.time()
print(f'执行时间一共为{end - current}秒！')还有44页也是，书上少了一句迭代代码，害我执行半天，终于找出来了，老师们可以看一下书本，下面这句书本44页没有
# for index in range(1, total_page_count+1):
# mian(index)
于2020-09-16 23:29:26编辑
分享到：
hollok 发表于2020-09-17 19:38
可是，你没有解决我的问题呀，多进程怎么往数据库储存数据？我debug代码都执行了，结果数据库为空，老师帮忙指正一下啊
为了防止course_id 重复，请新增一个id字段。令id作为主键，SQL语句如下：
CREATE TABLE `course` (
`id` int(8) AUTO_INCREMENT PRIMARY KEY,
`course_id` bigint(20) NOT NULL,
`product_id` bigint(20) NOT NULL,
`product_type` int(11) NOT NULL,
`product_name` varchar(125) NOT NULL,
`provider` varchar(125) NOT NULL,
`score` float DEFAULT NULL,
`score_level` int(11) DEFAULT NULL,
`learner_count` int(11) DEFAULT NULL,
`lesson_count` int(11) DEFAULT NULL,
`lector_name` varchar(125) DEFAULT NULL,
`original_price` float DEFAULT NULL,
`discount_price` float DEFAULT NULL,
`discount_rate` float DEFAULT NULL,
`img_url` varchar(125) DEFAULT NULL,
`big_img_url` varchar(125) DEFAULT NULL,
`description` text
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
此外，需要注意爬取的数据要与数据表中的字段一一对应。
