全球主机交流论坛

标题: python多线程 [打印本页]

作者: mjj小号 时间: 2022-1-11 23:05
标题: python多线程
代码贴不上来，就是遍历6w个id，请求，保存json
现在就是遍历6wid太慢了，后面的工作做完了

作者: iiss 时间: 2022-1-11 23:07
遍历6万个ID慢？不至于吧，又不是大数据量

作者: Mr.Qin 时间: 2022-1-11 23:07
提示: 作者被禁止或删除内容自动屏蔽

作者: J0rmo 时间: 2022-1-11 23:08
你没说清楚，遍历6w个ID做啥类型的请求？

作者: mjj小号 时间: 2022-1-11 23:08

iiss 发表于 2022-1-11 23:07
遍历6万个ID慢？不至于吧，又不是大数据量

慢是因为1个id请求完大概就得半秒

作者: mjj小号 时间: 2022-1-11 23:09

J0rmo 发表于 2022-1-11 23:08
你没说清楚，遍历6w个ID做啥类型的请求？

post zsbd 太慢了
这逼我学go啊马得

作者: 518 时间: 2022-1-11 23:11
asyncio 异步请

作者: xiaohu 时间: 2022-1-11 23:14
找好代理池，用协程试试看。

作者: walker 时间: 2022-1-11 23:17
异步快

作者: hundouluo 时间: 2022-1-11 23:19
你没搞懂GIL，不是Python慢，是你玩的不好

作者: J0rmo 时间: 2022-1-11 23:20

mjj小号发表于 2022-1-11 23:09
post zsbd 太慢了
这逼我学go啊马得

好吧，网络请求，我只能给你一个建议，找个离目标服务器近的VPS执行你的请求

作者: acpp 时间: 2022-1-11 23:22
你直接用多进程模式吧。

作者: hundouluo 时间: 2022-1-11 23:25
monkey patch一下也不至于这样！尴尬

作者: dnt 时间: 2022-1-11 23:36
给你两个关键字，asyncio，aiohttp，自己搜索了解即可

作者: konololi 时间: 2022-1-11 23:37

shell脚本呀，
直接开6w进程去跑

作者: whiler 时间: 2022-1-11 23:41
便秘别怨地球引力小

作者: richrich 时间: 2022-1-12 00:11
说明你不太会用

作者: Pastech 时间: 2022-1-12 00:13
threading了解一下
不过得用Semaphore限制一下总的线程数

作者: sdqu 时间: 2022-1-12 00:18
只是建议，追求性能的东西，请不要用python

欢迎光临全球主机交流论坛 (https://loc.daji.eu.org/)