如何优化 Python 爬虫的速度
答案:2 悬赏:40
解决时间 2021-03-05 12:54
- 提问者网友：斯文败类
- 2021-03-05 04:37
如何优化 Python 爬虫的速度
最佳答案
- 二级知识专家网友：情窦初殇
- 2021-03-05 05:35
1.使用开源的爬虫库scrapy，原生支持多线程，还可以设定抓取速率，并发线程数等等参数；除此之外，scrapy对爬虫提取HTML内容也有良好的支持。
2.优化方法有，开启gzip，多线程，对于定向采集可以用正则取代xpath，用pycurl代替urlib。
2.优化方法有，开启gzip，多线程，对于定向采集可以用正则取代xpath，用pycurl代替urlib。
全部回答
- 1楼网友：零负荷的放任
- 2021-03-05 06:54
1.开启gzip
2.多线程
3.对于定向采集可以用正则取代xpath
4.用pycurl代替urlib
5.换个带宽高的环境
我要举报
如以上问答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯