爬虫与数据采集选什么配置
跑爬虫任务，需要多少核多少内存？
结论
瓶颈几乎总在带宽和代理 IP，不在 CPU。2 核 4G 起步足够，把预算花在带宽和代理池上；大规模并发采集再上 4 核 8G。
推荐配置
为什么这么选
- 采集过程大部分时间在等待网络返回，CPU 长期空闲。
- 解析与去重会吃内存，数据量大时内存比核数更先成为瓶颈。
- 采集到的原始数据应尽快落对象存储，别都堆在本地盘。
容易踩的坑
- 用带宽计费又放开并发，一夜之间跑出天价流量账单。
- 不做请求限频，很快被封 IP，反而拖慢整体进度。
常见问题
需要多 IP 吗？
目标站有频率限制时几乎必须。单机单 IP 高并发是最快被封的方式。
能用按量付费吗？
非常适合。采集是阶段性任务，跑完就释放，比包年包月省钱。