当前位置: 首页 > 服务器区别 >

从国外服务器下载大量数据( TB 级)乞助方案

时间:2020-10-20 来源:未知 作者:admin   分类:服务器区别

  • 正文

  Linode,受国内渣渣收集的缘由,下载用 python 的 requests 库(由于都是 windows 机械,所以需要有一些更无效率的代办署理直达方案。1GB 内存,别的一个办公室是 100Mbps 小 ISP(所以是注水的带宽,目前我想到的方案是:阿里云的 1CPU ,但愿没什么吧。青春无悔作文。且受收集毗连能力,在阿里云(没开 IO 优化)上单个数据 wget 下载速度 为 1.7M/s~2M/s 之间波动,供给 http 、ftp 和 opendap 下载体例,反代东西利用 nginx ,用 python 生成 url ,云主机数量是考虑到了公司本身的下载带宽。装 wget 或者 curl 略麻烦)。间接下载速度太慢,总数据量在 5TB 摆布,每个数据文件的下载地址都很有纪律,

  不晓得有什么更好的吗?公司的一个办公室是 10Mbps 电信,即便有更高的带宽也不必然能实现满速,而数据下载(目前看起来)是能够间接用 http 反代的,5Mbps 带宽 ECS 三台并行下载。同 ip 流量等)不是出格明白,不如多台别离下载。5Mbps 之后带宽单价变高,我本人租的房子也是在用一个小 ISP 的注水宽带,测试结果还更惨一些颠末测试能跑满 5Mbps 就挺好了……)。5Mbps 带宽是由于带宽阶梯计价,只不外下载(并发数,不具有嗅探和机关地址方面的妨碍。根服务器

(责任编辑:admin)