s5cmd,比s3cmd更快的s3协议客户端

2022/1/5 6:08:00

本文主要是介绍s5cmd,比s3cmd更快的s3协议客户端,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

今天使用s3cmd上传文件,因为s3cmd是单线程的,当文件非常多且小,速度堪忧。网上的方法也无外乎多开几个cmd上传。

后来发现s5cmd工具,(https://github.com/peak/s5cmd),可以多线程运行,速度灰常的快。

使用方式如下:

在/root/目录下新建.aws目录

在.aws目录下,新建,config、credentials文件

config文件:

[default]
output = json
region = us-west-1

credentials文件:

[default]
aws_access_key_id = XXXXXX
aws_secret_access_key = XXXXX

然后可以执行:

 ./s5cmd  --stat  --numworkers=70 --endpoint-url=s3.us-west-1.xxx.com  cp ./dir/ s3://bucketName/
--numworkers 可以开多个线程
--endpoint-url 如果不是使用的aws的s3,则指定一下 url


这篇关于s5cmd,比s3cmd更快的s3协议客户端的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程