僕とコードとブルーハワイ

omega (@equal_001) の日記

S3へファイルを並列アップロードする

S3へ大量かつ大きいファイルをアップロードするときには xargs が使える


例)
/tmp/uploads/ にあるファイルを並列(プロセス10)でアップロードする

$ ls /tmp/uploads/ | xargs -L1 -P10 aws s3 cp /tmp/uploads/ s3://bucketname --recursive

参考: Man page of XARGS