[AWS] s3 cli 멀티파트 설정

앞서 AWS s3 cli로 대용량 파일의 unzip을 실행하다보니 문제가 생겼다.

어느정도는 괜찮은데, 파일이 클 경우 오류가 발생하는 것이다.

실제 확인을 해보니 aws s3 파일스트림의 청크사이즈와, 멀티파트 업로드 오류 때문에 발생하는 문제였다.

청크 사이즈와 리퀘스트 수, 큐 사이즈 등 설정으로 해결 했다.

$ aws configure set default.s3.max_concurrent_requests 20
$ aws configure set default.s3.max_queue_size 10000
$ aws configure set default.s3.multipart_threshold 64MB
$ aws configure set default.s3.multipart_chunksize 16MB
$ aws configure set default.s3.max_bandwidth 50MB/s
$ aws configure set default.s3.use_accelerate_endpoint true
$ aws configure set default.s3.addressing_style path

https://docs.aws.amazon.com/cli/latest/topic/s3-config.html

AWS CLI S3 Configuration — AWS CLI 1.20.31 Command Reference