admin管理员组文章数量:1601620
安装ossutil
yum -y install wget
wget http://docs-aliyun-hangzhou.oss.aliyun-inc/assets/attach/50452/cn_zh/1524643963683/ossutil64
mv ossutil64 /home
cd /home
chmod +x ossutil64
mv ossutil64 ossutil
测试运行
./ossutil help ls -L ch
个人中心找到AK和SK(AccessKey/SecretKey)
https://usercenter.console.aliyun/#/manage/ak
可以在访问控制 RAM中自由创建子账户AK单独只授权OSS
可用地域,根据自己服务器地域创建,下方需要加-e参数
https://help.aliyun/document_detail/31837.html
设置ak和sk信息
./ossutil config -e oss.aliyuncs -i ak -k sk
测试是否成功
cat /root/.ossutilconfig
[root@node3 oss]# cat /root/.ossutilconfig
[Credentials]
language=ch
accessKeySecret=91232tgtgbqg6Q6i4KQ9BHMtJ2qpL2
endpoint=oss-cn-beijing.aliyuncs #ecs写内网地址
accessKeyID=LTAIdwedwedwwefthOngJ6X
安装结束
上传文件:
./ossutil cp 123 -r oss://jesse1
#jesse1 仓库名
./ossutil cp 1.txt oss://jesse1
#jesse1 仓库名
下载文件和分卷压缩与解压
./ossutil cp -r --update oss://cangku /dizhi
cangku:仓库的地址
dizhi:保存的本地路径
分卷压缩:
1.使用tar分卷压缩
格式 tar cvzf - filedir | split -d -b 50m - filename
例子:
tar cvzf - ./picture | split -d -b 10m - picture
将./picture 打包,并分割为 10m 的包
输出的文件为 filename00、filename01、filename02 ...
如果不加filename,则输出文件为 x00、x01、x02 ...
如果不加参数 -d,则输出aa、ab、ac ...
2.解压分卷
首先将分卷包合拼
cat x* > myzip.tar.gz
然后解压
tar xzvf myzip.tar.gz
例子:
cat picture* > picture.tar.gz
tar xzvf picture.tar.gz
上传文件
ossutil提供了上传/下载/拷贝文件、设置object的acl、设置object的meta、查看object的meta信息等功能。
使用这些命令前请使用config命令配置访问AK。
上传/下载/拷贝文件
强烈建议在使用cp命令前使用ossutil help cp先查看帮助。
可以使用cp命令进行上传/下载/拷贝文件,使用-r选项来拷贝文件夹,对大文件默认使用分片上传并可进行断点续传(开启分片上传的大文件阈值可用--bigfile-threshold选项来设置)。
使用-f选项来默认强制上传,当目标端存在同名文件时,不询问,直接覆盖。
当批量上传/下载/拷贝文件时,如果某个文件出错,ossutil默认会将错误信息记录在report文件,并跳过该文件,继续其他文件的操作(当错误为Bucket不存在、accessKeyID/accessKeySecret错误造成的权限验证非法等错误时,不再继续其他文件拷贝)。更多信息请见ossutil help cp。
ossutil支持特定场景下的增量上传策略:--update和--snapshot-path选项,请参见ossutil help cp。
ossutil从1.0.0.Beta1版本开始,上传文件默认打开crc64。
查看Bucket空间列表
- ./ossutil ls
复制代码
输出:
CreationTime Region StorageClass BucketName
2016-08-16 11:50:32 +0800 CST oss-cn-hangzhou Standard oss://test
上传单个文件:
- ./ossutil cp lxzPV.mp4 oss://test
复制代码
输出:
Succeed: Total num: 1, size: 36,622,683. OK num: 1(upload 1 files).
6.882928(s) elapsed
上传文件夹:
- ./ossutil cp -r video oss://test
复制代码
输出:
Succeed: Total num: 35, size: 464,606. OK num: 35(upload 34 files, 1 directories).
0.896320(s) elapsed
上传/下载/拷贝文件的性能调优
在cp命令中,通过-jobs项和-parallel项控制并发数。-jobs项控制多个文件上传/下载/拷贝时,文件间启动的并发数。-parallel制分片上传/下载/拷贝一个大文件时,每一个大文件启动的并发数。
默认情况下,ossutil会根据文件大小来计算parallel个数(该选项对于小文件不起作用,进行分片上传/下载/拷贝的大文件文件阈值可由—bigfile-threshold选项来控制),当进行批量大文件的上传/下载/拷贝时,实际的并发数为jobs个数乘以parallel个数。该两个选项可由用户调整,当ossutil自行设置的默认并发达不到用户的性能需求时,用户可以自行调整该两个选项来升降性能。
警告
一般ECS虚拟机或者服务器,在网络、内存、CPU等资源不是特别大的情况下,建议将并发数调整到100以下。如果网络、内存、CPU等资源没有占满,可以适当增加并发数。
如果并发数调得太大,由于线程间资源切换及抢夺等,ossutil上传/下载/拷贝性能可能会下降。并发数过大可能会产生EOF错误。所以请根据实际的机器情况调整-jobs和-parallel选项的数值。如果要进行压测,可以一开始将这两项数值调低,慢慢调大寻找最优值。
列举阿里云oss空间里面的所有文件
显示所有文件和上传产生的碎片管理(Multipart)分块文件UploadID
- ./ossutil ls oss://test -a
复制代码
结果
LastModifiedTime Size(B) StorageClass ETAG ObjectName
2018-08-27 03:21:26 +0800 CST 36622683 Standard 16111CADE9D171195743893742255398 oss://test/111.mp4
2018-08-27 03:21:27 +0800 CST 36622683 Standard 16111CADE9D171195743893742255398 oss://test/lxzPV.mp4
Object Number is: 2
UploadID Number is: 0
0.935311(s) elapsed
查看文件描述信息(meta)
- ./ossutil stat oss://test/lxzPV.mp4
复制代码
结果
ACL : default
Accept-Ranges : bytes
Content-Length : 36622683
Content-Md5 : FhEcrenRcRlXQ4k3QiVTmA==
Content-Type : video/mp4
Etag : 16111CADE9D171195743893742255398
Last-Modified : 2018-08-27 03:21:27 +0800 CST
Owner : 1293873287869883
X-Oss-Hash-Crc64ecma : 3385307402401995135
X-Oss-Object-Type : Normal
X-Oss-Storage-Class : Standard
0.909793(s) elapsed
删除文件
示例
- ./ossutil rm oss://test[/prefix]
复制代码
参数
参数名 描述
m 删除以指定prefix开头的所有object下的Multipart Upload任务。
r 删除以指定prefix开头的所有object,可以进行objects文件的批量删除(prefix为空代表bucket空间下的所有objects文件)。
f 删除前不会进行询问提示。
删除空间test里面的视频lxzPV.mp4
- ./ossutil rm oss://test/lxzPV.mp4
复制代码
输出:
Succeed: Total 1 objects. Removed 1 objects.
1.290539(s) elapsed
删除分块文件UploadID
删除test空间下的所有以obj开头命名的UploadID:
- ./ossutil rm -rfm oss://test/obj
复制代码
输出:
Succeed: Total 4 uploadIds. Removed 4 uploadIds.
1.922915(s) elapsed
删除空间test中的所有文件:
- ./ossutil rm -rf oss://test
复制代码
版权声明:本文标题:ossutil命令上传文件到阿里云oss详解,使用Shell脚本实现数据的自动上传下载Bucket对象存储 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dongtai/1728380463a1156436.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论