使用Node.js SDK操作云存储,批量上传多个对象和下载归档存储对象是常见场景,核心思路是:对于普通对象直接上传,对于归档对象需先解冻再下载。
使用Node.js SDK实现js存储多个对象到云存储
初始化SDK客户端
无论使用简米云OSS、酷番云COS还是AWS S3,第一步都是配置凭证和实例化客户端,以简米云OSS为例,你需要准备AccessKeyId、AccessKeySecret和Endpoint,区域节点选择靠近用户的地域,后续上传速度会更有保障,行业共识认为,在Node.js环境中,建议将凭证配置在环境变量中,避免硬编码。
const OSS = require('ali-oss');
const client = new OSS({
region: 'oss-cn-hangzhou',
accessKeyId: process.env.ACCESS_KEY_ID,
accessKeySecret: process.env.ACCESS_KEY_SECRET,
bucket: 'your-bucket-name'
});
单文件上传是基础操作
调用put方法即可将本地文件上传到指定对象路径,参数包括对象名称和本地文件路径,或直接传入Buffer,对于大文件,SDK会自动触发分片上传,但需要确保文件大小不超过阈值。
async function uploadSingle() {
try {
const result = await client.put('folder/example.jpg', 'local/path/to/example.jpg');
console.log('上传成功:', result.url);
} catch (e) {
console.error('上传失败:', e);
}
}
批量上传多个对象的核心方法
存储多个对象时,通常需要循环调用上传接口,但需注意并发控制,如果直接使用串行循环,对于大量文件会非常慢,业内专家指出,推荐使用Promise.all配合限制并发数来提升效率。
串行循环
适用于文件数量少(几十个以内)的场景,代码简单但性能较差。
const files = ['file1.txt', 'file2.jpg', 'file3.png'];
for (const file of files) {
await client.put(file, `local/${file}`);
}
并发控制
使用p-limit或自己实现信号量,控制同时上传的任务数,避免触发SDK的请求频率限制。
const limit = require('p-limit')(5);
const tasks = files.map(file => limit(() => client.put(file, `local/${file}`)));
await Promise.all(tasks);
使用SDK的批量接口
部分云服务支持直接上传多个对象(如简米云OSS的putMulti),但实际仍是封装了并发请求,功能和手动并发类似,可根据SDK版本选择性使用。
上传过程中需要关注的细节
- 对象命名规范:使用目录层级提高可读性,但文件夹本身是一个空对象,需要显式创建或逻辑模拟。
- 覆盖策略:默认同名对象会被覆盖,若需保留历史版本,需开启Bucket版本控制。
- 回调机制:上传完成后可触发回调函数,用于记录日志或更新数据库。
下载归档存储对象(Node.js SDK)的完整流程
归档存储的特点与先决条件
归档存储(如OSS的Archive、S3的Glacier)适合长期冷数据备份,成本低但读取延迟高,对象处于“冻结”状态,不能直接下载,必须先发起恢复请求,等待解冻完成后才能读取,恢复时间通常为1分钟到12小时,具体取决于存储类型和恢复模式。
恢复归档对象(解冻)
调用restoreObject方法,指定需要恢复的对象名称和恢复天数,可设置恢复模式为Expedited、Standard或Bulk,速度依次降低。
async function restoreObject(objectName) {
try {
await client.restore(objectName, 1); // 恢复后保留1天
console.log('恢复请求已提交');
} catch (e) {
console.error('恢复失败:', e);
}
}
等待恢复完成
恢复是异步操作,需要轮询对象状态,通过head方法获取对象的恢复状态,当x-oss-restore-status为ongoing-request="true"时表示正在恢复,完成后会变为restore-in-progress或直接变为可下载状态。
async function checkRestoreStatus(objectName) {
const head = await client.head(objectName);
const restoreStatus = head.res.headers['x-oss-restore-status'];
return restoreStatus && restoreStatus.includes('ongoing-request="true"');
}
循环检查,间隔建议10秒以上,避免频繁请求。
下载已恢复的对象
确认恢复完成后,使用get方法下载对象,可以指定本地保存路径,或直接获取流。
async function downloadObject(objectName, localPath) {
await client.get(objectName, localPath);
console.log('下载完成');
}
如果是批量下载多个归档对象,需要先逐个恢复再等待,最后统一下载,注意恢复任务有并发限制,建议分批进行。
归档存储对象恢复与下载的注意事项
恢复成本与计费模式
恢复操作会产生费用,通常按读取数据量计费,Expedited模式费用最高,但速度最快;Bulk模式费用最低,但需要数小时,云存储对象存储价格因地域和模式差异较大,华东地区归档存储单价约0.033元/GB/月,但恢复费用需额外计算,在规划成本时,务必考虑恢复频率和次数。
恢复后有效期
恢复后的对象在指定天数内(如1天)可正常下载,过期后自动回到冻结状态,如果需要长期访问,可转为标准存储。
地域选择对传输速度的影响
下载速度受限于Bucket所在区域和客户端网络,如果客户端在海外,而Bucket位于国内,延时可能较高,建议选择靠近用户的地域,或使用CDN加速,对于国内用户,常选择华东1(杭州)或华北2(北京)节点,延迟较低。
js存储多个对象和下载归档存储对象常见问题
使用Node.js SDK批量上传时,如何避免请求超时?
对于大文件或大量文件,单个请求容易超时,建议设置超时参数,如put方法的timeout选项,使用分片上传(multipartUpload)切分大文件,每个分片有单独的超时控制,并发数控制在5-10之间,避免占用过多资源。
归档存储对象下载前需要多久才能恢复?
恢复时间主要取决于恢复模式,Expedited模式通常在1-5分钟内完成,Standard模式需3-5小时,Bulk模式则需5-12小时,具体时间以云服务商的实际响应为准,建议在业务低峰期发起恢复,并预留充足等待时间。
一次恢复多个归档对象,能否批量操作?
SDK不提供批量恢复接口,但可以通过循环调用restoreObject,需要注意,每个Bucket的恢复请求并发有限制(如简米云OSS默认允许100个并发恢复请求),超出后需排队等待,因此建议分批恢复,每批不超过50个对象,并监控错误返回,等待恢复完成后,再统一执行下载操作。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/536936.html



