批处理框架
概述
MinIO 批处理框架允许您使用YAML格式的作业定义文件(即 “批处理文件” )来创建、管理、监控和执行作业。 批处理作业直接在MinIO部署上运行,以利用服务器端处理能力,而不会受到运行 MinIO客户端 的本地机器的限制。
一个批处理文件定义了一个作业任务。
一旦开始,MinIO 开始处理作业。 完成时间取决于部署可用的资源。
如果作业的任何部分失败,MinIO会重试作业,重试次数最多为作业定义中定义的次数。
MinIO 批处理框架支持以下作业类型:
Job Type |
描述 |
---|---|
执行一次从一处MinIO位置到另一处MinIO位置的复制程序。 |
|
执行一次操作来循环使用 sse-s3 或 sse-kms 加密密钥对对象进行加密。 |
|
对存储桶中的对象执行一次性立即过期。 |
MinIO 批处理 CLI
mc batch
命令包括:
|
|
|
|
|
|
mc:mc batch status 命令会输出 MinIO 服务器上作业事件的摘要。 在 mc 版本发生变更: RELEASE.2024-07-03T20-17-25Z 批处理状态显示活动的、进行中的任务或前三 (3) 天内完成的任何批处理任务的摘要。 |
|
|
|
|
访问 mc批处理
每个批处理作业均使用批处理定义中指定的凭据执行。 给定批次作业的成功取决于这些凭据具有执行所有请求操作的适当 permissions 。
执行批处理作业的用户必须具有以下权限。 您也可以通过阻止或限制对这些操作的访问来限制用户访问这些功能:
admin:ListBatchJobs
授予用户查看当前正在处理批次作业的能力。
admin:DescribeBatchJobs
授予用户查看当前正在处理批次作业的定义详细信息的能力。
admin:StartBatchJob
授予用户启动一个批处理作业的能力。 作业可能还会受到其用来访问源部署或目标部署的凭据的限制。
admin:CancelBatchJob
允许用户停止正在进行的批处理作业。
您可以独立或将这些操作以任何组合方式分配给用户。
内置的 ConsoleAdmin
策略包含足够的权限来执行所有这些类型的批处理作业操作。
本地
部署
您通过向 mc batch
命令传递一个 alias
来针对特定的部署运行批处理作业。
在命令中指定的部署将成为该批处理作业上下文中的 本地
部署。