中文文档

批处理框架

概述

MinIO 批处理框架允许您使用YAML格式的作业定义文件(即 “批处理文件” )来创建、管理、监控和执行作业。 批处理作业直接在MinIO部署上运行,以利用服务器端处理能力,而不会受到运行 MinIO客户端 的本地机器的限制。

一个批处理文件定义了一个作业任务。

一旦开始,MinIO 开始处理作业。 完成时间取决于部署可用的资源。

如果作业的任何部分失败,MinIO会重试作业,重试次数最多为作业定义中定义的次数。

MinIO 批处理框架支持以下作业类型:

Job Type

描述

replicate

执行一次从一处MinIO位置到另一处MinIO位置的复制程序。

keyrotate

执行一次操作来循环使用 sse-s3 或 sse-kms 加密密钥对对象进行加密。

expire

对存储桶中的对象执行一次性立即过期。

MinIO 批处理 CLI

mc batch 命令包括:

mc batch generate

mc batch generate 命令为指定的作业类型创建一个基本的 YAML 格式的模板文件。

mc batch start

mc batch start 命令可以从作业批处理 YAML 文件中启动一个批处理作业。

mc batch list

mc batch list 命令输出当前在部署上进行中的批处理作业列表。

mc batch status

mc:mc batch status 命令会输出 MinIO 服务器上作业事件的摘要。

在 mc 版本发生变更: RELEASE.2024-07-03T20-17-25Z

批处理状态显示活动的、进行中的任务或前三 (3) 天内完成的任何批处理任务的摘要。

mc batch describe

mc batch describe 命令会输出指定作业 ID 的作业定义。

mc batch cancel

mc batch cancel 命令用于停止一个正在进行的批量作业。

访问 mc批处理

每个批处理作业均使用批处理定义中指定的凭据执行。 给定批次作业的成功取决于这些凭据具有执行所有请求操作的适当 permissions

执行批处理作业的用户必须具有以下权限。 您也可以通过阻止或限制对这些操作的访问来限制用户访问这些功能:

admin:ListBatchJobs

授予用户查看当前正在处理批次作业的能力。

admin:DescribeBatchJobs

授予用户查看当前正在处理批次作业的定义详细信息的能力。

admin:StartBatchJob

授予用户启动一个批处理作业的能力。 作业可能还会受到其用来访问源部署或目标部署的凭据的限制。

admin:CancelBatchJob

允许用户停止正在进行的批处理作业。

您可以独立或将这些操作以任何组合方式分配给用户。

内置的 ConsoleAdmin 策略包含足够的权限来执行所有这些类型的批处理作业操作。

本地 部署

您通过向 mc batch 命令传递一个 alias 来针对特定的部署运行批处理作业。 在命令中指定的部署将成为该批处理作业上下文中的 本地 部署。

Join Slack 商业支持购买咨询