将对象自动转移至谷歌GCS

安装和配置 mc

此过程使用 mc 对 MinIO 集群执行操作。 在能够访问源集群和目标集群的网络的环境中安装 mc。 请参阅 mc 的 安装快速入门 以获取下载和安装 mc 的说明。

使用 mc alias set 命令为源 MinIO 集群创建一个别名。 创建别名需要指定源集群和目标集群上用户的访问密钥。 指定的用户必须拥有配置和应用转换操作的 权限

所需的 MinIO 权限

MinIO 需要在创建生命周期管理规则的存储桶范围内或多个存储桶范围内拥有以下权限。

• s3:PutLifecycleConfiguration

• s3:GetLifecycleConfiguration

MinIO 还需要在创建对象转换的生命周期管理规则的远程层时，在集群上拥有以下管理权限:

• admin:SetTier

• admin:ListTier

例如，下面的策略允许对集群中任何存储桶配置对象转换的生命周期管理规则:.

{
   "Version": "2012-10-17",
   "Statement": [
      {
            "Action": [
               "admin:SetTier",
               "admin:ListTier"
            ],
            "Effect": "Allow",
            "Sid": "EnableRemoteTierManagement"
      },
      {
            "Action": [
               "s3:PutLifecycleConfiguration",
               "s3:GetLifecycleConfiguration"
            ],
            "Resource": [
                        "arn:aws:s3:::*"
            ],
            "Effect": "Allow",
            "Sid": "EnableLifecycleManagementRules"
      }
   ]
}

所需的 GCS 权限

对象过渡生命周期管理规则需要在远程存储层上添加额外权限。 具体来说，MinIO 需要提供的 GCS 凭证必须包括对远程存储桶的读取、写入、列出和 删除权限。

要配置所需的权限，请参考 GCS IAM permissions 文档以获取更完整的指导。

远程存储桶必须存在

在使用该存储桶作为目标 之前，请先创建远程 GCS 存储桶，然后再配置生命周期管理层次或规则。

如果 你设置了默认的 GCS 存储类（ storage class ），MinIO 会在你定义远程层次时使用这个默认存储类，前提是你没有在定义远程层次时指定一个不同的存储类（使用 storage class 参数）。 确保你记录了 GCS 存储桶和 MinIO 分层配置的设置，以避免任何潜在的混淆、配置错误或其他意外结果。

生命周期管理对象扫描器

MinIO 使用一个 扫描器进程 来检查对象是否符合所有配置的 生命周期管理规则。 由于高 I/O 工作负载或有限的系统资源， 可能会导致扫描速度变慢，从而延迟生命周期管理规则的执行。 请参考 生命周期管理对象扫描器 以获取更多信息。

对远程数据的独占访问

MinIO 需要 独占访问远程存储层上的已迁移数据。 在 “热” MinIO源上的对象元数据与 “热/冷” 远程层上的对象数据紧密关联。 MinIO 无法在没有访问远程存储的情况下检索对象数据，同样，远程存储也无法用于恢复源头上丢失的元数据。

所有对已迁移对象的访问 必须 通过MinIO仅通过S3 API操作进行。 手动修改已迁移的对象 - 无论是 “热” MinIO层上的元数据 还是 远程 “热/冷” 层上的对象数据 -可能导致该对象数据的丢失。

MinIO会忽略远程存储桶或存储桶前缀中任何未经MinIO部署明确管理的对象。 自动过渡和透明的对象检索依赖于以下假设：

• 假设没有对远程存储上的对象进行外部修改、迁移或删除。

• 假设远程存储桶上没有设置任何生命周期管理 规则（例如，转换或过期）。

MinIO 将所有已转换的对象存储在远程存储桶或资源下，每个部署都有一个唯一的、特定于部署的前缀值。 这个值不是为了从后端支持识别源部署而设计的。 MinIO 支持在配置远程目标时添加一个可选的、易于人类阅读的前缀，这可能会简化诊断、维护或灾难恢复相关的操作。

MinIO 建议为包含其他数据（包括来自其他 MinIO 部署的已迁移对象）的远程存储层指定这个可选前缀。 本教程包含了设置此前缀所需的语法。

远程数据的可用性

MinIO 的分层行为依赖于远程存储在接收到请求后能够立即（毫秒到秒）返回对象。 因此，MinIO 不能 支持需要重新加湿、等待期或手动干预的远程存储。

MinIO 为每个迁移的对象创建元数据，以标识其在远程存储上的位置。 应用程序不能在没有MinIO的情况下轻松识别和访问一个已迁移的对象。 因此，迁移数据的可用性取决于为MinIO部署上的所有对象 提供的相同核心保护，这些保护包括 Erasure Coding(纠删码) 和分布式部署拓扑。 使用对象迁移并不提供任何额外的业务连续性或 灾难恢复好处。

需要 BC/DR 保护的工作负载应该 实施MinIO的 服务器端复制。 复制确保对象在远程复制站点上保持不变， 这样在发生部分或全部数据丢失的情况下， 您可以从远程站点重新同步数据。 有关在部分或全部数据丢失后使用复制进行恢复的更完整文档， 请参阅：重新同步（灾难恢复）

1) 配置用户帐户和生命周期管理策略

这一步在MinIO部署中创建用户和政策，以支持生命周期管理操作。 如果部署中已经具有必要 permissions 的用户， 您可以跳过这一步。

for以下示例使用 Alpha 作为占位符 alias 来表示MinIO部署。 将此值替换为正在配置生命周期管理规则的 MinIO部署的适当别名。 将密码 LongRandomSecretKey 替换为您组织 最佳实践下生成的一个长、随机且安全的密钥。

wget -O - https://minio.org.cn/docs/minio/linux/examples/LifecycleManagementAdmin.json | \
mc admin policy create Alpha LifecycleAdminPolicy /dev/stdin
mc admin user add Alpha alphaLifecycleAdmin LongRandomSecretKey
mc admin policy attach Alpha LifecycleAdminPolicy --user=alphaLifecycleAdmin

这个例子假设指定的别名具有在 部署上创建政策和用户的必要权限。 有关MinIO用户和策略的更完整文档， 请分别参阅 用户管理 和 MinIO基于策略的访问控制。

2) 配置远程存储层

使用 mc ilm tier add 命令将新的 Google Cloud Storage 服务添加 为远程存储层：

mc ilm tier add gcs TARGET TIER_NAME \
   --bucket BUCKET \
   --prefix PREFIX \
   --credentials-file CREDENTIALS \
   --storage-class STORAGE_CLASS

上面的例子使用了以下参数：

3) 创建并应用转换规则

使用 mc ilm rule add 命令来为存储桶创建一个新的转换规则。 以下示例配置了在指定的日历天数之后 进行转换:

mc ilm rule add ALIAS/BUCKET \
--transition-tier TIERNAME \
--transition-days DAYS \
--noncurrent-transition-days NONCURRENT_DAYS
--noncurrent-transition-tier TIERNAME

上述示例指定了以下参数：

4) 验证转换规则

使用 mc ilm rule ls 命令来查看已配置的 转换规则：

mc ilm rule ls ALIAS/PATH --transition

• 将 ALIAS 替换为 MinIO 部署的 别名。

• 将 PATH 替换为要 检索配置的生命周期管理规则的存储桶名称。