布署MinIO多租户
本程序记录了使用 Kustomize 或 MinIO 的 Helm Charts 将 MinIO 租户部署到 Kubernetes 集群上的过程。
部署单节点拓扑需要额外的配置,本文档未涵盖这些内容。 如果需要进行本地测试和评估,可以使用一个简单的Kubernetes YAML对象来描述单节点拓扑。 MinIO 不建议也不支持在生产环境中使用单节点部署拓扑。
本文档假定您已经熟悉所有引用的 Kubernetes 概念、实用工具和过程。 虽然本文档 可能 会尽力提供有关配置或部署 Kubernetes 相关资源的指导,但它不能替代官方 Kubernetes 文档。
先决条件
MinIO Kubernetes 操作员
本页上的程序*需要*有效安装 MinIO Kubernetes Operator,并假定本地主机已匹配安装 MinIO Kubernetes Operator。 此过程假设使用最新稳定 Operator 版本 7.1.1。
请参考 deploy-operator-kubernetes,了解有关部署MinIO Operator的完整文档。
具有 EBS 优化的 EC2 节点的 EKS 集群
这个过程假设已经存在一个 至少 拥有四个EC2节点的 EKS 集群。 这些EC2节点应具有相同的机器类型和配置,以确保MinIO的可预测性性能。
MinIO提供了 硬件指南,以选择适当的EC2实例类型和大小。 MinIO强烈推荐选择 至少 具有25Gbps网络带宽的EBS优化实例作为性能的基准。
欲了解更详尽的EC2和EBS资源信息,请参见 EC2实例类型 和 EBS卷类型 MinIO SUBNET 客户应在架构规划阶段与MinIO工程师联系,以寻求选择适合目标工作负载和性能目标的最佳实例和卷类型的帮助。
持久卷
Exclusive access to drives
MinIO 要求 专有 对提供给对象存储的驱动器或卷的访问。 其他任何进程、软件、脚本或人员都不得直接对提供给MinIO的驱动器或卷执行 任何 操作,也不得对MinIO放置在其上的对象或文件执行操作。
除非由MinIO工程部门指导,否则不要使用脚本或工具直接修改、删除或移动提供给MinIO的驱动器上的任何数据片段、校验片段或元数据文件,包括从一个驱动器或节点移动到另一个驱动器或节点。 这些操作很可能会导致广泛的数据损坏和丢失,超出了MinIO的修复能力。
在EKS上,MinIO租户必须使用 EBS CSI 驱动程序 来提供所需的底层持久化卷。
为获得最佳性能,MinIO强烈建议使用支持SSD的EBS卷。
此外,MinIO强烈建议使用XFS文件系统部署基于EBS的PV。
创建用于MinIO EBS持久卷的StorageClass,并将 csi.storage.k8s.io/fstype
参数 设置为 xfs
。
有关EBS资源的更多信息,请参见 EBS Volume Types。
有关StorageClass参数的更多信息,请参见 StorageClass Parameters。
命名空间
租户必须使用自己的命名空间,不能与其他租户共享命名空间。 此外,MinIO 强烈建议租户使用专用命名空间,命名空间中不运行其他应用程序。
使用 Kustomize 部署 MinIO 租户
下面的过程使用 kubectl -k
使用 MinIO Operator Github 代码库 中的 ``base``定制模板部署 MinIO 租户。
您可以从 repository 中选择不同的基础模板或预建模板作为起点,或者使用 MinIO Custom Resource Documentation 创建自己的 Kustomization 资源。
重要
如果使用 Kustomize 部署 MinIO 租户,则必须使用 Kustomize 管理或升级该部署。
请勿使用 kubectl krew
、Helm 图表或类似方法管理或升级 MinIO 租户。
本步骤并没有穷尽 Tenant CRD 中所有可能的配置选项。 它提供了一个基准,您可以在此基础上根据自己的要求修改和定制租户。
为租户创建 YAML 对象
使用
kubectl kustomize
命令生成一个 YAML 文件,其中包含部署base
租户所需的所有 Kubernetes 资源:kubectl kustomize https://github.com/minio/operator/examples/kustomization/base/ > tenant-base.yaml
该命令创建一个 YAML 文件,其中包含多个对象,并用
---
行隔开。 用你喜欢的编辑器打开文件。以下步骤将根据每个对象的
kind
和metadata.name
字段对其进行引用:配置租户拓扑
kind: Tenant
对象描述 MinIO 租户。以下字段共享
spec.pools[0]
前缀,并控制租户中部署的所有 pod 的服务器数量、每台服务器的卷数量和存储类别:Field
Description
servers
服务器池中要部署的 MinIO pod 数量。
volumesPerServer
要附加到每个 MinIO pod (
servers
) 的持久卷的数量。 操作员为租户生成 ``volumesPerServer x servers``(每服务器卷)持久卷申请。volumeClaimTemplate.spec.storageClassName
要与生成的持久卷声明关联的 Kubernetes 存储类。
如果没有与指定值匹配的存储类, 或 如果指定的存储类无法满足所要求的 PVC 数量或存储容量,租户可能无法启动。
volumeClaimTemplate.spec.resources.requests.storage
为每个生成的 PVC 申请的存储容量。
配置租户亲和性或反亲和性
MinIO 操作员支持以下 Kubernetes 亲缘和反亲缘配置:
Node Affinity (
spec.pools[n].nodeAffinity
)Pod Affinity (
spec.pools[n].podAffinity
)Pod Anti-Affinity (
spec.pools[n].podAntiAffinity
)
MinIO 建议使用 Pod Anti-Affinity 配置租户,以确保 Kubernetes 计划不会在同一个工作节点上调度多个 pod。
如果您想在特定的工作节点上部署租户,请将这些节点标签或筛选器传递到
nodeAffinity
字段,以限制调度程序将 pod 放在这些节点上。配置网络加密
MinIO 租户 CRD 提供以下字段,您可以从中配置租户 TLS 网络加密:
Field
Description
tenant.certificate.requestAutoCert
启用或禁用 MinIO :ref:` 自动 TLS 证书生成 <minio-tls>`
默认为
true
或启用(如果省略)。tenant.certificate.certConfig
自定义 automatic TLS 的行为(如果启用)。
tenant.certificate.externalCertSecret
通过服务器名称指示 (SNI) 为多个主机名启用 TLS
指定一个或多个
kubernetes.io/tls
或cert-manager
类型的 Kubernetes 秘密。tenant.certificate.externalCACertSecret
启用验证由未知、第三方或内部证书颁发机构 (CA) 签发的客户端 TLS 证书。
指定一个或多个类型为
kubernetes.io/tls
的 Kubernetes 秘密,其中包含特定机构的 CA 证书的完整链。配置 MinIO 环境变量
您可以使用
tenant.configuration
字段设置 MinIO 服务器环境变量。Field
Description
tenant.configuration
指定 Kubernetes 不透明机密,其数据有效载荷
config.env
包含要设置的每个 MinIO 环境变量。config.env ``数据有效载荷 **必须** 是一个 base64 编码的字符串。 您可以创建一个本地文件,设置环境变量,然后使用 ``cat LOCALFILE | base64
创建有效载荷。YAML 包括一个对象
kind: Secret
和metadata.name: storage-configuration
,其中设置了根用户名、密码、擦除奇偶校验设置,并启用了租户控制台。根据需要进行修改,以反映租户的要求。
查看命名空间
YAML 对象
kind: Namespace
会将租户的默认命名空间设置为minio-tenant
。您可以更改该值,为租户创建不同的命名空间。 您必须更改 YAML 文件中的 所有
metadata.namespace
值,以匹配命名空间。部署租户
使用
kubectl apply -f
命令部署租户。kubectl apply -f tenant-base.yaml
该命令在配置的命名空间中创建 YAML 对象中指定的每个资源。
您可以使用以下命令监控进度:
watch kubectl get all -n minio-tenant
公开租户 MinIO S3 API 端口
要从本地计算机测试 MinIO 客户端
mc
,请转发 MinIO 端口并创建别名。转发租户的 MinIO 端口:
kubectl port-forward svc/MINIO_TENANT_NAME-hl 9000 -n MINIO_TENANT_NAMESPACE
为租户服务创建别名:
mc alias set myminio https://localhost:9000 minio minio123 --insecure 您可以使用 :mc:`mc mb` to create a bucket on the Tenant:
mc mb myminio/mybucket --insecure 如果使用由可信证书颁发机构(CA)颁发的 TLS 证书部署 MinIO 租户,则可以省略 ``--insecure`` 标记。
有关具体说明,请参阅 连接租户。
连接租户
MinIO Operator 会为 MinIO 租户创建服务。
使用命令 kubectl get svc -n NAMESPACE
来查看已部署的服务:
kubectl get svc -n TENANT-NAMESPACE
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
minio LoadBalancer 10.97.114.60 <pending> 443:30979/TCP 2d3h
TENANT-NAMESPACE-console LoadBalancer 10.106.103.247 <pending> 9443:32095/TCP 2d3h
TENANT-NAMESPACE-hl ClusterIP None <none> 9000/TCP 2d3h
minio
服务对应于MinIO租户服务。 应用程序应使用此服务针对 MinIO 租户执行操作。*-console
服务对应于 MinIO控制台。 管理员应该使用此服务来访问MinIO控制台,并在MinIO租户上执行管理操作。
其余服务支持租户操作,不适合用户或管理员使用。
默认情况下,每个服务仅在Kubernetes集群内可见。
在集群内部部署的应用程序可以使用 CLUSTER-IP
来访问服务。
对于Kubernetes集群外部的应用程序,可以使用 EXTERNAL-IP
来访问服务。
仅为配置了Ingress或类似网络访问服务的Kubernetes集群填充此值。
Kubernetes提供了多种选项来配置服务的外部访问。
有关配置服务的外部访问的更完整信息,请参考和阅读Kubernetes文档中的 发布服务(ServiceTypes) 和 入口(Ingress) 部分。