硬件检查清单

网络

MinIO建议使用高速网络来支持所连接存储设备（集合驱动器、存储控制器和PCIe总线）的最大吞吐量。以下表格提供了给定物理或虚拟网络接口支持的最大存储吞吐量的一般指导线。 此表格假定所有网络基础架构组件，如路由器、交换机和物理电缆，也支持NIC带宽。

网络对MinIO的性能影响最大，每台主机带宽会人为地限制存储器的潜在性能，也就是我有很高效的硬盘如NVMe SSD，但是我的网络只有10Mbps，那么我的速度也就只能达到10Mbps(1.25MB)。 那么以下是网络吞吐量限制的示例，假定磁盘具有约100MB/s的持续I/O。

• 1GbE 网络链接最多支持125MB / s或一个磁盘

• 10GbE 网络可以支持约1.25GB/s， 潜在地支持10-12个磁盘

• 25GbE 网络可以支持约3.125GB/s，潜在地支持约30个磁盘

Memory

内存主要限制了每个节点可以同时处理的最大并发连接数。

您可以使用以下公式计算每个节点的最大并发请求数：

\(totalRam / ramPerRequest\)

要计算每个请求使用的RAM量，请使用以下公式：

\(((2MiB + 128KiB) * driveCount) + (2 * 10MiB) + (2 * 1 MiB)\)

10MiB 是默认的擦除块大小版本1。 1 MiB 是默认的擦除块大小版本2。

下表列出了基于主机驱动器的数量和系统 空闲 RAM的最大并发请求数量：

下表提供了根据节点上本地存储的总量分配给MinIO使用的内存的一般指南：

Storage

mkfs.xfs /dev/sdb -L MINIODRIVE1
mkfs.xfs /dev/sdc -L MINIODRIVE2
mkfs.xfs /dev/sdd -L MINIODRIVE3
mkfs.xfs /dev/sde -L MINIODRIVE4

$ nano /etc/fstab

# <file system>        <mount point>    <type>  <options>         <dump>  <pass>
LABEL=MINIODRIVE1      /mnt/drive-1     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE2      /mnt/drive-2     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE3      /mnt/drive-3     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE4      /mnt/drive-4     xfs     defaults,noatime  0       2

#!/bin/bash

for i in $(df -h | grep /mnt/drive | awk '{ print $1 }'); do
      mountPath="$(df -h | grep $i | awk '{ print $6 }')"
      deviceName="$(basename $i)"
      echo "Modifying xfs max_retries and retry_timeout_seconds for drive $i mounted at $mountPath"
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/EIO/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/ENOSPC/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/default/max_retries
done
exit 0

@reboot /opt/minio/xfs-retry-settings.sh

操作系统诊断工具

如果你无法运行 mc support diag 命令，或者结果显示出预期之外的结果，你可以使用操作系统的默认工具。

在所有服务器上分别测试每个驱动器，以确保它们在性能上完全相同。 使用这些操作系统级别的工具的结果来验证您的存储硬件的能力。 记录这些结果以供将来参考。

1. 测试驱动器在写入操作时的性能

   这个测试检查驱动器写入新数据（未缓存）到驱动器的能力，通过创建指定数量的块，每次最多一定数量的字节，来模拟驱动器写入未缓存数据时的运行方式。 这允许你看到在一致的文件I/O操作下实际的驱动器性能。

   dd if=/dev/zero of=/mnt/driveN/testfile bs=128k count=80000 oflag=direct conv=fdatasync > dd-write-drive1.txt
   

   将 driveN 替换为你要测试的驱动器的路径。

   dd	复制和粘贴数据的命令。
   if=/dev/zero	从 /dev/zero 读取，这是一个系统生成的无限流，由0字节组成，用于创建指定大小的文件。
   of=/mnt/driveN/testfile	将数据写入 /mnt/driveN/testfile 。
   bs=128k	一次写入最多128,000字节。
   count=80000	将数据写入最多80000个块。
   oflag=direct	使用直接I/O写入以避免数据缓存。
   conv=fdatasync	在完成之前，物理地写入输出文件数据。
   > dd-write-drive1.txt	将操作输出内容写入当前工作目录下的 dd-write-drive1.txt 文件。

   操作返回写入的文件数量、总写入字节数、操作总时间（以秒为单位）以及每秒写入的字节数，这些信息可能以不同的顺序呈现。

2. 测试在读取操作期间驱动器的性能。

   dd if=/mnt/driveN/testfile of=/dev/null bs=128k iflag=direct > dd-read-drive1.txt
   

   将 driveN 替换为您要测试的驱动器的路径。

   dd	复制和粘贴数据的命令。
   if=/mnt/driveN/testfile	从 /mnt/driveN/testfile 读取；替换为用于测试驱动器读取性能的文件的路径。
   of=/dev/null	写入 /dev/null，这是一个虚拟文件，操作完成后不会持久存在。
   bs=128k	一次写入最多128,000字节。
   count=80000	一次写入最多80,000块数据。
   iflag=direct	使用直接I/O来读取，并避免数据缓存。
   > dd-read-drive1.txt	将操作输出的内容写入当前工作目录下的 dd-read-drive1.txt 文件中。

   为了获得准确的读取测试结果，请使用一个足够大的文件，该文件模仿您部署的主要用例。

   在性能测试期间，以下指南可能有所帮助：

   • 小文件：< 128KB

   • 普通文件：128KB – 1GB

   • 大文件：> 1GB

   您可以使用 head 命令来创建一个文件。 以下命令示例创建一个名为 testfile 的 10 GB 文件。

   head -c 10G </dev/urandom > testfile
   

   该操作返回读取的文件数量、读取的总字节数、操作的总时间（以秒为单位）以及读取速度（每秒字节数）。

第三方诊断工具

I/O 控制器测试

使用 IOzone <http://iozone.org/> 来测试输入/输出控制器以及所有驱动器的组合性能。 记录每个服务器在部署中的性能数据。

iozone -s 1g -r 4m -i 0 -i 1 -i 2 -I -t 160 -F /mnt/sdb1/tmpfile.{1..16} /mnt/sdc1/tmpfile.{1..16} /mnt/sdd1/tmpfile.{1..16} /mnt/sde1/tmpfile.{1..16} /mnt/sdf1/tmpfile.{1..16} /mnt/sdg1/tmpfile.{1..16} /mnt/sdh1/tmpfile.{1..16} /mnt/sdi1/tmpfile.{1..16} /mnt/sdj1/tmpfile.{1..16} /mnt/sdk1/tmpfile.{1..16} > iozone.txt