TG咨询遇到NVMe本地盘IOPS优化问题，最容易犯的错误是只看厂商标称值。标称IOPS通常基于特定块大小、队列深度、线程数和裸盘环境，而实际业务可能是单线程、同步写入或小文件随机访问，测试结果自然会低很多。排查时应先确认瓶颈属于测试方法、硬件链路，还是操作系统和应用设置。
先把测试条件固定下来
同一块盘使用4K随机读、128K顺序读和同步写入，结果差异可以达到数量级。建议先准备独立测试目录，避免直接覆盖业务数据。使用fio时，可采用类似参数：fio --name=randread --filename=/test/nvme.bin --size=10G --bs=4k --rw=randread --iodepth=32 --numjobs=4 --runtime=60 --time_based --direct=1。这里的10G只是测试文件大小示例，测试盘空间不足时应调整。
- 块大小：4K更接近数据库索引、小文件和元数据访问；128K或更大块通常更适合顺序吞吐。
- 队列深度：QD1反映低并发响应，QD32或更高更容易发挥控制器并行能力，但不代表真实应用一定使用这种并发。
- 线程数：单线程结果偏低并不一定是故障，多个线程或numjobs能够模拟并发请求。
- 缓存影响：测试文件过小可能落在内存缓存中；direct=1可以减少页缓存干扰。
测试前先做两轮预热，记录延迟、IOPS和带宽，而不是只记录峰值。NVMe本地盘IOPS优化应以稳定区间和业务延迟为目标，不能只追求瞬时最高数字。
按硬件链路检查性能上限
确认PCIe通道和协商速率
以Samsung PM9A3、Solidigm P5520这类数据中心盘为例，盘的额定能力需要足够的PCIe通道和主机带宽支持。消费级WD_BLACK SN850X等产品也可能因插槽共享、转接卡或主板分配方式而降级。Linux可用lspci -vv查看LnkCap与LnkSta，Windows则可在设备管理器、主板固件或硬件监控工具中核对链路状态。
重点看三项：是否插在支持CPU直连的M.2或U.2插槽，当前链路是否从x4降为x2或x1，PCIe代际是否低于预期。部分主板在启用额外SATA接口、扩展卡或第二个M.2插槽后会共享通道，表现为带宽下降或延迟增加。若条件允许，换到说明书标注的主插槽，并恢复默认PCIe配置后复测。
检查温度与降速
随机写入和高队列测试会快速提高控制器温度。NVMe固态盘达到固件设定的温度阈值后，可能主动降低频率，出现前几十秒正常、随后IOPS持续下降的曲线。使用smartctl或nvme smart-log读取温度、警告计数和可用寿命；同时观察测试期间的温度变化。
改善方法包括补装M.2散热片、确认导热垫厚度合适、避免散热片保护膜未撕除，以及让进风路径不要被显卡或线缆遮挡。不要为了短时间跑分关闭全部温度保护，稳定运行比一次峰值更重要。
操作系统与盘上设置怎么排查
- 确认电源策略。高性能计算或持续写入场景可暂时使用高性能模式，避免频繁进入低功耗状态；笔记本应分别测试接电和电池模式。
- 检查固件和驱动。升级前先阅读版本说明并做好备份，避免在业务高峰执行。固件更新不能保证IOPS必然上升，但可能修复兼容性、掉盘或功耗问题。
- 检查TRIM。Linux可用lsblk查看挂载信息，再用fstrim -av执行一次性回收；Windows可用“优化驱动器”确认固态硬盘的优化状态。TRIM主要帮助后续写入和垃圾回收，通常不会让当前读测试立即翻倍。
- 确认文件系统和挂载选项。日志、写时复制、加密和同步写入都会增加额外开销；不要为了跑分随意关闭安全特性，应先在独立测试卷比较direct I/O、同步写入和普通缓存写入。
- 检查后台活动。索引、杀毒扫描、日志轮转、备份和虚拟机磁盘任务都会争用队列。测试期间用iostat、Windows资源监视器或厂商工具观察利用率、读写等待和平均延迟。
如果设备使用了RAID、软件存储池或虚拟机，还要确认虚拟磁盘控制器是否支持多队列、是否启用了discard，以及宿主机是否同时承载其他高负载任务。虚拟化环境中的IOPS结果不能直接与裸盘结果比较。
根据业务类型调整参数，而不是盲目加大队列
| 场景 | 优先观察 | 调整方向 |
|---|---|---|
| 小文件随机读 | 4K延迟、QD1至QD8 | 提高应用并发，但控制线程数，避免上下文切换 |
| 持续随机写 | 写缓存耗尽后的稳定IOPS | 关注温度、剩余空间和盘的稳态性能 |
| 大文件顺序读写 | 带宽、CPU占用和队列等待 | 优先确认PCIe链路与文件系统缓存策略 |
| 数据库同步写 | 单次提交延迟与尾延迟 | 不要用异步高队列测试结果代替真实表现 |
通常，队列深度从1提高到8会明显改善并发负载下的IOPS，但从32继续提高未必有效，反而可能增加延迟。对数据库、日志和虚拟机磁盘，尾延迟往往比平均IOPS更值得关注。NVMe本地盘IOPS优化的核心是让测试参数接近实际请求模式。
最后用对照实验锁定原因
建议每次只改一个变量，按“裸盘文件测试—不同队列深度—温度监控—更换插槽—关闭后台任务—业务路径测试”的顺序记录。若裸盘正常而业务目录异常，重点看文件系统、权限、加密和应用同步策略；若所有测试都偏低，优先检查链路、散热、电源和固件；若开机初期正常、持续负载后下降，温度或缓存耗尽的可能性较高。
不要用同一块盘上的系统分区、测试文件和业务文件互相对比，也不要在没有备份的情况下执行破坏性写入测试。完成定位后，再依据真实负载选择线程数、队列深度和缓存策略，这才是可靠的NVMe本地盘IOPS优化路径。
常见问题
1. QD1结果低于标称IOPS，是否说明硬盘有问题？
不一定。标称值通常对应更高队列深度和多个并发线程。若QD1延迟正常，应先用接近业务的并发参数判断。
2. TRIM执行后IOPS没有立即提升，正常吗？
正常。TRIM主要向固态硬盘提示可回收区域，效果可能体现在后续写入和长时间运行的稳定性，而不是立即提高读测试峰值。
3. 温度只有约60摄氏度，也需要检查散热吗？
应结合测试曲线和设备告警判断。不同控制器的降速阈值不同，温度持续上升或性能同步下滑时，仍应检查散热接触和风道。
4. 把队列深度调到128是不是更快？
不一定。高队列适合高并发任务，低并发业务可能只会增加等待和尾延迟，应以真实负载和稳定结果为准。
