HDFS性能优化涉及多个方面，包括硬件利用优化和集群配置优化。合理的性能调优可以显著提升HDFS的吞吐量和延迟表现。
HDFS短路读
HDFS短路读允许客户端直接从DataNode的本地磁盘读取数据，绕过DataNode的网络传输路径，从而大幅提升读取性能。
工作原理
客户端请求读取文件。
NameNode返回数据块位置。
如果数据块在本地DataNode上，客户端检查短路读权限。
DataNode验证权限后发送文件描述符。
客户端直接读取本地文件，无需经过网络。
配置参考
| 配置参数 | 默认值 | 描述 |
|---|---|---|
| dfs.client.read.shortcircuit | true | 此配置参数用于启用短路读取功能。 |
| dfs.domain.socket.path | /var/run/hadoop-hdfs/dn_socket | 这是一个指向套接字的路径，用于DataNode与本地HDFS客户端之间的通信。 |
| dfs.client.socket.send.buffer.size | 0 | DFSClient端写入管道使用的套接字发送缓冲区大小。这可能会影响TCP连接吞吐量。如果将其设置为零或负值，则不会显式设置缓冲区大小，从而在某些系统上启用TCP自动调优。默认值为0。 |
| dfs.domain.socket.disable.interval.seconds | 600 | 此参数指定在短路读取过程中发生错误后，DataNode在未来一段时间内被禁止执行短路读取的时间间隔。如果将此值设置为0，则在发生错误后完全不会禁用短路读取。负值无效。 |
| dfs.client.read.shortcircuit.skip.checksum | false | 此配置参数若被设置为true，将允许短路本地读取跳过校验和检查。通常不建议这样做，但在某些特殊场景下可能有用。例如，如果你在HDFS之外自行进行校验和计算，可以考虑使用此配置。 |
| dfs.client.read.shortcircuit.streams.cache.size | 256 | DFSClient 维护一个最近打开的文件描述符缓存。此参数用于控制缓存中文件描述符的最大数量。将该值设置得更高会占用更多文件描述符，但对于涉及大量寻址的工作负载，可能会提供更好的性能。 |
| dfs.client.read.shortcircuit.streams.cache.expiry.ms | 300000 | 此参数用于控制文件描述符在客户端缓存上下文中必须保留的最短时间，之后才能因长时间处于非活跃状态而被关闭。 |
修改配置参数后，需要重启DataNode实例。
DataNode过滤慢磁盘
在Hadoop 集群中，DataNode 通常挂载多块磁盘。随着运行时间增长，磁盘可能会出现性能衰退、坏道或硬件老化，导致读写延迟升高，进而拖慢整个集群的计算和存储速度。为了自动发现并隔离这些“慢盘”，HDFS 引入了磁盘性能画像机制。其核心思路是：
持续采样DataNode 上每块磁盘的读写延迟。
通过统计（如平均值、标准差等）检测出离群值（outlier）。
将检测到的慢盘标记为异常，并在后续调度中避免使用它。
问题：如果对每一次文件读写都进行详细的时间统计和采样，会带来极大的性能开销，尤其是在高吞吐的集群上。
解决方案：引入采样率（sampling percentage）。即只对一部分文件 I/O 操作进行延迟采集，在监控精度和系统性能开销之间取得平衡。
注意
开销权衡：采样率越高，CPU 和内存开销越大。
随机性：因为是随机采样，结果可能不具代表性（偶发性能问题可能被漏掉）。
配置参考
| 配置参数 | 默认值 | 描述 |
|---|---|---|
| dfs.datanode.fileio.profiling.sampling.percentage | 25 | 此参数用于控制DataNode 磁盘统计中将被采样的文件 I/O 事件百分比。 配置值为 0，表示禁用磁盘统计功能。若要启用磁盘统计，请将其设置为 1 到 100 之间的整数值（代表采样比例，如 100 表示对全部 I/O 事件进行统计）。 |
| dfs.datanode.min.outlier.detection.disks | 5 | 此参数用于设置触发磁盘异常检测所需的最小磁盘数量。 即只有当DataNode 上配置的磁盘数量达到或超过这个最小值时，系统才会执行磁盘异常检测（outlier detection）。如果磁盘数量低于该值，则跳过检测逻辑，避免在磁盘过少的情况下产生无意义或不可靠的统计结果。 |
| dfs.datanode.slowdisk.low.threshold.ms | 20 | 此参数用于设置磁盘延迟的绝对下限阈值（单位：毫秒）。对于DataNode 的磁盘 I/O，如果某个磁盘的延迟（如读写操作的平均延迟）低于这个阈值，那么该磁盘绝对不会被判定为“慢盘”（slow disk）或异常磁盘。这是一个硬性下限，用于排除正常的低延迟磁盘，避免它们被误判为异常。 |
| dfs.datanode.max.slowdisks.to.exclude | 0 | 此参数用于控制DataNode 选择磁盘时可跳过慢磁盘的最大数量。 配置值为 0，表示不跳过慢磁盘。配置值需要小于DataNode管理的磁盘数量。 |
修改配置参数后，需要重启DataNode实例。
NameNode过滤慢节点
在Hadoop 集群中，DataNode 节点可能因为各种原因（磁盘老化、CPU 过载、网络拥塞、内存压力等）导致读写性能下降。如果 NameNode 继续将这些“慢节点”作为副本放置目标，会导致：
写延迟放大：客户端写入数据块时，需要等待最慢的那个副本写入完成（因为要等待所有副本ack），从而拖慢整个写入链路。
资源浪费：慢节点上的任务长期排队，而快节点却闲置。
核心矛盾：NameNode 之前只能根据静态因素（如磁盘剩余空间、机架感知）来选择放置位置，无法感知节点当前的实时性能状态。
解决方案：HDFS 引入了一套动态性能检测与调度隔离机制。该机制允许 NameNode 在块放置决策时，动态地“拉黑”那些近期表现不佳的 DataNode。
慢节点过滤是HDFS的一种自适应机制，当DataNode节点响应变慢时，NameNode可以过滤这些慢节点，客户端就能暂时绕过这些慢节点，选择更快的节点进行数据写入。
注意
需要集群中DataNode实例超过10个此功能才生效。
配置参考
| 配置参数 | 默认值 | 描述 |
|---|---|---|
| dfs.datanode.peer.stats.enabled | true | 用于开启/关闭追踪 DataNode 对等节点（Peer）统计信息的开关。DataNode 会跟踪它与其他 DataNode 之间通信的统计数据，用于辅助 NameNode 更精确地判断慢节点。 |
| dfs.datanode.peer.metrics.min.outlier.detection.samples | 1000 | 此参数用于设置进行异常值检测所需的最小数据包发送样本数量。如果当前收集到的数据包发送样本数量低于此阈值，则系统会跳过异常值检测（即不进行该轮检测），以避免因样本量过少而导致统计结果不可靠或误判。 |
| dfs.datanode.outliers.report.interval | 30m | 此参数用于控制DataNode 通过心跳向 NameNode 报告其对等节点（peer）延迟信息的频率。需要注意的是，如果 dfs.datanode.peer.stats.enabled 参数设置为 false（即禁用对等节点统计功能），则此参数将被忽略。 |
| dfs.namenode.block-placement-policy.exclude-slow-nodes.enabled | false | 如果此参数设置为true，则NameNode为数据块选择目标节点时，会过滤掉慢节点。 |
| dfs.namenode.max.slowpeer.collect.nodes | 5 | 用于控制在数据块放置（Block Placement）时，最多允许过滤多少个慢节点。 |
| dfs.namenode.slowpeer.collect.interval | 30m | 慢节点追踪器（slow peer trackers）在后台运行以收集慢节点（slow peers）的时间间隔。如果 dfs.namenode.block-placement-policy.exclude-slow-nodes.enabled 设置为 false，则此参数将被忽略。 |
修改配置参数后，需要重启NameNode、DataNode实例。
DataNode锁拆分
DataNode锁拆分是HDFS 中的一项重要优化，通过将DataNode的大锁拆分为多个细粒度锁，减少锁竞争，提升并发性能。
锁拆分背景
高并发写入时锁竞争严重。
数据块操作互相阻塞。
CPU资源不能充分利用。
性能随磁盘数量增加反而下降。
锁拆分方案
将全局锁拆分为磁盘级锁，每个磁盘对应一把锁。
数据块操作只需获取对应磁盘的锁。
不同磁盘的操作可以并行执行。
读取操作使用共享锁，写入操作使用排他锁。
性能提升
多磁盘节点写入吞吐量大幅提升。
并发读取性能大幅提升。
锁等待时间大幅减少。
CPU利用率显著提高。
HDFS集群默认开启了DataNode的锁拆分，以达到性能最优。
