一、NUMA架构与访存延迟差异
现代多路服务器采用NUMA（Non-Uniform Memory Access）架构，每个CPU插槽拥有本地内存，访问其他插槽的内存需要经过跨节点互联总线。本地内存访问延迟约80至120纳秒，远程内存访问延迟约200至300纳秒，差距约2至3倍。
在4路服务器上，最远端内存访问需经过3跳互联总线，延迟可达本地访问的4倍。当应用的内存访问中35%为远程访问时，整体延迟比全本地访问高约28%。这是NUMA优化的核心驱动力：降低远程访问比例即可显著提升性能。
NUMA拓扑结构影响优化策略。常见的拓扑包括完全互联（每对节点间直连）和环形互联（节点按环排列，非相邻节点需多跳）。在环形互联的4路服务器上，节点0和节点2之间的通信需经过节点1或节点3，延迟比相邻节点高约50%。拓扑感知调度需要将通信密集的任务调度到相邻节点上。
天翼云服务器在部署时通过numactl工具查看NUMA拓扑，使用lscpu查看CPU和内存布局。建议在性能调优前先采集完整的NUMA拓扑信息，包括节点数量、互联拓扑和各节点的内存容量。
二、NUMA Balancing自动迁移机制
NUMA Balancing是Linux内核提供的自动页面迁移机制。其原理是在页表项中设置访问标记位，当发现页面被远程节点访问时触发缺页中断，将页面迁移到访问发起节点。迁移过程对应用透明，但存在迁移开销和瞬时性能波动。
天翼云服务器开启NUMA Balancing后，远程内存访问比例从35%降至约15%。但自动迁移存在两个问题：一是迁移抖动，页面在两个节点间反复迁移导致性能波动；二是迁移开销，每次页面迁移需要约2至5毫秒的CPU时间。
迁移抖动的控制通过迁移冷却期实现。页面迁移后设置60秒冷却期，冷却期内不再迁移该页面，规避反复迁移。实测表明，冷却期使迁移抖动减少约80%，性能波动从约15%降至约3%。
迁移开销控制通过批量迁移和限速实现。内核将迁移任务排队，每秒最多迁移约100个页面（约400KB），规避迁移风暴影响正常业务。在内存密集型应用中，建议在业务低谷期手动触发内存规整（通过 migratepages 命令），将分散在多节点的内存集中到目标节点，规整完成后再启动业务。
三、手动绑定与访存亲和配置
手动绑定是比自动迁移更精确的NUMA优化手段。通过 numactl --membind 和 --cpunodebind 参数，将应用的内存分配和CPU执行限定在指定节点上，确保所有内存访问均为本地访问。
天翼云服务器对关键应用采用手动绑定方案。数据库实例绑定到单个NUMA节点，确保数据文件和查询处理的内存访问全为本地。实测表明，手动绑定使数据库的查询延迟降低约20%，远程内存访问比例降至接近0%。
对于内存需求超过单节点容量的应用，采用节点交织（interleaving）策略。通过 numactl --interleave 参数，将内存按页面交替分配到多个节点上。交织策略使远程访问均匀分布在各节点上，规避了热点节点的带宽瓶颈。实测表明，在4路服务器上，交织策略比默认分配的内存带宽提升约40%。
访存亲和配置的另一个维度是CPU亲和性（CPU affinity）。通过 taskset 或 cgroup 将应用的线程绑定到特定CPU核心，减少线程在核心间迁移导致的缓存失效。对于NUMA感知的应用，将线程绑定到与数据所在节点相同的CPU核心上，形成线程到数据到内存的三重亲和。实测表明，三重亲和使缓存命中率提升约15%，应用延迟降低约12%。
四、访存监控与综合优化
访存监控是NUMA优化的数据基础。天翼云服务器通过 perf c2c 工具采集NUMA访存数据，包括本地/远程访问比例、跨节点缓存行传输量和访存延迟分布。通过 numastat 工具查看各节点的内存分配和使用情况。
监控指标包括：远程访问比例（目标低于15%）、跨节点缓存行传输速率（反映跨节点通信量）、页面迁移速率（反映Balancing活跃度）和各节点内存利用率（反映分配均衡度）。当远程访问比例超过25%时触发告警，提示需要调整绑定策略。
综合优化方案方面，天翼云服务器采用三级策略：第一级通过NUMA Balancing自动迁移处理常规场景；第二级通过手动绑定处理关键应用；第三级通过节点交织处理大内存应用。三级策略的联合应用使远程访问比例从35%降至8%，应用延迟降低约28%。
优化效果在不同负荷类型上存在差异。计算密集型负荷受益最大（延迟降低约35%），因为其访存频率高。IO密集型负荷受益较小（延迟降低约10%），因为瓶颈在IO而非内存。建议根据负荷类型选择优化级别：关键应用全量手动绑定，普通应用依赖NUMA Balancing，大内存应用使用节点交织。同时建立访存监控看板，定期分析远程访问比例和迁移开销，持续优化绑定策略。
结语：服务器NUMA架构的内存访存优化通过NUMA Balancing自动迁移、手动绑定和节点交织的三级策略，将远程访问比例从35%降至8%、应用延迟降低约28%。迁移冷却期和限速机制有效控制了迁移抖动和开销。手动绑定使关键应用的远程访问降至接近0%，节点交织使大内存应用的带宽提升40%。三重亲和配置使缓存命中率提升15%。建议根据负荷类型分级选择优化策略，建立访存监控看板定期追踪远程访问比例和迁移开销，为多路服务器的内存性能持续优化提供量化依据。
