UM(Unified Memory)机制和GDR(GPU Direct RDMA)是CUDA中两项比较重要的特性。
早期写CUDA程序时,CPU的地址空间和GPU的地址空间是分开的,需要频繁的使用cudaMemcpy频繁地将CPU memory和GPU memory之间地内容来回拷贝。
UM机制使得程序员能够使得指针统一访问全局的地址空间,而不用管指针所指向的内容具体是在CPU的memory上还是GPU的memory上,省去了CPU和GPU之间显式地数据拷贝。
而GDR则允许程序员在编写RDMA相关程序时直接注册GPU上的memory,然后网卡可以直接将GPU中的memory内容DMA到网卡上,不用再将GPU memory中的内容拷贝到CPU的memory中。