英文全称是Compute Unified Device Architecture，是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。
CUDNN 是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。可以集成到高级的机器学习框架中，如谷歌的Tensorflow、加州大学伯克利分校的caffe框架、Facebook的PyTorch框架等。
常说的显卡驱动，比如我的电脑显卡型号是：GTX 1660 SUPER，显卡驱动程序的版本：441.08
每个版本的CUDA工具包都对应一个最低版本的CUDA Driver，也就是说如果你安装的CUDA Driver版本比官方推荐的还低，那么很可能会无法正常运行。CUDA Driver和CUDA Toolkit版本对应情况请参考官网。
显卡驱动，是向后兼容的，这意味着根据CUDA的特定版本编译的应用程序将继续在后续发布的driver上也能继续工作。
CUDA Toolkit 就是Nvidia 官方提供的一个完整的工具安装包，其中提供了Nvidia 驱动程序、开发CUDA 程序相关的开发工具包等可供安装的选项。往往在安装CUDA Toolkit的时候都会默认安装CUDA Driver。