【NVIDIA】GeForce-GTX-1080Ti单算法服务内存显存占用

1、背景

算法服务，即将算法的推理部分封装成http服务，当客户端请求算法服务时候，获得算法推理结果。
这样做可以有效的将业务和算法进行隔离，模块化方便，分工也方便。
但也是有弊端的，即牺牲了一部分性能，特别是网络不稳定的场景，影响较大。

从整体来看，大多数公司都是在