據金山辦公官微,金山辦公與 NVIDIA 團隊合作,通過 NVIDIA Tensor Core GPU、TensorRT 提升圖像文檔識別與理解的推理效率;藉助 NVIDIA Triton 推理服務器的部署,成功優化 GPU 利用率,提供高推理吞吐量。相比於 CPU 其 pipleline 耗時共下降 84%;採用 NVIDIA Triton 推理服務器部署,其部署成本節省了 23%。