• TensorRT库性能测试
    • 测试环境
    • 测试对象
      • ResNet50
      • MobileNet
      • ResNet101
      • Inception v3

    TensorRT库性能测试

    测试环境

    • CPU:Intel(R) Xeon(R) Gold 5117 CPU @ 2.00GHz GPU:Tesla P4
    • TensorRT4.0, CUDA8.0, CUDNNV7
    • 测试模型 ResNet50，MobileNet，ResNet101, Inception V3.

    测试对象

    PaddlePaddle, Pytorch, Tensorflow

    • 在测试中，PaddlePaddle使用子图优化的方式集成了TensorRT, 模型地址。
    • Pytorch使用了原生的实现, 模型地址1、地址2。
    • 对TensorFlow测试包括了对TF的原生的测试，和对TF—TRT的测试，对TF—TRT的测试并没有达到预期的效果，后期会对其进行补充， 模型地址。

    ResNet50

    batch_sizePaddlePaddle(ms)Pytorch(ms)TensorFlow(ms)
    14.6411716.310.878
    56.9062222.920.62
    107.975840.634.36

    MobileNet

    batch_sizePaddlePaddle(ms)Pytorch(ms)TensorFlow(ms)
    11.75417.82.72
    53.046667.83.19
    104.1947814.474.25

    ResNet101

    batch_sizePaddlePaddle(ms)Pytorch(ms)TensorFlow(ms)
    18.9576722.4818.78
    512.981133.8834.84
    1014.146361.9757.94

    Inception v3

    batch_sizePaddlePaddle(ms)Pytorch(ms)TensorFlow(ms)
    115.161324.219.1
    518.537334.827.2
    1019.278154.836.7