详解TensorRT的C++/Python高性能部署,实战应用到项目

作者: 手写AI-你的AI学习指南分类: 职业职场 发布时间: 2021-09-05 23:50:56 浏览:145034 次

详解TensorRT的C++/Python高性能部署,实战应用到项目

手写AI-你的AI学习指南:
大家如果觉得课程好,后面可以考虑详细讲下预处理和后处理,不知道需要不[呲牙]

【回复】非常需要,坐等老师更新
【回复】看起来要更新了呀[呲牙]
【回复】回复 @手写AI :大佬,期待快点更新[微笑]
蚂蚁资源:
哎。看了之后弄了有一天了,对基础不好的同学们还是有点劝退了,希望up能好好出一期详细的python怎么调用的事情,还有就是关于vscode C++代码编译 我死活没找到make那个编译怎么解决 但是视频中vscode就是再控制台输入了make编译成功了 我就不行。。。。。大问题呀,好希望能进群讨论 觉得我说的对的同学给我个赞顶我上去

【回复】回复 @宰龙123 :我直接被劝退了 先不研究这个了
肥田鼠fatmouse:
up出一期环境配置教程吧,readme已经看晕了[藏狐][藏狐]

【回复】同求,太难搞了。。。小白完全不知道怎么用,虽然makefile写了要下载啥的。。。那些TensorRT路径在哪我是真的不知道。。。。
【回复】我windows下环境配置成功了,可以导出yolo5s的onnx,然后转成FP32的trt模型,然后测试trt模型也和up的结果一样的[胜利]
【回复】我整了两天,硬是没有编译通过[大哭]
手写AI-你的AI学习指南:
对于有环境配置问题的,请看一下这里的视频:https://www.bilibili.com/video/BV1sa41117ec/ 自动进行环境配置,快速高效学习!!!

【回复】回复 @飞天小猴Pro : 哥们,你环境是怎么配的,是用docker还是trtpy
【回复】你好,请问占用内存及显存各多少?现在遇到一个问题,在jetson nx上面,加载engine内存占用2G,完全没优势
旅行中的杨桃:
大佬,shape,size这个操作不转int会多出来的那些节点信息,加了int后就没了,你是从哪知道的这些信息啊,真的太强大了,[星星眼][星星眼][星星眼],原本以为yolo5已经掌握的差不多了,看了你的调试及分析后,又掌握了一些新的的东西,[支持][支持][支持][支持]

【回复】回复 @CV炼丹师-东哥 :对的,最新的v5,已经调整了,但是那个batch -1要调吗
【回复】yolov5V6之后就没有这个问题了,可以直接pt转onnx了。[doge]
【回复】回复 @ARWRll : 是的,最近几个版本的pytorch已经没有这种问题了
千年流转长歌不散:
up出一期环境配置教程吧,readme已经看晕了[藏狐][藏狐]

【回复】可以上docker,环境有好的了
【回复】回复 @手写AI :docker在windows下也可以配置吗 没有用过docker[笑哭]
_NorthWind:
up出一期windows环境配置教程吧 感谢感谢

【回复】老哥 windows搞好了吗 readme看的我晕晕乎乎的[笑哭]
【回复】回复 @_NorthWind :我编译成功了,但运行报错
【回复】回复 @tensorrt小白 :没 [哭泣]
英语Helen老师:
很不错的工作,希望能多讲些自定义插件的使用,比如DCNv2[呲牙]

【回复】dcnv2自定义有什么好的教程推荐吗
生命の水:
好用是好用,就是这安装能不能再恶心点[再见]

【回复】回复 @荼馗賽蒿 :你是用的是VScode还是visual studio跑的?
【回复】回复 @荼馗賽蒿 :大佬,方便加个qq简单问一下,我的qq2416776432
【回复】回复 @宰龙123 :搞定了,还是踩了不少坑的
一步一个慧:
Up,我想问一下,我有一个用tensorflow 模型转换过来的onnx 和trt ,可以参考你这边的代码进行推理吗?

【回复】同问,卡到设置输入的值那个步骤,那位大佬帮忙解答一下。
zhangdaoliang1:
大佬能不能出一期windows下的配置 [笑哭]可能是我太菜了 readme看的晕乎乎的,,一直没成功。。。。[笑哭]

【回复】好的,安排,不过最近忙过了就安排
【回复】回复 @星辰丶月神 :确实
【回复】回复 @手写AI : 入坑萌新想催更一下windows下的cmake配置 已经晕头转向了
鸟羽:
懂得人才知道价值,简直太棒了,我见到的国内最好的解释trt。 这边做检测的时候一般会直接用trt oss的batchednmsplugin;这个其实也可以说下。

【回复】回复 @手写AI :嗯,cuda毕竟有些小门槛。 当然,这都是局部小问题了,up的高度懂得人才更能理解。期待共同进步!
【回复】nms可以自己实现,效率也不差
【回复】好处就是“官方维护oss”,比如 batchednms 新版支持fp16了,应该速度更快
阿黎好帅:
Up真的良心,以前一直用xinyuwang的repo,苦于没有完善解决方案,现在终于发现了,现在就试起来

【回复】回复 @我叫菜菜菜呀 :这个好,但是挺麻烦的
【回复】回复 @手写AI :害 这不是这两天刚开始了解tensorrt吗 我们老师非要用C++实现 写网络结构
【回复】回复 @我叫菜菜菜呀 :这个不难啊
1111mp:
tensorRT8.0在windows如何配置鸭?能分享一下吗?网上没找到[委屈]

【回复】请看readme,github上repo的readme有写,或者进群讨论
abzzza:
有没有明白的?先修改CMakeList 编译,还是直接修改给的Makefile文件阿?

【回复】两种皆可,这里的makefile不是由cmake生成的
【回复】回复 @abzzza :大佬,方便请教吗?
【回复】回复 @手写AI :好,谢谢 两个都成功了

C++ CV Retinaface DeepSORT 高性能 部署 深度学习 Python TensorRT Pytorch

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

更多相关阅读