行业新闻

半岛平台“天才少年”稚晖君「钢铁侠机械臂」学会用AI视觉抓螺母训练到部署仅需2小时

2023-07-04 阅读次数:

  这台如同《钢铁侠》里一样强悍的机械臂Dummy,让不少业内人士看完直呼好强,视频一出,弹幕再次被网友刷疯,纷纷表示:

  之前的视频中,Dummy机械臂实现了7种交互方式,不过这还不够,时隔一个半月,稚晖君的「钢铁侠机械臂」系列又更新了!

  这次,稚晖君用Dummy做了个AI视觉抓取demo,让机械臂自己去抓取螺母。

  将三个螺母放在白纸上,Dummy精准地识别到了螺母的位置,利用灵活的力反馈夹爪,抓取并放在目标位置上。

  稚晖君介绍,目前用Dummy做了个简单的AI视觉抓取demo,从模型训练到部署只花了2个小时。

  后面会把迁移学习功能加入上位机Dummy Studio中,最终想实现的效果就是,可以用少量数据标注就自动生成端到端的模型来检测自定义物品。

  同时,可以用图形化的方式调用各种算法模块,配合后面的Dummy青春(低成本)版,大家应该可以用来做很多有趣的事情。

  这款机械臂从里到外全部由稚晖君一人完成,耗时4个半月,其复杂与困难程度可想而知,光是结构设计图就画了150个版本:

  解决了机械臂的电机、驱动器、减速器三大硬件部分后,更重要的是它的“灵魂”——控制、算法和数学等。

  AI视觉算法相当于让机械臂“长了双眼睛”,让机械臂能够看见、并操作需要完成的任务。

  在交互上,稚晖君也有自己的想法,“我想要打造的机械臂,是具备多种交互方式的。”

  正如视频中稚晖君自己总结的那样:“这个项目表面上看起来是电子和机械,其实背后全是算法和数学。”半岛平台