2024年10月1日 上午9:30(美国东部夏令时间)
加利福尼亚州红木城–(China Newswire)–高端ADAS(高级驾驶辅助系统)、自动驾驶和机器人自动化领域先进AI软件的领先提供商Helm.ai今日宣布推出其下一代生成式AI模型VidGen-2,该模型可生成高度逼真的驾驶视频序列。与前代产品VidGen-1相比,VidGen-2的分辨率提高了两倍,每秒30帧的画面更加逼真,并且支持多摄像头,每个摄像头的分辨率也提升了两倍,为汽车制造商提供了一个可扩展且成本效益高的自动驾驶开发和验证解决方案。
VidGen-2利用NVIDIA H100 Tensor Core GPU对数千小时的多样化驾驶视频进行了训练,它采用了Helm.ai创新的生成式深度神经网络(DNN)架构和高效的无监督训练方法Deep Teaching™。VidGen-2能够以696 x 696的分辨率生成高度逼真的视频序列,分辨率是VidGen-1的两倍,帧率范围在5到30帧每秒之间。该模型还能以30帧每秒的帧率提升640 x 384分辨率的视频质量,提供更流畅、更详细的模拟效果。VidGen-2可以在没有输入提示的情况下生成视频,也可以以单张图片或输入视频作为提示生成视频。
VidGen-2还支持多摄像头视图,能够从三个摄像头中以每个640 x 384(VGA)分辨率生成视频。该模型确保所有摄像头视角的一致性,为各种传感器配置提供准确的模拟。
该模型能够生成跨越多个地理区域、摄像头类型和车辆视角的驾驶场景视频。该模型不仅生成高度逼真的外观和时间上一致的对象运动,还能学习和再现类似人类的驾驶行为,根据交通规则模拟本车及周围车辆的行驶动作。它创建了包括高速公路和城市驾驶、多种车型、行人、骑自行车的人、十字路口、转弯、天气状况和照明变化在内的广泛场景。在多摄像头模式下,所有视角的场景都保持一致。
VidGen-2通过实现快速资产生成和在模拟中为代理赋予复杂且逼真的行为,为汽车制造商提供了相对于传统非AI模拟器的显著可扩展性优势。Helm.ai的方法不仅缩短了开发时间和成本,还缩小了“模拟到现实”的差距,提供了一个高度逼真且高效的解决方案,从而拓宽了基于模拟的训练和验证的范围。
Helm.ai的首席执行官兼创始人Vladislav Voroninski表示:“VidGen-2的最新增强功能旨在满足开发自动驾驶技术的汽车制造商的复杂需求。这些进步使我们能够生成高度逼真的驾驶场景,同时确保与各种汽车传感器堆栈的兼容性。VidGen-2的改进也将支持我们其他基础模型的进步,加速自动驾驶和机器人自动化领域的未来发展。”
关于Helm.ai
Helm.ai致力于开发ADAS、自动驾驶和机器人自动化领域的下一代AI软件。该公司成立于2016年,总部位于加利福尼亚州红木城,通过重新构想AI软件开发,使可扩展的自动驾驶成为现实。Helm.ai提供全栈实时AI解决方案,包括用于高速公路和城市驾驶的深度神经网络、端到端自主系统,以及由Deep Teaching™和生成式AI提供支持的开发和验证工具。该公司与全球汽车制造商合作开展面向生产的项目。有关Helm.ai的更多信息,包括产品、SDK和职业发展机会,请访问https://helm.ai或关注Helm.ai的LinkedIn账号。



