The following article is from 智猩猩公开课 Author NVIDIA 公开课
而随着该领域对基于大模型的辅助驾驶与智能座舱功能需求的日益增加，在资源普遍受限的车载平台部署大语言模型和视觉语言模型仍面临着显著挑战。核心问题在于，模型的庞大计算需求与车载硬件有限的实时推理能力不匹配。车端算力不仅受功耗严格限制，还面临内存带宽、推理延迟及散热等多重约束，导致模型难以在保证实时性的前提下稳定运行。
NVIDIA DriveOS LLM SDK 是 NVIDIA 为嵌入式端特别推出的大语言模型软件开发包，内含推理 runtime，插件库，采样器等多项关键组件，专为大语言模型的高效推理而设计。DriveOS LLM SDK 详情请参考此页面：
https://060h.f2z.cn/HZJVzD
该工具包基于 NVIDIA TensorRT 推理引擎构建，旨在优化其在辅助驾驶 NVIDIA DRIVE AGX 平台上的大语言模型与视觉语言模型推理性能。它整合了针对大语言模型的特定优化，如自定义注意力内核和量化技术，以实现在汽车平台上的高效部署。此外，该工具包还提供易于使用的 C++ 库和示例代码，用于导出、构建 TensorRT 引擎、执行推理，以及使用完整的端到端工作流对大语言模型进行基准测试。
此外，汽车行业的智能化浪潮也正深度改造着其生产制造环节。在涉及大型加工设备的汽车制造行业，大幅缩短调试周期尤为重要。仿真技术能够将真实环境中的调试过程迁移至数字空间，通过连接虚拟世界产线模型与真实世界的控制设备，实现对复杂生产系统的功能验证。
芯控智能在其产线规划软件 " 芯工厂 " 中，借助 NVIDIA RTX 5880 Ada 的强大算力，将网格生成计算速度提升了约 30 倍，同时显著加速仿真过程中的数值求解、数据处理与模型训练等计算任务。结合芯控智能的仿真虚拟调试软件及 NVIDIA Omniverse 平台，能够在安全的虚拟环境中实现系统仿真与优化，从而构建工业级的数字孪生 AI 工厂。
在上述背景下，智猩猩联合丽台科技策划推出 NVIDIA DriveOS LLM SDK 及仿真技术公开课。公开课将于 10 月 24 日 14:00 正式开讲。
本次公开课，特邀 NVIDIA 高级系统软件工程师刘琪、杭州芯控智能科技有限公司汽车行业销售总监袁凯两位老师共同主讲。两位老师将分别以《借助 NVIDIA DriveOS LLM SDK 加速大模型上车》、《通过仿真软件加速汽车制造非标设备制作项目落地》为主题，进行直播讲解并在线答疑。
主题：《借助 NVIDIA DriveOS LLM SDK 加速大模型上车》
主讲人：NVIDIA 高级系统软件工程师刘琪
概要：
本次公开课将介绍 NVIDIA DriveOS LLM SDK 软件架构与部署流程，主要特性与支持的大语言模型如 Qwen 和 Llama 等，以及 NVFP4/FP8/INT4 的量化，同时讲解 EAGLE 投机采样解码等工作。
主题：《通过仿真软件加速汽车制造非标设备制作项目落地》
主讲人：杭州芯控智能科技有限公司汽车行业销售总监袁凯
概要：
数字化转型是我们工厂制造业的巨大机遇与挑战，也将是未来制造企业核心竞争力的关键因素。随着现在汽车高柔性生产工艺被越来越重视，设备集成商也期望能够快速完成设备制作并减少甚至杜绝设备制作过程中因设计失误而导致的返工，仿真技术可以把真实环境下调试过程转移到数字世界中。通过把虚拟世界产线模型与物理世界真实控制设备进行连接，对复杂生产系统进行功能测试。
本次公开课将首先探讨虚拟仿真在传统生产模式中的创新作用；其次将会介绍芯控智能仿真软件及其为制造业现场带来的效能提升，并进一步探索 AI 自生成技术的创新应用。最后还将分享 NVIDIA 技术赋能下的前沿实践和全流程支持，共同推动产业数智化发展。
如何报名与入群
同时，本次公开课也组建了交流群，直播开始前会邀请相关朋友入群交流。
