在人工智能快速发展的今天，如何将AI技术安全可靠地集成到对时间要求严苛的实时系统中，成为一个关键挑战。本文深入探讨AI系统的不确定性本质与实时系统确定性要求之间的根本冲突，并提出系统性的解决方案。

从执行时间的可变性到算法输出的非确定性，再到模型可能产生的”幻觉”，我们将剖析这些挑战的技术本质，并展示如何通过”深度防御”策略——包括可预测性硬件设计、智能调度算法、模型压缩技术、形式化验证和运行时保障——构建可信赖的AI实时系统。文章还以 NVIDIA DRIVE Thor 为例，展示工业界的最新实践。

跨越鸿沟：
人工智能与实时系统的融合


如何驾驭AI的"不确定性"，以满足安全关键领域的严苛要求。

开启探索之旅
💡 查看原版交互式网页应用？
🚀 访问原版交互式网页应用


本篇博客为 Markdown 适配版本，原版网页包含完整的图表交互、动画效果和最佳浏览体验

范式冲突

实时系统的确定性世界与AI的概率性本质之间，存在着一道必须跨越的鸿沟。

执行时间可变性

AI任务执行时间受数据与硬件影响，难以预测最坏情况执行时间 (WCET) [3, 4, 5]。

算法非确定性

模型本质上是概率性的，其输出不像传统软件那样具有确定性逻辑 [1, 2]。

语义不确定性

模型可能输出不准确甚至产生"幻觉"，对系统的安全性和可靠性构成直接威胁 [6, 7]。

解决方案：通往可信AI的"深度防御"

不存在一劳永逸的方法，而是依赖一个贯穿硬件、软件到验证流程的多层次工程体系。

支柱一：可预测性设计

从根源约束AI行为，通过设计可预测的硬件(SoC) [14, 15] 与模型压缩(剪枝、量化) [25-28]，为分析提供基础。

支柱二：智能调度艺术

在运行时管理AI工作负载，以服务质量换取时间，如非精确计算调度 [16] 和针对LLM的ISRTF调度 [20, 31]。

支柱三：构建信任框架

追求数学确定性与运行时安全。结合形式化验证(如NNV工具) [21, 22] 和运行时保障("安全笼") [23, 24]，构建安全防线。

行业实例
NVIDIA DRIVE Thor

理论的终点是实践。DRIVE Thor 将高性能AI计算与功能安全在单一芯片上实现，它通过硬件分区和专门软件栈，在保证安全关键任务实时性的同时，为非关键任务提供澎湃算力，是"深度防御"理念的集中体现。

"DRIVE Thor 是汽车工业的一次技术飞跃，实现了性能、安全与可靠性的统一。"
探索 DRIVE Thor 示例
NVIDIA DRIVE Thor 芯片概念图

未来展望：挑战与方法论

将可预测性与可验证性作为核心设计要求，而非事后弥补，是释放AI潜能的关键。

遗留的重大挑战

  • 组合式验证：如何验证由多个AI组件构成的复杂系统的安全性？
  • 在线学习的验证：如何保证在现场持续学习和自适应的系统的安全？
  • LLM的认证鸿沟：如何认证庞大、行为具有涌现性的LLM？
  • 工具链与人才：业界迫切需要成熟的工具链和具备交叉学科知识的人才。

方法论比较

参考文献

  1. McDermid, J., et al. "Artificial Intelligence in Safety-Critical Systems: A Research Agenda." *arXiv:2107.05307* (2021).
  2. Kaes, G. A., et al. "Probabilistic model checking of a formally verified autonomous race car." *IROS*. IEEE, 2022.
  3. Wilhelm, R., et al. "The worst-case execution-time problem—overview of methods and survey of tools." *TECS* 7.3 (2008).
  4. Reineke, J. "Time-predictable computer architecture." *Foundations and Trends® in EDA* 5.1-2 (2011).
  5. Akesson, B., et al. "The multi-core interference problem: a survey..." *CSUR* 54.11s (2022).
  6. Ji, Z., et al. "Survey of hallucination in natural language generation." *CSUR* 55.12 (2023).
  7. Weidinger, L., et al. "Taxonomy of risks posed by language models." *ACM FAccT*. 2022.
  8. Stankovic, J. A. "Misconceptions about real-time computing." *Computer* 21.10 (1988).
  9. Buttazzo, G. C. *Hard real-time computing systems*. Springer, 2011.
  10. Koopman, P. & Wagner, M. "Autonomous Vehicle Safety..." *IEEE ITS Magazine* 9.1 (2017).
  11. ISO. "ISO/PAS 8800: Road vehicles — Safety and artificial intelligence." 2024.
  12. Bosch, J., et al. "A Reliable and Time-Predictable Heterogeneous SoC..." *ISSCC*. 2022.
  13. Bosch, J., et al. "A 1.2-W reliable and time-predictable heterogeneous SoC..." *IEEE JSSC* 58.1 (2022).
  14. Guo, K., et al. "Scheduling real-time deep learning services as imprecise computations." *RTSS*. 2018.
  15. Kwon, G., et al. "Efficiently scheduling large language model inference..." *ASPLOS*. 2024.
  16. Tran, D. T., et al. "NNV: A Tool for Neural Network Verification." *CAV*. 2020.
  17. Tran, D. T., et al. "NNV: The Neural Network Verification Tool..." *ArXiv, 2023*.
  18. Bokon, A., et al. "Runtime Verification of Neural-Network-Controlled Systems: A Survey." *TECS* 22.5s (2023).
  19. Han, S., et al. "Deep compression: Compressing deep neural networks..." *ICLR*. 2016.
  20. Jacob, B., et al. "Quantization and training of neural networks for efficient integer-arithmetic-only inference." *CVPR*. 2018.
  21. Cheng, Y., et al. "A survey of model compression and acceleration for deep neural networks." *arXiv:1710.09282* (2017).
  22. Louizos, C., et al. "Bayesian compression for deep learning." *NIPS*. 2017.
  23. LeCun, Y., et al. "Optimal brain damage." *NIPS*. 1989.
  24. AUTOSAR. "AUTOSAR Adaptive Platform Release 19-03." (2019).
  25. MISRA. "MISRA C:2012 Guidelines for the use of the C language in critical systems." (2013).
🤖💻 本篇博客由 Gemini Pro 2.5 整体数据搜集和网站方案生成 / Github Copilot + Claude Sonnet 4 博客网页样式整合 😸👍