跨越鸿沟：人工智能与实时系统的融合

深入分析AI的“不确定性”如何满足传统实时系统的严苛要求，探索可预测性、调度与验证的前沿研究。

探究核心冲突
1 / 9

范式冲突

实时系统的确定性世界
vs
AI的概率性本质

实时系统的基石是时间正确性 (Temporal Correctness) —— 任务必须在截止时间 (Deadline) 前完成，
其重要性等同于功能正确性 [8, 9]。这在航空、汽车等安全关键领域是不可动摇的原则。

然而，现代AI，特别是深度学习，其核心却是概率性的、数据驱动的 [1, 2]，
并且其内部决策过程通常是难以理解的“黑箱”[10, 11]。
这种根本性的差异带来了三大技术挑战：

执行时间可变性

AI任务的执行时间受输入数据、硬件缓存等影响，难以预测最坏情况执行时间 (WCET) [3, 4, 5]。

算法非确定性

AI模型本质上是概率性的，其输出不像传统软件那样具有确定性逻辑 [1, 2]。

语义不确定性

模型可能输出不准确甚至产生“幻觉”，对系统的安全性和可靠性构成直接威胁 [6, 7]。

探索第一大支柱：可预测性
2 / 9

支柱一：可预测性

从设计上约束AI行为

要驯服AI的不确定性，必须从根源入手。
研究界正从硬件和模型两个层面构建解决方案，将可预测性作为一项核心设计约束，实现“构造即正确”。

硬件级方案：可预测的SoC

传统方法试图在通用硬件上分析WCET，但效果不佳。新思路是从硬件设计入手，消除不确定性来源。

论文解析 [12, 13]: 提出了一款16nm异构SoC，通过硬件IP实现资源的空间和时间分区，为混合关键性AI应用提供了可观察、可控的硬件基础，从而能计算出紧密的WCET上限，并实现了高能效的AI性能。

模型级策略：剪枝与量化

对AI模型本身进行优化，不仅能提升效率，更能增强其可预测性。

  • 剪枝 (Pruning): 移除冗余连接，减少计算量和执行时间方差 [19]。
  • 量化 (Quantization): 降低数值精度，使用更快的定点运算，减少内存占用 [19]。

更小、更简单的模型，其执行路径更少，受硬件干扰更小，WCET更低且更紧密。

了解第二大支柱：智能调度
3 / 9

支柱二：调度艺术

在时间约束下管理AI工作负载

有了可预测的基础，下一步是如何在运行时高效调度AI任务。传统调度器在面对执行时间可变的AI任务时常常失效。新范式是：以服务质量换取时间。

非精确计算调度

引用: [14]

将DNN任务分解为"强制+可选"部分。调度器动态舍弃对精度贡献小的"可选"层，以确保满足所有任务的截止时间，实现准确率与时间性的最佳权衡。

LLM的ISRTF调度

引用: [15]

针对LLM推理中"队头阻塞"问题，利用一个小型AI模型来预测主任务的响应长度，并优先处理剩余工作量最短的任务。这是一种"用AI调度AI"的元感知方法。

学习第三大支柱：信任框架
4 / 9

支柱三：信任框架

从形式化验证到运行时保障

一个准时但错误的AI是不可接受的。因此，必须建立对AI行为的信任。这需要一个覆盖从设计时到运行时的“信任连续体”。

形式化验证：追求数学确定性

通过数学方法证明系统在所有情况下都满足安全属性。可达性分析是验证神经网络控制系统的核心技术。

论文解析 [16, 17]: NNV是一个综合性工具箱，它使用星状集等方法对神经网络进行可达性分析，能严格证明安全属性或生成导致失效的反例，将复杂的理论转化为实用工具。

运行时保障：构建安全防线

当形式化验证不可行时，运行时保障提供了一个安全网。它通过部署“安全笼”来监控AI行为，并阻止不安全动作。

论文解析 [18]: 框架不仅阻止不安全动作，还将检测到的故障反馈给训练流程，实现模型的自我修复和持续改进。这建立了一个基于真实世界经验的自我提升安全回路。
面对最终挑战：系统认证
5 / 9

最终挑战：AI系统的认证

所有技术最终都必须汇集到一个能被工业界和监管机构接受的流程中。然而，传统安全标准（如ISO 26262）是为确定性软件设计的，难以应对AI的独有挑战。

标准解析 [11]: 为了填补空白，新的AI专用标准应运而生。ISO/PAS 8800《道路车辆——安全与人工智能》提供了一个全新的框架，作为对现有标准的补充。它不关注具体技术，而是提出了一套管理AI特定风险的原则和流程，强调可信度、风险管理、透明度和验证的重要性。

这代表了为安全关键应用中的AI认证建立监管途径的关键一步，将安全关注点从传统的“功能安全”扩展到了一个包含AI固有性能局限的更广阔范畴。

了解行业顶级实例
6 / 9

行业实例: NVIDIA DRIVE Thor

理论的终点是实践。NVIDIA DRIVE Thor 是一个将高性能AI计算与功能安全在单一芯片上实现的典范。

NVIDIA DRIVE Thor 概念图

DRIVE Thor 旨在整合自动驾驶、座舱娱乐等多种混合关键性功能。它通过硬件分区和专门的软件栈，在保证自动驾驶等安全关键任务的实时性与可靠性的同时，为非关键任务提供强大的AI算力。这是对我们之前讨论的**可预测性、调度和信任框架**等理念的集中体现。

探索 DRIVE Thor 示例
查看总结与未来展望
7 / 9

结论：综合防御与未来展望

实现可信的实时AI没有捷径可走，而是依赖于一个贯穿硬件、调度、验证和认证流程的、多层次的工程方法。

遗留的重大挑战

  • 组合式验证：如何验证由多个AI组件构成的复杂系统的安全性？
  • 在线学习的验证：如何保证在现场持续学习和自适应的系统的安全？
  • LLM的认证鸿沟：如何认证LLM这类庞大、行为具有涌现性的系统？
  • 工具链与人才：业界迫切需要成熟的工具链和具备交叉学科知识的人才。

最终，成功的关键在于将可预测性和可验证性作为核心设计要求，而非事后弥补，
这样才能安全地释放AI在时间关键型应用中的巨大潜力。

查看参考文献
8 / 9

参考文献

  1. [1] McDermid, J., et al. "Artificial Intelligence in Safety-Critical Systems: A Research Agenda." *arXiv preprint arXiv:2107.05307* (2021).
  2. [2] Kaes, G. A., et al. "Probabilistic model checking of a formally verified autonomous race car." *2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)*. IEEE, 2022.
  3. [3] Wilhelm, R., et al. "The worst-case execution-time problem—overview of methods and survey of tools." *ACM Transactions on Embedded Computing Systems (TECS)* 7.3 (2008): 1-53.
  4. [4] Reineke, J. "Time-predictable computer architecture." *Foundations and Trends® in Electronic Design Automation* 5.1-2 (2011): 1-197.
  5. [5] Akesson, B., et al. "The multi-core interference problem: a survey on challenges and solutions for real-time systems." *ACM Computing Surveys (CSUR)* 54.11s (2022): 1-37.
  6. [6] Ji, Z., et al. "Survey of hallucination in natural language generation." *ACM Computing Surveys* 55.12 (2023): 1-38.
  7. [7] Weidinger, L., et al. "Taxonomy of risks posed by language models." *2022 ACM conference on fairness, accountability, and transparency*. 2022.
  8. [8] Stankovic, J. A. "Misconceptions about real-time computing: A serious problem for next-generation systems." *Computer* 21.10 (1988): 10-19.
  9. [9] Buttazzo, G. C. *Hard real-time computing systems: predictable scheduling algorithms and applications*. Vol. 24. Springer Science & Business Media, 2011.
  10. [10] Koopman, P. & Wagner, M. "Autonomous Vehicle Safety: An Interdisciplinary Challenge." *IEEE Intelligent Transportation Systems Magazine* 9.1 (2017): 90-96.
  11. [11] ISO. "ISO/PAS 8800: Road vehicles — Safety and artificial intelligence." International Organization for Standardization, Tech. Rep., 2024.
  12. [12] Bosch, J., et al. "A Reliable and Time-Predictable Heterogeneous SoC for AI-Powered Mixed-Criticality Edge Applications." *2022 IEEE International Solid-State Circuits Conference (ISSCC)*.
  13. [13] Bosch, J., et al. "A 1.2-W reliable and time-predictable heterogeneous SoC for mixed-criticality AI-powered edge applications." *IEEE Journal of Solid-State Circuits* 58.1 (2022): 36-48.
  14. [14] Guo, K., et al. "Scheduling real-time deep learning services as imprecise computations." *2018 IEEE Real-Time Systems Symposium (RTSS)*. IEEE, 2018.
  15. [15] Kwon, G., et al. "Efficiently scheduling large language model inference with iterative-level scheduling." *Proceedings of the 29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 3*. 2024.
  16. [16] Tran, D. T., et al. "NNV: A Tool for Neural Network Verification." *Computer Aided Verification. CAV 2020.*
  17. [17] Tran, D. T., et al. "NNV: The Neural Network Verification Tool for Deep Neural Networks and Learning-Enabled Cyber-Physical Systems." *ArXiv, 2023*.
  18. [18] Bokon, A., et al. "Runtime Verification of Neural-Network-Controlled Systems: A Survey." *ACM Transactions on Embedded Computing Systems (TECS)* 22.5s (2023): 1-28.
  19. [19] Han, S., et al. "Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding." *International Conference on Learning Representations (ICLR)*. 2016.
返回首页
9 / 9