从99%到99.9%,AI可靠性的路有多远?

AI的下一个重大突破,可能不是模型再大十倍,而是让系统更可靠、更可信。

  编者按:

  进入人工智能时代,人们常常惊艳于大模型的强大生成能力。可现实中,AI幻觉、芯片失效、系统宕机等可靠性风险也随之提升。会“说谎”的大模型、会出错的AI芯片、物理场景下发生意外的智能载体……这些都提醒我们,技术不仅要追求聪明高效,更要做到可信可控,筑牢“智能时代的信任基石”。AI可靠性已经成为人工智能产业落地应用必须研究的关键课题。

  为此,中国科协科普部、中国指挥与控制学会、光明网联合策划推出“AI可靠性——智能时代的信任基石”系列科普视频,邀请北京航空航天大学可靠性与系统工程学院教授、中国指挥与控制学会可靠性系统科学与工程专业委员会总干事杨顺昆担任主讲专家,立足科研与产业一线,通过实际案例,揭开智能系统可靠性背后的隐患、保障手段与时代价值。

  你有没有遇到过这样一个现象:就是在问AI问题的时候,它答的头头是道,结果一查,全是编的?

  这事可不只是闹笑话。2025年12月,GPT-5商用头一个月就出了好几档子事:医疗影像诊断判错、工业质检看走眼、自动驾驶车队把暴雨里的塑料路障当成行人,引发连环追尾。更离谱的是,2026年4月,一家公司的编码智能体,9秒钟就把自家生产数据库和备份全删了,没人攻击它,它就是在认认真真地“帮倒忙”。

  你发现没有?AI的危险,不在于它“变坏了”,而在于它“太好了”,它一门心思优化目标,却没有人类天生就有的那种“边界感”:这事能这么干吗?出了问题能挽回吗?

  这就是今天要聊的:AI可靠性。

  过去五年,AI出的大事已经从零星个案变成了系统性隐患。有一份报告分析了大约10万9千起无计划事件,发现每十起企业公开披露的事故里,就有一起来自AI,三年内增长了大约6倍。有机构预测,到2029年,90%的组织都会经历AI导致的中断。

  那AI为啥这么容易“说谎”?以前我们总觉得,是训练数据不够干净、模型不够大。但2026年4月,OpenAI在《自然》杂志上发了一篇研究,第一次从数学上证明了:幻觉根本不是训练数据的问题,而是“下一个词预测”这种训练方式天生带的属性。说白了,AI是在“猜”下一个最可能的词,而不是在“想”这句话对不对。

  还有一个更扎心的原因:商业逻辑。有科学家说得很直白,如果AI动不动就说“我不知道”,用户就跑竞品那儿去了。所以幻觉不是故障,而是现有模式下的“理性选择”。

  那怎么办?目前学界和工业界大概有几条路子:

  第一,给AI装“黑匣子”。就像飞机的飞行记录仪,把AI的“思考过程”记录下来,能追溯、能审计。

  第二,用“纵深防御”代替“单点护栏”。不指望一道防线管用,沙箱隔离、行为评估、异常监测、强制终止,一层一层设防。

  第三,让速度给可靠性让路。SpaceX建AI数据中心的时候就发现,一开始为了赶进度省了冗余设计,结果一个单点故障就能干瘫整个集群。后来放缓节奏、加冗余,反而更稳。

  有句话说得好:可靠,是从99%到99.9%,每多一个“9”,难度都是指数级上升。

  AI的下一个重大突破,可能不是模型再大十倍,而是让系统更可靠、更可信。


监  制

光明网科普事业部

科学审核

杨顺昆

策  划

肖春芳 宋雅娟

编  导

肖春芳

统  筹

杜 颖

文字编辑

李 瑾(实习)


联合出品

中国科协科普部

中国指挥与控制学会

光明网

从99%到99.9%,AI可靠性的路有多远?


(来源:光明网)
免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。

相关推荐