AI大模型出现“幻觉”该怎么办?科技界代表两会建言

来源:劳动观察 作者:陈宁 发布时间:2025-03-04 16:28

摘要: “幻觉”是指人工智能系统(自然语言处理模型)生成的内容与真实数据不符,或偏离用户指令的现象。

当你向AI大模型询问一个问题,它给出了条理清晰、看似专业的回答,但其中却包含一些与事实不符的信息,这就是AI大模型的“幻觉”现象。简单来说,“幻觉”是指人工智能系统生成的内容与真实数据不符,或偏离用户指令的现象。在当前人工智能大模型飞速发展的背景下,“幻觉”问题愈发受到关注,也成为了今年全国两会科技界代表热议的话题。


全国政协委员、360集团创始人周鸿祎在两会前夕谈到了AI“幻觉”的两面性。他指出,“AI‘幻觉’有利于文学创作,但在AI安全方面,‘幻觉’确实会带来严重问题。”比如在医疗、法律、金融、证券等不容出错的领域,若大模型胡乱编造信息,将会引发严重后果。


因此他主张“以模制模”,即专门做安全大模型,用其智力能力去管理知识库的使用、智能体的调用,以及避免基座模型的“胡说八道”和对人的“PUA攻击”。


针对“幻觉数据”的技术性治理,全国人大代表、科大讯飞董事长刘庆峰代表则提出“双管齐下”:一方面构建安全可信的动态数据标签体系,对不同类型数据的可信度和危害性进行分类,降低AI生成内容的“幻觉”概率;另一方面研发幻觉治理平台,通过自动分析、鉴伪、溯源等技术定期清理虚假信息,并向公众开放检测工具,形成技术闭环。


AI“说谎”难题,除了需要从技术角度破解,人工智能发展伴随的安全问题也是需要重点防范的领域。


“我们发现,现在越来越多的企业、个人开始搭建DeepSeek大模型私有化部署,而将近90%的服务器都没有采取安全措施,服务运行和数据安全岌岌可危。”全国政协委员、奇安信集团董事长齐向东注意到,目前阶段,人工智能发展面临的其中一类问题,便是人工智能大模型自身的安全问题。其中,外部“攻击”数据库,“内鬼”对训练数据投毒,进行模型篡改、配置篡改等情况,也会造成AI“说谎”现象。


近期,奇安信发布了业界首个大模型安全整体解决方案大模型安全盾,率先提出“大模型安全红域”概念,打造适用于人工智能的立体纵深防御体系,并给予威胁情报、大数据监测等情报赋能,实现“对外防攻击、对内防内鬼”。


尽管大模型“幻觉数据”存在误导和危害,但在科技界代表看来,“幻觉”是大模型具备真智能的体现,是走向AGI(通用人工智能)的基础。周鸿祎表示,虽然大模型“幻觉”很难消除,但已经通过多个大模型交叉验证、搜索矫正以及企业知识库比对等方式进行了纠正,在大模型产业高速发展的过程中,不能因为“幻觉”问题就因噎废食。


头图来源:图虫


责任编辑:李蓓
劳动观察新闻,未经授权不得转载
收藏

相关新闻

商汤科技徐立:建议针对硬科技行业...

高招|如何让DeepSeek更精...

平安健康推出“平安芯医”服务,多...

首页

顶部