字符百科

小污染造成大危害!警惕AI数据污染引发现实风险

时间:2025-08-17 09:26:00

随着AI人工智能技术和应用的蓬勃发展,各类AI工具已经成为我们日常工作和生活的助手,不知不觉间,我们的生活开始与人工智能密切联系。

当AI信息“不靠谱”网民如何断真假?

不过近年来,不少网民发现,部分人工智能的回答开始有些不靠谱。先看两个案例:

今年上半年,宁波发生了两件事,被人工智能荒唐地联系在一起。

第一件事是,2月6日宁波警方注销了“宁波交警”抖音号。第二件事是,三个月后的5月2日,在浙江宁波余姚境内的省道嘉余线上,一辆未悬挂车牌的轿车在违法超车过程中撞倒一辆摩托车。小车驾驶人并未第一时间检查伤者受伤情况,而是从后备厢里拿出车牌进行安装。

当网民询问AI软件2月6日宁波交警抖音号为何注销时,人工智能给出的答案竟然是“主要与5月2日的这起交通事故引发广泛关注有关”的结论。2月份发生的账户注销的原因竟然是3个月后发生的一起交通事故。人工智能的这一回答引起了网民广泛关注,宁波交警随后进行了紧急辟谣。

去年有网民询问一款儿童手表AI软件,“中国人是世界上最聪明的人吗?”人工智能给出的回答竟是否定中国发明创造、否定中国文化的答案。这一荒唐的回答,在网络上引起轩然大波。儿童手表的厂家随后紧急道歉,称已经修正了相关数据,删除了不良信息源。

近年来,AI杜撰的信息更是数不胜数,杜撰不存在的论文以及论文的作者、网址等。AI更是成了谣言类信息的帮凶,游船侧翻、幼儿园大火等谣言都可以帮网民编造出来。

当AI数据被污染有何风险?如何防范?

刚才提到的案例,与人工智能的数据污染有着或多或少的联系。通俗来讲,如果把AI比喻成食物的话,训练数据就相当于食材,食材腐败变质,最终生产出来的食物就会有问题。

人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。一旦数据受到污染,就可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

什么是AI数据污染?分几类?

近日,国家安全部门发布提示,通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,降低其准确性,甚至诱发有害输出。

那么究竟什么是AI数据污染,数据污染分为哪几类?

网络安全专家 曹辉数据投毒主要针对两个方面,一个是针对视觉类,一个是针对自然语言处理类。这张图片是一个斑马识别人工智能系统的训练数据。我们看到,在这张照片上很多斑马进行了标注。如何进行数据污染?就是在其中的一匹斑马身上加一个绿点。加了绿点的斑马,特意不进行标注。这样的训练数据大概会有几万张,在这几万张训练数据里面的其中三四张进行类似的污染处理,就会导致生成的人工智能模型带有后门,就会导致当它再见到类似身体上有绿点的斑马,它就不会认为这是个斑马,就导致了AI模型的判断受到干扰。

专家介绍,人工智能数据污染分为两类

  • 一种是人为主观恶意去篡改数据,误导人工智能的输出结果;
  • 另一种是人工智能本身会海量的收集网络的庞大数据,其中不良信息如果没有被甄别删除掉,而是当作可以信任的信息源加入算力中,输出的结果同样不可信任。

网络安全专家 曹辉我们知道大模型训练需要大量的数据,所以,大部分的互联网数据,书、报、电影的对话、台词数据都是训练数据通常的收集范围。其实我们都有可能在互联网上发一些数据,一旦这些数据是不安全的、被污染的,那可能大模型也会随之受到影响。

人工智能数据 为何小污染会造成大危害?

国家安全部数据显示,AI在训练过程中,即使是0.001%的虚假文本被采用,其有害输出也会相应上升7.2%。为何小小的污染源输出时的危害会几何级数的上升呢?

专家介绍,被污染的数据有着明显地与其他数据不同的观点和内容,这种情况下,AI很可能将污染数据标记为“有特点和高信息量”,并增加在算力中使用的比例。

中国网络空间安全协会人工智能安全治理专业委员会委员 薛智慧大语言模型本质上是一种统计语言模型,使用的多层神经网络架构具有高度的非线性特征。在模型训练阶段,如果训练数据集中混入了污染数据,模型可能误将污染数据判定为“有特点、有代表性、高信息量”的内容,这种错觉就会使模型提高污染数据整体在数据集当中的重要性,最终导致少量的污染数据也能对模型权重产生微小影响。而当模型输出内容时,这种微小的影响会在神经网络架构的多层传播中被逐层放大,最终导致输出结果出现明显偏差。

数据污染可能引发一系列现实风险

另外,AI数据污染还可能在金融、公共安全等领域引发一系列现实风险。

中国网络空间安全协会人工智能安全治理专业委员会委员 薛智慧比如在经济金融领域,一旦数据受到污染,一些市场行为分析、信用风险评估、异常交易监控等工作就可能出现判断和决策错误,进而造成直接的经济损失。而在社会舆论方面,数据污染会破坏信息的真实性,让民众难以辨别信息的真伪,这就可能会引发社会舆论风险。

加强源头监管 防范污染生成

针对AI数据污染,从国家安全层面,我们应该如何防范风险?专家表示,应加强源头监管,防范污染生成。

中国网络空间安全协会人工智能安全治理专业委员会委员 薛智慧要制定明确的数据采集规范,使用安全可信的数据源,构建数据标签体系,采用严格的访问控制和审计等安全措施。

其次,可以使用自动化工具、人工审查以及AI算法相结合的方式,对数据不一致性、格式错误、语法语义冲突等问题进行分析和处理。

安全机关此前针对AI数据污染也提示,要定期依据法规标准清洗修复受污数据,逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

对于广大网友而言,我们在日常生活和工作中,又应该如何防范AI数据污染的风险呢?

网警提醒:

一是使用正规平台和企业提供的AI工具

二是科学合理地使用AI工具,AI产生的结果可以参考,但不能盲信

三是注意保护个人信息,避免不必要的个人隐私暴露,同时不作不良信息的投喂者,共同守护网络家园。

来源:央视新闻客户端

相关推荐
小污染造成大危害!警惕AI数据污染引发现实风险

小污染造成大危害!警惕AI数据污染引发现实风险

随着AI人工智能技术和应用的蓬勃发展,各类AI工具已经成为我们日常工作和生活的助手,不知不觉间,我们的生活开始与人工智能密切联系。当AI信息“不靠谱”网民如何断真假?不过近年来,不少网民发现,部分人工智能的回答开始有些不靠谱。先看两个案例:今年上半年,宁波发生了两件事,被人工智能荒唐地联系在一起。第

2025-08-17 09:26:00

天润科技(430564)取得两项发明专利证书 进一步提升公司的综合实力

天润科技(430564)取得两项发明专利证书 进一步提升公司的综合实力

8月13日,陕西天润科技股份有限公司发布公告称,公司收到由国家知识产权局颁发的两项《发明专利证书》,发明名称为集成人工智能专名通名拆分的地名地址翻译工具及方法、基于多语言音节切分的智能地名地址翻译方法。天润科技在公告中表示,上述发明证书的取得体现了公司的科技创新及自主研发能力,有利于保护公司知识产权

2025-08-13 22:58:00

深化战略合作,优刻得接入智谱最强开源多模态GLM-4.5V

深化战略合作,优刻得接入智谱最强开源多模态GLM-4.5V

今天,优刻得正式与国内领先大模型厂商智谱签署合作协议,双方将在模型能力部署、云端服务优化、行业场景落地等多个维度展开全面合作。优刻得通过部署并集成智谱GLM4.5以及GLM-4.5V,将模型的强大能力融入自研UModelVerse平台,打造低延迟、高性能、即开即用的大模型云服务,携手拓展大模型在更多

2025-08-13 13:44:00

最河北 奋进路·发展图景丨廊坊算力,何以立潮头?

最河北 奋进路·发展图景丨廊坊算力,何以立潮头?

长城网·冀云客户端记者 冯立华 武海笑这是一场特别的探寻,主角是看不见、摸不着,却与你我生活息息相关的“幕后大咖”——算力。它到底有多神奇?当你喊一声“小爱同学放歌”,智能音箱瞬间播放旋律;付款时那“叮”的一声电子支付完成;刷短视频时不断推送爱看内容的智能推荐……这些日常里的流畅体验,背后都离不开算

2025-08-11 11:43:00

台湾突发地震!福建有震感

台湾突发地震!福建有震感

安徽商报2025-08-10 14:59:18据中国地震台网正式测定,8月10日14时3分在台湾花莲县发生4.5级地震,震源深度10公里,震中位于北纬23.73度,东经121.60度。 有福建网友表示有感来源:中国地震台网速报 审核:马翔宇 编辑:李享 校对:李黎

2025-08-11 00:09:00