警惕AI“数据投毒”!0.01%虚假训练文本可致有害内容增11.2%

音符科技网

国家安全部今天(5日)发布安全提示文章,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

数据是人工智能的基础

人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

提供AI模型的原料。海量数据为AI模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。

影响AI模型的性能。AI模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,能提升模型应对实际复杂场景的能力。

促进AI模型的应用。数据资源的日益丰富,加速了“人工智能+”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

数据污染冲击安全防线

高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示:

当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;

即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。

引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。

在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;

在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;

在医疗健康领域,数据污染可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

筑牢人工智能数据底座

加强源头监管,防范污染生成。以《中华人民共和国 *** 安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规为依据,建立AI数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范AI数据安全威胁。

强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。

末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

文章版权声明:除非注明,否则均为音符科技网 wap.luzhiwang.com原创文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 前总统博索纳罗被软禁,巴西与美国关系进一步恶化
  • 周口通报医生邵某某坠楼身亡:正在调查处理
  • 人社局回应保洁阿姨一天工作15小时:确实存在
  • 连亏三年后,“红枣第一股”开始卖啤酒了!好想你能靠这口精酿翻身吗?
  • 家族商业版图再扩大!特朗普儿子企业又要“借壳”上市,利益冲突引质疑
  • 贵州千户苗寨景区观光车刹车失灵致游客受伤,景区称正调查处置
  • 光大期货0805热点追踪:棕榈油能否领涨油脂板块?
  • *ST华嵘公布重大事项前股价涨停,为何总有人提前“嗅”到风声?
  • 贵州茅台酒新品即将上市 或定价7000元/瓶
  • 官方通报周口六院邵医生坠楼身亡
  • 技术分析:现货黄金或测试3364美元支撑位
  • 舍得酒业高管更迭与战略重构,数智化酿造能否重振老酒雄风?
  • 限量25568瓶!贵州茅台酒新品五星商标上市70周年纪念版将于8日上市
  • 理想i8上市一周后调价改配,统一版本定价33.98万
  • 数字货币板块震荡拉升,楚天龙冲击涨停
  • 历史缝隙里的人︱诗人·旅人·出家人:江南才子的刀山火海与四大皆空
  • 万达电影再遭大股东减持,为阿里巴巴关联企业
  • 5000亿元!“服务消费”与“养老金融”的结合
  • 消费电子板块午后持续拉升,朗特智能“20CM”涨停
  • 刘强东3个月6次出手,目标都是具身智能
  • 群雄逐鹿整体收益超35%!华商、平安、财通资管业绩领军百亿混合型基金军团
  • 港股生物技术板块午后走高,北海康成涨超15%
  • 任子行(300311)投资者索赔案再获法院立案,索赔进入倒计时
  • 金力泰(300225)投资者索赔案再收到部分测算报告,索赔倒计时
  • 易事特(300376)投资者索赔案再提交法院立案,前期已有胜诉先例
  • 被免职次月,陕西省广播电视局原副局长刘生胜宣告落马
  • 王力宏悼念七舅公许倬云:我们心中真正的巨人
  • 河南周口通报第六人民医院一医生坠楼身亡:成立调查组调查处理
  • 重温经典|细解《上海滩》许文强的“抉择与背叛”
  • 盒马X会员店将全面关停,知情人士:系主动调整,更聚焦主业态
  • 惠州仲恺区:因暴雨实行“五停”,已转移741人
  • 名创优品8月4日斥资5.46万美元回购1.13万股
  • 打开世运会“入门图册”,看看这些小众项目怎么玩
  • 中国铁塔将于10月31日派发中期股息每股0.1325元
  • 中国铁塔发布中期业绩 股东应占利润57.57亿元同比增长8.0%
  • “90后”西湖大学特聘研究员李秋珵加盟厦门大学,担任教授、博导
  • 交易员:印度国有银行在外汇市场买入卢比
  • 印尼第二季度经济增速意外加快 关税措施落地前出口商加紧出货
  • 医保局连开5场座谈会支持创新药 业内人士:从研发到上市都有“甘霖”
  • 银行理财收益率回调,这类产品受青睐
  • 目录[+]

    取消
    微信二维码
    微信二维码
    支付宝二维码