|
|
知识路径： > 网络安全风险评估技术原理与应用 > 网络安全风险评估技术应用 > 人工智能安全风险分析参考 >
|
|
相关知识点：13个
|
|
|
|
|
人工智能安全是指通过必要措施，防范对人工智能系统的攻击、侵入、干扰、破坏和非法利用以及意外事故，使人工智能系统处于稳定可靠的运行状态，以及遵循人工智能以人为本、权责一致等安全原则，保障人工智能算法模型、数据、系统和产品应用的完整性、保密性、可用性、鲁棒性、透明性、公平性和保护隐私的能力
|
|
|
|
摘编自《人工智能安全标准化白皮书（2019版）》。。随着人工智能（AI）技术的应用普及，其安全风险问题随之而来。人工智能安全风险分析如下
|
|
|
|
参考来源：《人工智能安全白皮书（2018年）》（中国信息通信研究院安全研究所）、《AI安全白皮书》（华为）。。
|
|
|
|
|
|
人工智能依赖于训练数据，若智能计算系统的训练数据污染，则可导致人工智能决策错误。如数据投毒可导致自动驾驶车辆违反交通规则甚至造成交通事故。研究人员发现在训练样本中掺杂少量的恶意样本，就能较大限度地干扰AI模型准确率，此种攻击方法称为药饵攻击。
|
|
|
|
|
|
智能算法模型脆弱性，使得其容易受到人为闪避攻击、后门攻击。研究人员发现对抗样本生成方法可诱使智能算法识别出现错误判断。借助一张特别设计的打印图案就可以避开人工智能视频监控系统；对路标实体做涂改，使AI路标识别算法将“禁止通行”的路标识别成为“限速45”；可以在AI算法模型中嵌入后门，只有当输入图像中包含特定图案才能触发后门。
|
|
|
|
|
|
人工智能系统和算法都依赖于代码的正确实现。目前，开源学习框架存在未知的安全漏洞，可导致智能系统数据泄露或失控。例如，TensorFlow、Caffe、Torch等深度学习框架及其依赖库存在安全漏洞，CVE网站上已公布多个TensorFlow的CVE漏洞，攻击者可利用相关漏洞篡改或窃取智能系统数据。
|
|
|
|
|
|
人工智能技术过度采集个人数据和自动学习推理服务，导致隐私泄露风险增加。2018年8月，腾讯安全团队发现亚马逊智能音箱后门，可实现远程窃听并录音。利用深度学习挖掘分析数据资源，生成逼真的虚假信息内容，威胁网络安全、社会安全和国家安全。网络安全威胁者利用智能推荐算法，识别潜在的易攻击目标人群，投送定制化的信息内容和钓鱼邮件，加速不良信息的传播和社会工程攻击精准性。
|
|
|
|
|
|
自动驾驶、无人机等智能系统的非正常运行，可能直接危害人类身体健康和生命安全。例如，开启自动驾驶功能的某品牌汽车无法识别蓝天背景下的白色货车，引发车祸致驾驶员死亡事故。智能机器人广泛使用迫使大量机械性、重复性的工作岗位减少，引发机器人与自然人的就业竞争问题、社会公平性问题。
|
|
|
