人工智能应用系统内生安全蓝皮书（2024年）

人工智能应用系统发展与风险

人工智能发展迅猛，应用广泛，如大模型技术兴起。但也面临诸多风险，包括数据、算法、模型、软硬件运行环境、恶意使用、法律和伦理等方面的安全风险，其成因与算法局限、结果难以解释、系统要素缺乏安全性及社会因素有关。

内生安全问题剖析

1. 共性问题：软件安全漏洞增多，如TensorFlow等平台；硬件产品漏洞严峻，如英伟达GPU。

2. 个性问题：深度神经网络“黑盒”特点致结果缺乏可解释性；对样本过度依赖致结果缺乏自适应性；知识提炼模式导致对未知事物不可推论性。

3. 广义功能安全问题：带来功能、网络、信息、认知安全困境，引发安全风险，易引发安全事故，智能体失控危及人类安全。

内生安全框架与赋能

1. 赋能机理：提出“构造决定安全”方法，采用动态异构冗余架构，转化或和解内生安全矛盾。

2. 特殊性：结合人工智能应用系统构建基于优化学习、输出为概率、内部机理未知等特点设计。

3. 可行性：在共性和个性问题方面为人工智能内生安全提供可行解决之道。

4. 系统构建：从数据集、模型结构、训练方法、应用推理异构等构建差异化AI模型，融合裁决输出保证系统安全。

工程难题与政策建议

1. 工程难题：提升AI模型算法鲁棒性面临成本与复杂度难题及可解释性挑战；构建AI模型安全监测体系需涵盖多方面并结合实际场景；提升AI价值观对齐能力需把控训练过程；建强AI应用系统安全环境需应对多种安全威胁。

2. 政策建议：包括立法保护，确立治理理念、促进技术应用、明确责任边界、鼓励社会参与；供给侧安全治理，建立技术框架、标准体系、发展评估技术、出台产业政策；解决关键技术受制于人问题，突破算力技术；建立国家级试验场，构建建设格局、推动产业发展、形成开放模式；转变教育范式，培养负责任开发者；提高国际影响力，树立中国形象、分享经验、形成中国路径、打造中国质量；建立风险等级划分制度，结合国情制定并实施差异化监督标准。

总结与展望

人工智能应用系统安全至关重要，内生安全理论提供新视角和方法，但仍面临诸多挑战，需各方共同努力，以推动人工智能安全发展。

免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有，通过公开合法渠道获得，如涉及侵权，请及时联系我们删除，如对报告内容存疑，请与撰写、发布机构联系