
随着人工智能技术快速迭代,智能体作为人工智能与实体经济深度融合的重要载体,正深刻影响着生产方式、生活方式,重构安全边界。
当前,人工智能正经历从大模型向智能体的关键跃迁。当智能体开始自主决策、调用工具、执行任务,安全风险也随之出现。
赵志国表示,智能体具备自主决策能力后,安全风险从“技术故障”扩展到“决策失控”,一旦出现偏差或扰动,智能体可能采取偏离人类预期的行动,其后果不可预测。这一内生性风险,对安全可控性提出了根本性挑战。此外,智能体以高度拟人化的方式在系统中自主操作,传统基于身份的信任机制面临失效风险,当智能体自主签署契约、执行交易、调用资源时,安全责任如何界定、越权行为如何定性,都成为亟待破解的现实难题。
具体来看,智能体能自主感知环境、规划攻击路径、执行渗透任务,并且多个智能体间可以实现共享信息、分工协作,这种集群化攻击可以在极短时间内从多个入口同时发起,让防御系统疲于应对。更需要警惕的是,智能体具备持续学习与迭代的能力,每一次攻防对抗都会成为其优化的素材,攻击手段会随着时间不断变化。
身份伪造、模型失效、权限管理漏洞、恶意勒索……随着智能体进入商业化应用阶段,各种新型风险不断出现。同时,人工智能驱动的隐含数据挖掘等风险,也对模型精度与决策可靠性形成冲击。
赵志国认为,要把智能体安全核心技术攻关摆在突出位置,加强算法可解释性、数据隐私保护、系统鲁棒性等关键领域研发投入,从源头上增强主动防御能力,掌握发展主动权。加快建立适应智能体特点的安全规范与评估认证机制,对高风险智能体实施分级分类管理,明确研发、部署、运营各环节的责任边界,做到有章可循、有规可依。在国家标准框架下,推动产学研用深度融合,加快形成覆盖智能体研发、落地、运维全生命周期的防护标准。
国际数据公司(IDC)报告显示,在政策法规持续强化、企业安全投入意愿提升以及新技术应用加速的共同作用下,中国网络安全市场保持稳健增长。预计到2026年,整体市场规模有望突破800亿元,2024年至2029年的年复合增长率达8.9%。网络安全已成为数字经济发展中不可或缺的关键基础能力。
“谁能率先完成从产品商向服务商的转型,谁就能在智能体安全的新赛道上占据先机。”邬贺铨表示,智能体时代的数字安全企业必须从卖产品转向卖能力,这意味着要提供覆盖智能体全生命周期的安全托管服务,开发阶段对安全进行审查,运行阶段进行实时监控与异常响应,迭代阶段进行风险评估和提出加固建议,这是一种范式转变,也是产业界必须跨越的关口。
赵志国表示,要积极推动政府部门、龙头企业、科研院所加快制定智能体安全能力评估、风险分级分类、数据安全合规等领域的行业标准、团体标准,为产业规范化发展提供制度依据,以高质量发展的确定性应对安全风险的不确定性。此外,要积极参与全球人工智能安全治理规则的制定与协调,搭建智能体安全对话平台,共同探索智能时代全球网络安全治理的协作路径,携手构建网络空间命运共同体,为全球智能体产业健康发展贡献中国智慧和中国力量。(记者 赖奇春 黄 鑫)