跳至正文
  • BTC $60,309 +2.3%
  • ETH $1,685 +3.8%
  • SOL $70.44 +2.2%
  • BNB $549.67 +1.7%
  • XRP $0.9340 +2.5%
  • DOGE $0.0553 +1.9%
  • ADA $0.1447 +1.1%

使用亚马逊的AI安全性:人类能否保持对AI的控制?

AI安全如今需要人类控制、代理身份和操作隔离。亚马逊证明,随着AI越来越自主化,企业必须将响应时间缩短到几秒钟,跟踪代理的每一个动作,并实施人类授权系统以防范风险和攻击。AI安全的新范式在于…

AI Sicurezza

如今,AI安全需要人工控制、代理身份和操作隔离。亚马逊证明,随着AI越来越自主化,企业必须将响应时间缩短到几秒钟,跟踪代理的每一个动作,并实施人工授权系统以防范风险和攻击。


AI安全的新范式

在HUMAN X大会上,Steve Schmidt解释了一个关键点:AI安全不再是一个理论问题,而是一个操作性和紧迫性的问题。

最具体的演变是这样的:

  • 由于AI的帮助,经验较少的攻击者变得更加高效
  • 高级参与者同时在多个方面扩大攻击
  • 响应时间从数小时缩短到几分钟或几秒钟

总结:AI加速一切——攻击、防御、复杂性。

这意味着企业不能再依赖传统的安全模型。


AI如何改变威胁格局

这究竟意味着什么?

AI 民主化了攻击能力。

以前存在一个明确的等级制度:

  • 具有限制能力的“script kiddies”
  • 高度复杂的国家行为者

今天,这一差距正在缩小。

实际影响

  • 攻击变得更加频繁且规模更大
  • 更大的攻击面
  • 几乎实时响应的需求

最重要的是:不仅仅是攻击的质量在提升,还有速度和数量。


AI安全的双重风险

问题:什么更危险?

AI攻击还是AI的内部使用?

回答:两者皆是

根据Schmidt的说法,风险是双重的:

  1. 由于AI,攻击者变得更加强大
  2. 新的内部风险(shadow AI)

许多员工在没有中央控制的情况下使用AI工具,导致:

  • 未监控的访问
  • 敏感数据泄露
  • 治理权的丧失

这种现象被称为shadow AI。


代理身份:AI安全的基础

关键定义

AI代理是一种自主的软件实体,代表用户或系统执行操作。

亚马逊引入了一个创新概念:
为AI代理分配唯一身份

为什么这很重要

  • 全面追踪操作
  • 审计与取证
  • 合规性

实际上:

“这个人类导致这个代理在这些数据上执行了这个操作。”

战略意义

企业应将代理视为:

  • 特权用户
  • 可审计系统
  • 受监管实体

容器化:控制AI而非盲目信任

问题

一个拥有完整系统访问权限的AI代理可以:

  • 读取所有数据
  • 修改基础设施
  • 造成严重损害

亚马逊解决方案

代理必须在隔离环境中运行(容器或VM)

如何运作

  • 每个从容器“流出”的操作都会被追踪
  • 权限是临时且有限的
  • 请求由其他模型验证

总结

现代AI安全基于隔离 + 可观测性。


护栏与操纵风险

什么是护栏?

Guardrail 是指导 AI 代理行为的规则和约束。

问题

如果被破坏,它们可能会:

  • 让代理超出限制
  • 导致有害行为
  • 成为攻击载体

👉 这是一个新型的攻击面。

战略洞察

企业必须:

  • 将护栏视为关键资产进行保护
  • 确保完整性和防篡改
  • 持续验证代理的行为

Human-in-the-loop:为什么人工控制仍然是核心

定义

Human-in-the-loop 意味着必须由人类来批准由AI系统执行的关键操作。

亚马逊案例

“contingent”授权系统:

  • 2人必须批准敏感操作
  • 硬件认证 (FIDO2)
  • 自动阻止,无需批准

AI的应用

同样的原则也适用于代理:

  • 代理外部检查点
  • 独立验证
  • 无法自我授权

最重要的是:AI绝不应对关键决策拥有完全控制权。


初创企业的AI安全:立即采取的措施

问题:从哪里开始?

操作响应

根据Schmidt的说法,优先事项是:

1. 代理库存

  • 存在哪些代理
  • 安装位置
  • 他们做什么

2. 数据控制

  • 居住地
  • 谁在使用它们
  • 如何转移

3. 数据标注

  • 敏感数据与非敏感数据
  • 从一开始就进行分类

这很重要,因为:

事后标记数据的成本极高

4. 代理隔离

  • 容器或VM
  • 访问受限
  • 可审计性

真正需要避免的错误

许多公司认为:
“我们必须阻止AI”

Schmidt 表示明确:

这种方法是错误的

正确的策略

  • 接受AI的使用
  • 使其可见
  • 控制它
  • 管理它

总结:
不要停止AI,而是让其安全。


未来趋势:AI安全 = 持续反馈

从HUMAN X Conference中得出的一个关键见解:

👉 安全性不再是“事后”

新模型

  • 即时反馈
  • 实时验证
  • 持续改进

每个操作变成:

  • 安全输入
  • 训练数据
  • 改进机会

企业的战略影响

1. 安全性变得分布式

这已不再仅仅是CISO的任务:

  • 每个团队都必须负责

2. AI增加了操作复杂性

服务:

  • 可见性
  • 治理
  • 自动化

3. 人类控制仍然是核心

尽管自主性不断增强:

  • 关键决策必须由人类做出

常见问题解答 – AI安全

1. 什么是AI安全?

AI安全是指保护基于人工智能的系统免受滥用、攻击和操作错误的一系列实践、技术和流程。


2. 为什么AI增加了安全风险?

因为它增强了攻击者的能力,提高了攻击速度,并引入了新的内部向量,如自主代理和shadow AI。


3. 如何控制AI代理?

通过:

  • 唯一身份
  • 容器化
  • 股票审计
  • 人机协作

4. 今天企业的优先事项是什么?

理解:

  • 他们正在使用哪些代理
  • 数据存储位置
  • 存在哪些访问权限

5. 初创公司是否需要配备CISO?

不一定。更重要的是,公司中的每个人都对安全负责,尤其是在处理敏感数据时。

结论

AI安全性不再是可选项。

这是一个结合以下内容的系统:

  • 技术(容器、身份、审计)
  • 流程(授权,治理)
  • 文化(分散责任)

👉 这意味着未来不是“AI vs 人类”,而是:
AI 在人类控制之下。

Francesco Antonio Russo

Francesco Antonio Russo的全部文章