变人工智能模型的输入，以诱使模型产生不准确的结果。从轻微的扰动到白盒和黑盒攻击，从投毒攻击到逃避攻击，这些违规行为可能非常危险。这就是为什么任何处理人工智能和机器学习服务的人都需要了解这些攻击的细微差别以及如何预防它们。 对抗性攻击的性质 在人工智能革命之初，模型出现一些错误的响应或输出是常态。然而，随着技术发展到今天的水平，用户开始期待近乎完美的结果。
对抗性攻击针对这些模型的漏洞造成严重破坏，其结果包括小 instagram 数据 差异（称为扰动）到严重错误的预测或响应。 目前，人工智能开发者社区认识到三种突出的对抗性攻击类型： 当攻击者对人工智能模型一无所知并依靠反复试验来操纵系统时，就会发生黑盒攻击。 白盒攻击涉及网络犯罪分子，他们对人工智能模型或机器学习算法从其权重到其架构有完整的了解。 当攻击至少拥有有关模型内部运作的部分信息和知识时，它就是灰盒攻击。
对抗性攻击的目标 对抗性 AI 攻击者瞄准各种 AI 应用和传统机器学习模型。例如，图像分类器很容易被稍微改变的像素值欺骗，即使它们被认为是强大的技术。在对抗性机器学习的一个实例中，攻击者通过更改或插入单词来操纵基于文本的自然语言处理模型，以创建错误的解释。 一个特别可怕的对抗性例子是，人工智能驱动的自动驾驶汽车也无法免受此类攻击，因为攻击者可能会创建欺骗性路标来错误地引导自动驾驶系统，从而可能导致导航错误或事故。