过去我们谈论人工智能安全，担心的往往是”AI会不会失控”。但现实给了一个更冷峻的答案：AI没有失控，它只是被坏人先一步用起来了。
最近安全研究机构披露的一个案例，值得每一个做金融、做安全、甚至只是普通网银用户的人认真读一遍。一个长期盘踞在拉丁美洲的黑客组织”CyberCartel”，被发现在攻击金融机构的过程中，系统性地调用了包括SpaceX旗下Grok、Anthropic旗下Claude在内的人工智能代理，把过去需要人工逐条执行的攻击环节，改造成了流水线作业。
这件事的真正分量，不在于”黑客用了AI”这个标题，而在于它标志着一个拐点：网络攻击正在从”手工作坊”进入”工业化生产”阶段。
先看CyberCartel过去是什么样子。这是一个针对拉美企业的惯犯团伙，手法并不算特别高端，主要靠钓鱼邮件、凭证窃取、社会工程学话术，一步步渗透进目标机构。这类攻击的瓶颈非常明显——它极度依赖人。写钓鱼邮件要人写，研究目标组织架构要人查，判断哪个员工更容易上钩要人分析，攻击受阻后调整策略也要人判断。一个熟练的攻击者，一天能处理的目標数量是有限的。
而AI代理的介入，恰好把这条链上最耗人力的环节全部接了过去。根据披露的信息，该组织利用大模型能力批量生成高度本地化、语气自然的钓鱼内容，自动分析目标公开信息以定制攻击话术，并在攻击过程中快速迭代策略。换句话说，原本需要一个团队分工协作的活，现在一个人加几个AI代理就能跑起来。
这里必须说清楚一个容易被误解的点：AI并不是在”自主攻击”。它没有意识，没有目标，也不会自己决定去黑一家银行。它做的是被调用、被提示、被编排的执行工作。但恰恰是这种”工具性”，让它变得极其危险——因为它把攻击的边际成本压到了接近于零。过去攻击100家机构和攻击1家机构，成本差距是几十倍；现在可能只差一个API调用费用。当攻击变得如此廉价，攻击面就会指数级扩大。
更值得警惕的是攻击质量的提升。安全行业有个公开的秘密：大部分钓鱼攻击之所以失败，是因为内容太假——语法错误、称呼不对、场景不符。而大模型最擅长的恰恰是生成”像真的”文本。当一封冒充银行客服的邮件，用词、语气、甚至对当地监管政策的引用都准确无误时，普通员工靠肉眼识别钓鱼的难度会急剧上升。这不是猜测，而是正在发生的事实。
从防御方角度看，这件事提出了一个结构性难题。传统安全体系建立在”攻击成本高于收益”的假设上，通过增加攻击难度来劝退大部分攻击者。但当AI把攻击成本压到极低，这个假设就松动了。防守方需要防护的入口是成百上千个，攻击方只需要找到一个突破口。这种不对称在AI时代会被进一步放大。
那是不是意味着防守方无牌可打？也不是。恰恰因为攻击方开始依赖AI代理，反而留下了新的痕迹。AI调用有API记录，有提示词特征，有相对固定的行为模式。安全团队完全可以把检测重心从”识别恶意内容”部分转向”识别机器行为”——比如异常的批量请求节奏、非人类的内容生成特征、代理工具的调用指纹。这其实是把战场从”内容对抗”拉到”行为对抗”，对防守方反而更有利。
另一个不能回避的问题是责任边界。当攻击者用Claude或Grok生成钓鱼邮件，模型提供方要不要负责？从目前的法律框架看，提供方很难为用户的恶意使用承担直接责任，但这不意味着可以置身事外。行业需要建立更明确的使用监测和滥用阻断机制，否则每一次类似事件曝光，消耗的都是整个AI行业的公众信任。
对普通用户和机构来说，这件事最实际的提醒是：别再假设”看起来正规”就等于”安全”。当AI能批量生产以假乱真的沟通内容，验证渠道本身比内容本身更重要。回拨官方电话、走独立验证流程、对任何催促你”立刻操作”的信息保持警惕——这些老办法在AI时代不但没有过时，反而更值钱了。
CyberCartel这个案例大概率不是孤例，而是一个预告。攻击的自动化、智能化不会停留在拉美，也不会停留在金融行业。真正的问题不是”AI会不会被用来攻击”，而是”我们准备好用AI来防守了吗”。
你怎么看AI被用于自动化攻击这件事？你觉得模型公司该不该为滥用行为承担更多责任？欢迎在评论区聊聊你的看法。