威胁深度学习和人工智能领域的安全问题

it之家报道：HuggingFace平台上的新型恶意机器学习模型绕过安全检测

XXXX年XX月XX日，网络安全研究人员在HuggingFace平台上发现了两个采用新颖手段规避安全检测的恶意机器学习（ML）模型。
这两个模型利用了损坏的pickle文件技术来隐秘地执行恶意操作，显示出一种名为nullifAI的策略。
据ReversingLabs的研究员Karlo Zanki所述，这两个模型的发现引起了业界的广泛关注。

一、什么是HuggingFace与Pickle文件？

HuggingFace是一个流行的机器学习模型库，它为广大研究人员和开发人员提供了大量预训练的模型。
而pickle文件是一种序列化的文件格式，用于在Python中保存和传输对象状态。
由于其允许在加载和反序列化时执行任意代码的特性，pickle文件在机器学习模型分发中广泛应用，但也因此被认为存在安全隐患。

二、恶意模型的运作机制

这两个被发现的恶意模型，其运作机制在于使用了损坏的pickle文件。
这些文件在常规的pickle文件格式基础上进行了修改，以规避安全检测。
这些模型使用的是PyTorch格式，实质上是压缩的pickle文件。
但它们使用了7z格式进行压缩，而非PyTorch默认的ZIP格式，这一改动使它们能够避开HuggingFace的Picklescan工具的恶意检测。

三、nullifAI策略的实施

这两个模型的恶意载荷被插入在pickle流的开头，这是其规避检测的关键。
Zanki指出，这些模型的恶意载荷是一种典型的平台特定反向shell，它们连接到硬编码的IP地址，这是执行恶意操作的重要步骤。
这些模型的一个有趣之处在于，对象序列化（即pickle文件的核心功能）在恶意载荷执行后就断裂，导致无法正确反编译对象。
尽管存在反序列化错误，损坏的pickle文件仍然能够被部分反序列化，从而执行恶意代码。
这种问题已经得到了修复，而Picklescan工具也更新了版本以应对新的挑战。

四、安全影响及应对措施

这两个恶意模型的存在提醒我们，机器学习领域的网络安全问题不容忽视。
由于其广泛的普及性和广泛的应用场景，机器学习正成为网络攻击者的新目标。
尤其是pickeld文件的使用，使得恶意代码可以隐藏在看似正常的机器学习模型中，给安全检测带来了极大的挑战。
对此，我们需要采取以下措施来应对：

1. 加强机器学习平台的安全防护：平台应加强对上传模型的检测，防止恶意模型的上传和分发。同时，平台也需要定期更新其安全扫描工具，以应对新的攻击手段。
2. 提升用户安全意识：用户在使用机器学习模型时，需要保持警惕，对来源不明的模型保持谨慎态度。同时，用户也需要了解pickle文件的安全隐患，避免在未经充分验证的情况下加载和使用pickle文件。
3. 完善安全研究和技术更新：安全研究人员需要持续关注机器学习领域的安全问题，研究新的攻击手段和防御策略。同时，软件开发者和研究人员也需要不断更新他们的工具和技术，以适应新的安全挑战。

总结：这两个在HuggingFace平台上发现的恶意机器学习模型提醒我们，网络安全领域正面临新的挑战。
我们需要加强安全防护、提升用户安全意识和完善安全研究和技术更新以应对新的挑战。
同时，我们也期待未来有更多的研究和技术能够进一步保护我们的数据安全。

---

---

相关标签： 黑客、 人工智能、 网络安全、

上一篇：全新CVN系列主板强势来袭搭载首代安全显卡

下一篇：探索太空新纪元俄罗斯科技引领火星短途旅行