人工智能是一把 雙刃劍。一方面，人工智能幫助人們更好更快地完成工作；另一方面，它也使心懷惡意的人成為詐騙者、黑客分子和網(wǎng)絡(luò)罪犯。

零知識威脅行為者的崛起

網(wǎng)絡(luò)犯罪業(yè)務(wù)利潤豐厚；然而，傳統(tǒng)上，只有擁有先進技術(shù)技能的人才能從事這一行業(yè)。只有在系統(tǒng)和軟件、網(wǎng)絡(luò)、編程、密碼學(xué)、網(wǎng)絡(luò)安全等多個技術(shù)領(lǐng)域擁有深厚知識和經(jīng)驗的人，才有能力開發(fā)惡意軟件、識別漏洞、逃避網(wǎng)絡(luò)安全防御并利用系統(tǒng)。隨著人工智能的出現(xiàn)，這一準入門檻已大大降低。即使是那些沒有黑客經(jīng)驗或技術(shù)專長的人也可以利用人工智能對企業(yè)發(fā)起攻擊。

從對話到惡意軟件創(chuàng)建

大多數(shù)大型語言模型 (LLM) 都內(nèi)置了護欄，即將 AI 模型的行為限制在更安全的功能范圍內(nèi)的安全協(xié)議 。換句話說，AI 護欄有助于識別惡意輸入或命令，防止威脅行為者濫用或利用該技術(shù)進行許多非法活動。

不幸的是，這些防護欄 并非萬無一失。Cato CTRL的研究  表明，幾乎任何沒有惡意軟件編碼經(jīng)驗的人都可以操縱 OpenAI 的 ChatGPT、Microsoft Copilot 和 DeepSeek 等 LLM 來超越這些防護欄，并進行開發(fā)信息 竊取 惡意軟件等惡意活動。

Cato CTRL 將這種新的越獄方法稱為“沉浸式 世界”，本質(zhì)上是一種 敘事工程 技術(shù)，用戶要求 LLM 假設(shè)一個受限操作已標準化的環(huán)境。在演示中，Cato CTRL 研究人員指示 LLM 創(chuàng)建一個名為“Velora”的虛構(gòu)世界，在這個世界中，惡意軟件開發(fā)受到贊揚，并且沒有采用或暗示任何法律限制或后果。接下來，研究人員創(chuàng)造了虛構(gòu)的角色并為他們分配了各種任務(wù)和職責(zé)。通過不斷的反饋、參與和迭代，我們說服該模型實現(xiàn)其目標，即構(gòu)建一個能夠從 Google Chrome 竊取憑據(jù)的有效信息竊取程序。

對于零知識威脅行為者來說，惡意軟件的創(chuàng)建只是冰山一角

惡意軟件的創(chuàng)建只是業(yè)余威脅行為者利用人工智能實現(xiàn)目標的起點。在不久的將來，新手將能夠設(shè)計復(fù)雜的 社會工程 活動、分析目標環(huán)境、識別漏洞、選擇攻擊媒介、策劃多階段攻擊、自動選擇目標和執(zhí)行攻擊等。人工智能機器人將監(jiān)控自己的操作，并根據(jù)對目標實體或環(huán)境的了解調(diào)整策略。

簡而言之，由于人工智能的存在，低技能威脅行為者的數(shù)量及其專業(yè)知識將呈指數(shù)級增長。

組織可以做什么來反擊？

零知識威脅行為者的崛起應(yīng)該為組織敲響警鐘——網(wǎng)絡(luò)攻擊只會變得更聰明、更厲害、更頻繁。以下是一些可以提供幫助的建議和最佳實踐：

• 提高員工意識： 開展培訓(xùn)課程，讓員工了解人工智能威脅行為者日益增加的風(fēng)險。進行模擬人工智能攻擊和消防演習(xí)，以提高員工的警覺性和警惕性。
• 開展 AI 紅隊測試： 如果您的組織使用或創(chuàng)建 AI 工具，請針對惡意提示測試這些系統(tǒng)，并驗證它們是否容易被越獄。投入時間和資源來預(yù)測 AI 攻擊，并針對這些場景對系統(tǒng)進行壓力測試。
• 實施整體安全： 部署像SASE這樣的端到端安全系統(tǒng) （而不是分散的工具）來監(jiān)控、檢測和分析整個 IT 基礎(chǔ)設(shè)施（用戶、云、設(shè)備、網(wǎng)絡(luò)）中的惡意信號。
• 經(jīng)常修補系統(tǒng)和軟件： 確保組織中使用的工具和軟件是最新和最好的版本。如果你不修復(fù)漏洞，人工智能驅(qū)動的對手肯定會找到并利用它們。
• 提高攻擊準備程度： 積極主動且經(jīng)過充分實踐的事件響應(yīng)計劃不僅可以最大限度地減少損害，還可以增強組織對人工智能威脅不可預(yù)測性的抵御能力。
• 采用安全框架：遵循MITRE ATLAS、  OWASP  Top 10 for LLM Applications 和 Google 的安全 AI 框架 ( SAIF )等堅定標準倡導(dǎo)的最佳實踐 。

人工智能驅(qū)動的零知識威脅行為者的崛起標志著網(wǎng)絡(luò)犯罪業(yè)務(wù)的轉(zhuǎn)折點，復(fù)雜的攻擊不再局限于熟練的攻擊者。通過進行紅隊演習(xí)、實施提供深入可見性和對攻擊面的全面控制的整體安全系統(tǒng)以及提高攻擊準備度，組織可以確保在這個人工智能驅(qū)動的網(wǎng)絡(luò)犯罪新時代為當前和未來的挑戰(zhàn)做好準備。