《報(bào)告》揭示了基于AI的12種重要威脅，同時(shí)給予應(yīng)對(duì)建議。根據(jù)《報(bào)告》，2023年基于AI的深度偽造欺詐暴增了3000%，基于AI的釣魚(yú)郵件增長(zhǎng)了1000%；目前已發(fā)現(xiàn)有多個(gè)有國(guó)家背景的APT組織，利用AI實(shí)施了十余起網(wǎng)絡(luò)攻擊事件……但目前，業(yè)界對(duì)AI潛在風(fēng)險(xiǎn)的研究與重視程度仍遠(yuǎn)遠(yuǎn)不足，《報(bào)告》認(rèn)為，在積極擁抱大模型等人工智能技術(shù)之時(shí)，各界對(duì)其安全風(fēng)險(xiǎn)應(yīng)保持警醒。
2022年以后，以ChatGPT為代表的大語(yǔ)言模型（Large Language Model，LLM）AI技術(shù)快速崛起，后續(xù)的進(jìn)展可謂一日千里，迎來(lái)了AI技術(shù)應(yīng)用的大爆發(fā)，展現(xiàn)出來(lái)的能力和效果震驚世界。IDC調(diào)研顯示，67%的中國(guó)企業(yè)已經(jīng)開(kāi)始探索 AIGC 在企業(yè)內(nèi)的應(yīng)用機(jī)會(huì)或進(jìn)行相關(guān)資金投入。IDC預(yù)測(cè)，2026年中國(guó)AI大模型市場(chǎng)規(guī)模將達(dá)到211億美元，人工智能將進(jìn)入大規(guī)模落地應(yīng)用關(guān)鍵期。
《報(bào)告》認(rèn)為，“AI是一種通用技術(shù)，通用就意味著既可以用來(lái)做好事，也可以被用來(lái)干壞事”。具有巨大潛力的AI技術(shù)同時(shí)帶來(lái)兩大主要挑戰(zhàn)：一是放大現(xiàn)有威脅，另一個(gè)是引入新型威脅。奇安信預(yù)計(jì)，未來(lái)十年，人工智能技術(shù)的惡意使用將快速增長(zhǎng)，將在政治安全、網(wǎng)絡(luò)安全、物理安全和軍事安全等方面構(gòu)成嚴(yán)重威脅。
在當(dāng)前波譎云詭、風(fēng)高浪急的國(guó)際形勢(shì)下，快速發(fā)展的AI帶來(lái)了更加復(fù)雜和難以預(yù)測(cè)的軍事威脅，包括相關(guān)武器系統(tǒng)的誤用、濫用甚至惡用，導(dǎo)致戰(zhàn)爭(zhēng)不可控性增加。例如人工智能被用在“機(jī)器人殺手”等致命性自主武器(LAWS)上，可能會(huì)導(dǎo)致無(wú)差別殺戮。數(shù)據(jù)顯示，2024財(cái)年，美國(guó)國(guó)防部計(jì)劃增加與AI相關(guān)的網(wǎng)絡(luò)安全投資，總額約2457億美元，其中674億美元用于網(wǎng)絡(luò)IT和電子戰(zhàn)能力。
AI引入或放大12種威脅，業(yè)界對(duì)AI風(fēng)險(xiǎn)重視不足
《報(bào)告》深入研究了基于AI的深度偽造（Deepfake）、黑產(chǎn)大語(yǔ)言模型基礎(chǔ)設(shè)施、利用AI的自動(dòng)化攻擊、AI武器化、LLM自身安全風(fēng)險(xiǎn)、惡意軟件、釣魚(yú)郵件、虛假內(nèi)容和活動(dòng)生成、硬件傳感器安全等12種重要威脅，對(duì)其技術(shù)原理、危害情況、真實(shí)案例等進(jìn)行了深入的剖析，旨在讓業(yè)界更全面的認(rèn)識(shí)到AI普及帶來(lái)的兩大主要挑戰(zhàn)：一方面放大了現(xiàn)有威脅，比如釣魚(yú)郵件、惡意軟件和社會(huì)工程學(xué)等；另一方面是引入了新型威脅，如AI自動(dòng)化攻擊、AI深度偽造等。
AI威脅該如何應(yīng)對(duì)？行業(yè)亟待加強(qiáng)監(jiān)管，推動(dòng)安全范式變革
《報(bào)告》從安全行業(yè)、監(jiān)管機(jī)構(gòu)、政企機(jī)構(gòu)、網(wǎng)絡(luò)用戶等群體角度，給出了應(yīng)對(duì)AI威脅的建議。其中安全行業(yè)需要繼續(xù)發(fā)揮能力優(yōu)勢(shì)，確保人工智能本身的安全性，并積極利用人工智能用于安全防護(hù)；監(jiān)管機(jī)構(gòu)需要對(duì)AI潛在風(fēng)險(xiǎn)與影響保持持續(xù)關(guān)注，在制度和法規(guī)上及時(shí)提供支持；政企機(jī)構(gòu)需及時(shí)部署AI安全框架和解決方案，以及AI安全評(píng)估服務(wù)和檢測(cè)工具，還要依托AI推動(dòng)安全升級(jí)；網(wǎng)絡(luò)用戶在嘗試最新人工智能應(yīng)用的同時(shí)，同樣需要更新安全知識(shí)，形成良好的安全習(xí)慣。
面對(duì)AI網(wǎng)絡(luò)攻擊、AI武器化等日益嚴(yán)峻的安全威脅，《報(bào)告》認(rèn)為，AI技術(shù)將會(huì)推動(dòng)安全領(lǐng)域發(fā)生范式變革，全行業(yè)需啟動(dòng)人工智能網(wǎng)絡(luò)防御推進(jìn)計(jì)劃。新一代AI技術(shù)與大語(yǔ)言模型改變安全對(duì)抗格局，將會(huì)對(duì)地緣政治競(jìng)爭(zhēng)和國(guó)家安全造成深遠(yuǎn)的影響，各國(guó)正在競(jìng)相加強(qiáng)在人工智能領(lǐng)域的競(jìng)爭(zhēng)，以獲得面向未來(lái)的戰(zhàn)略優(yōu)勢(shì)。全行業(yè)需啟動(dòng)人工智能網(wǎng)絡(luò)防御推進(jìn)計(jì)劃，包括利用防御人工智能對(duì)抗惡意人工智能，扭轉(zhuǎn)“防御者困境”。
奇安信AI安全專家認(rèn)為，一個(gè)影響深遠(yuǎn)的新技術(shù)出現(xiàn)，人們一般傾向于在短期高估它的作用，而又長(zhǎng)期低估其影響。當(dāng)前，攻防雙方都在緊張地探索AI殺手級(jí)的應(yīng)用，數(shù)月甚至數(shù)天就出現(xiàn)重大的變化。專家提醒，無(wú)論監(jiān)管機(jī)構(gòu)、安全行業(yè)，還是政企機(jī)構(gòu)，都需要積極擁抱潛力巨大的AI技術(shù)與大模型，同時(shí)審慎評(píng)估其影響的不確定性，確保監(jiān)管與治理及時(shí)跟進(jìn)，不能先上車再補(bǔ)票。
