ChatGPT的熱烈炒作、廣泛使用和快速蔓延提升了最終用戶對LLM和GenAI的認識,引發了一波商業實驗和AI初創企業的浪潮。2023年4月的Gartner網絡研討會發現,381名中國參會人員有70%已經或計劃啟動GenAI項?,其中6%已在生產環境部署了GenAI,26%在試點GenAI,38%處于規劃階段。
CIO及其安全團隊需要為GenAI的影響做好準備,在以下四個方面采取措施:
1. 為構建GenAI應用提供安全保護:AI應用攻擊面不斷擴大,產生了新的潛在風險,需要對現有應用安全實踐進行調整。
2. 管理和監控使用GenAI的方式:各企業機構正在探索如何使用嵌?現有應用的GenAI助手,這些應用都有獨特的安全要求,是傳統安全控制措施無法滿足的。
3. 利用生成式網絡安全AI進行防御:有效抓住GenAI機遇,從而改善安全和風險管理、 優化資源、抵御新興攻擊技術,甚至降低成本。Gartner將生成式?絡安全AI定義為 GenAI技術在網絡安全中的應用。
4. 為受到GenAI攻擊做好準備:GenAI工具和技術不斷發展,各企業機構必須適應惡意行為者不斷發展的技術或新的攻擊向量。
圖1對此進行了說明

CIO及其安全團隊不應只是試圖跟上新技術發展的步伐,也需要規劃和建立一致而有效的AI安全治理計劃,以應對GenAI采用激增的局面和各類新興場景。
AI安全治理項目應整體覆蓋組織架構、技術和政策。其早期任務之一就是制定所有構建或部署AI的團隊必須遵循的標準,包括安全AI開發、AI數據安全和AI安全應急響應標準。中國CIO和安全團隊應與利益相關者和企業機構領導者合作,制定五個階段的AI安全治理計劃(見表1)。
表1: AI安全治理項目的五個階段及主要行動
階段 | 主要行動 |
1.樹立意識 | 這一階段的關鍵是了解AI安全現狀。初步建立跨職能的指導委員會,可為確保所有利益相關者的參與打下基礎。 具體任務:
|
2.發現與維護 | 發現過程在這一階段真正開始。很多CIO發現,并沒有人在負責AI安全,也沒有人可以準確地清點企業的全部AI應用。 具體任務:
|
3.彌補差距 | 在這一階段,安全漏洞被明顯摸清,為制定補救規劃奠定了基礎。使用第三方Gen AI應用或與供應商合作時,會明確定義選擇標準和流程。 具體任務:
|
4.集成 | 在這一階段,初步的關鍵網絡安全修復工作已經完成,重點轉向持續監控和長期管理 具體任務:
|
5.優化 | 重點是優化網絡安全工作,以實現業務韌性、運營差異化和增長。 具體任務:
|