AI浪潮對企業安全的影響

在當今數位化世界中，人工智慧（AI）技術的快速發展正引領企業的創新與發展。特別是生成式AI產品浪潮，如自然語言生成（NLG）系統、影像合成和視訊合成等技術，正在改變企業的業務運作和使用者體驗。然而，這一浪潮也帶來了一些安全風險和挑戰。我們將探討生成式AI產品浪潮對企業安全的影響，並提供相應的因應策略。

1. 網路攻擊威脅加劇

AI降低了駭客的進入障礙。駭客可以利用生成式AI快速整合各種網路攻擊方式，便捷地將攻擊方式“武器化”，並且有可能實現攻擊方式創新。普華永道網路安全團隊明顯觀察到，近幾個月客戶收到的網路釣魚郵件等社會工程攻擊顯著增長，適逢ChatGPT被廣泛使用；ChatGPT也被發現用於大量產生更具迷惑性的釣魚網站。

2. 企業敏感資料外洩

安全專家們對企業敏感資料可能的洩漏產生了顧慮，員工不當的輸入行為可能導致敏感資料留存在生成式AI產品的資料庫。 OpenAI的隱私權政策顯示，使用者在使用ChatGPT時輸入的內容將用於訓練其AI演算法模型。再者，ChatGPT曾經被曝出遇到嚴重的安全問題，由於開源庫中的漏洞，部分用戶能夠看到其他用戶的對話歷史記錄的標題。目前亞馬遜、微軟等多家科技巨頭已提醒員工，不要向ChatGPT分享敏感資料。

3. AI投毒風險

訓練數據，對模型投毒是AI面臨的常見安全威脅，惡意數據對AI演算法的結果會產生不良影響。如果營運管理中大量依賴AI，在關鍵問題上可能會做出錯誤的決策。另一方面，生成式AI也有潛在的「偏見」問題。類似於由多位知名專家學者參與的「給AI的100瓶毒藥」活動，企業開發或運用AI的過程中，應有策略地對AI投毒威脅進行積極應對。

4. 隱私保護問題

AI預訓練階段需要大量收集和挖掘數據，其中可能包括不少客戶和員工的隱私資訊。如果AI無法妥善保護和匿名化這些隱私訊息，可能導致隱私洩露，這些隱私資訊甚至可能會被濫用於分析和推測使用者行為。例如，手機應用市場充斥著影像產生軟體，使用者只需要上傳自己的多個頭像，軟體就可以產生不同場景和主題的合成照片。但軟體公司如何利用這些用戶上傳的頭像，是否會帶來隱私保護和其他安全風險，值得關注和應對。

5. 企業安全合規風險

在缺乏有效的管理措施之前，AI產品的大量採用或將導致安全合規問題，對企業安全管理人員來說無疑是巨大的挑戰。由網信部審議通過並經國家發改委、教育部等六部門同意的《生成式人工智慧服務管理暫行辦法》已於2023年8月15日起正式施行12,從技術發展與治理、服務規範、監督檢查和法律責任等角度提出了基本要求，為生成式AI的採用建立了基本的合規框架。

AI安全威脅場景

在了解了生成式AI引入的安全風險之後，下文將在更具體的安全威脅情境中分析問題是如何產生的，並探討生成式AI對企業安全產生了哪些潛移默化的影響。

1. 社會工程學的攻擊

世界知名駭客凱文·米特尼克曾說過：「安全鏈中最薄弱的環節是人員因素」。社會工程駭客慣用的伎倆就是利用花言巧語去誘騙企業員工，而生成式AI的出現則大幅助長了社會工程攻擊行為。生成式AI可以產生高度逼真的偽造內容，包括假新聞、虛假的社群媒體貼文、詐欺郵件等。這些偽造內容可能會誤導用戶，散播假訊息，或欺騙企業員工做出錯誤的決策。生成式AI甚至可以用於合成聲音或視頻，使其看起來像是真實的，這可能被用於詐騙或偽造證據。包頭市公安局電信網路犯罪偵查局發布一起使用智慧AI技術進行電信詐騙的案件，犯罪者透過AI換臉技術在10分鐘內騙走430萬元。

2. 員工無意識的違規

不少科技廠商已經開始積極佈局生成式AI賽道，將大量生成式AI功能整合到產品和服務中。員工可能在使用前並沒有仔細閱讀使用者使用條款，無意間使用了生成式AI產品。企業員工在使用生成式AI時，可能會輸入包含敏感資訊的內容，如財務資料、專案資料，公司機密等，這可能導致企業敏感資訊的外洩。要防範生成式AI對企業敏感資訊的洩露，企業需要採取全面的安全措施：包括增強資料外洩保護技術，對員工的上網行為進行限制；同時需要對員工進行安全培訓，提高資料安全和保密警覺性等。一旦發現員工的違規行為，企業需要立即評估影響並進行及時的處置。

3. 必然的歧視與偏見

AI之所以可能存在歧視與偏見，主要是由於其訓練資料和模型設計的特徵。來自於網路的訓練資料反映了現實世界中的偏見，包括種族、性別、文化、宗教和社會地位等面向。在訓練資料的處理過程中，可能沒有足夠的篩選和清洗措施來排除帶有偏見的資料。同樣，在生成式AI的模型設計和演算法選擇中，可能沒有足夠的注意力放在減少偏見方面。演算法模型在學習過程中會捕捉到訓練資料中的偏見，導致生成的文字也帶有類似的偏見。雖然消除生成式AI的偏見和歧視是一個複雜的挑戰，但是企業可以採取一些措施來幫助減輕這些歧視與偏見3。

4. 對隱私權保護的妥協

在使用AI產品的過程中，為了追求高效的自動化和個人化服務，企業和個人可能會在隱私保護方面進行一些妥協，讓AI可以對部分隱私資料進行收集。除了用戶在使用過程中將個人隱私內容透露給AI，AI還可能分析用戶輸入的內容，透過演算法推測用戶的個人資訊、偏好或行為，進一步侵犯用戶的隱私。資料脫敏和匿名化是一種常見隱私保護措施，但是可能會導致資料的部分資訊遺失，從而降低了生成模型的準確性，個人隱私保護和生成內容品質需要找到一個平衡點。作為AI提供者，應向使用者提供透明的隱私權政策說明，告知他們資料的收集、使用和共享情況，讓使用者能夠做出知情的決策。

5. 監理合規的大趨勢

就目前來看，AI面臨的法律合規風險主要來自於「內容違法違規」和「智慧財產權侵權」等方面。在疏於監管的情況下，AI可能會產生違法或不當的內容，可能涉及侮辱、誹謗、色情、暴力等不合法或違規的元素；另一方面，生成式AI可能會基於已有的受版權保護的內容進行學習，這可能導致智慧財產權侵權。使用生成式AI的企業必須進行合規性審查，以確保其應用符合相關法規和標準，避免不必要的法律風險。企業首先應評估是使用的產品否符合《生成式人工智慧服務管理暫行辦法》的各項規定，同時需要密切注意相關法規的更新和變化，並及時進行調整以確保合規性。企業在與供應商或合作夥伴使用生成式AI時，需要明確各方的權利和責任，並在合約中規定相應的義務和限制。

如何應對AI的風險與挑戰

使用者或企業員工需要體認到，在享受AI帶來的各種便利的同時，仍需對自身個人隱私等敏感資訊加強保護。

1. 避免個人隱私洩露

在使用AI產品之前，員工應確保服務提供者會合理地保障使用者的隱私安全，仔細閱讀隱私權政策和使用者條款，盡可能選擇經過公眾驗證的可靠提供者。在使用過程中盡量避免輸入個人隱私數據，在不需要真實身份資訊的場景下使用虛擬身份或匿名訊息，任何可能的敏感數據都需要在輸入前進行模糊化處理。在網路上，尤其是社群媒體和公共論壇，員工應避免過度分享個人訊息，如姓名、地址、電話號碼等，不輕易將資訊暴露在可公開存取的網站及內容之中。

2. 避免產生內容誤導

由於AI的技術原理限制，其結果內容不可避免有誤導或偏見，產業專家也不斷研究如何避免資料投毒風險。對於重要的訊息，員工應從多個獨立和可信的來源進行驗證，如果同一資訊只出現在一個地方，可能需要更多調查來確認其真實性。尋找結果中所陳述的資訊是否有確鑿的證據支持，如果缺乏實質的依據，可能需要對該資訊持懷疑態度。辨別AI的誤導和偏見需要使用者保持批判性思維，不斷提升自己的數位素養，並了解如何安全地使用其產品和服務。

相對於個人使用者開放的態度，企業對於AI較多還在觀望當中，AI的引進對企業來說是機會也是挑戰。企業需要進行全局的風險考慮，提前進行一些應對性策略部署，建議如下：

1. 企業網路安全評估或提升防禦能力

企業面臨的首要挑戰仍是如何抵禦AI帶來的次世代網路攻擊。對於企業而言當務之急是評估當前的網路安全狀態，明確企業是否具備足夠的安全偵測和防禦能力來應對這些攻擊，識別潛在的網路安全防禦脆弱性，並採取相應的加固措施來積極應對。為了實現上述目標，建議企業基於這些真實的網路攻擊威脅場景進行攻防對抗演練，即網路安全「紅藍對抗」。從不同攻擊場景中提前發現可能存在的網路安全防禦短板，全面系統性地修補防禦缺陷，以此保護企業的IT資產和資料安全。

2. 部署企業內部AI測試環境

想要了解AI的技術原理，更好地對AI模型產生的結果進行把控，企業可以考慮在內部建立自己的AI沙箱測試環境，從而可以防止不可控的生成式AI產品對企業數據的潛在威脅。透過在隔離環境中進行測試，企業可以確保準確及沒有固有偏見的資料能用於AI開發、更能放心地探索和評估模型的表現，而無需擔心敏感資料外洩風險。隔離的測試環境也可以避免資料投毒和其他針對AI的外部攻擊，保持AI模型的穩定性。

3. 建立針對AI的風險管理策略

企業應儘早將AI納入風險管理的目標範圍，針對風險管理架構和策略進行針對進行補充和修改。對使用AI的業務場景進行風險評估，識別潛在的風險和安全漏洞，制定相應的風險規劃，明確應對措施和責任分配。設立嚴格的存取管理制度，確保只有授權的人員可以存取和使用經過企業允許的AI產品。同時應規範使用者的使用行為，對企業員工進行針對AI風險管理的培訓，增強員工的安全意識和應對能力。創業家在研發AI應用亦應採用隱私設計（Privacy by design）的方法，讓最終用戶清楚他們提供的資料將如何使用以及將保留哪些資料。

4. 組成專門的AI研究工作小組

企業可以在組織內部集結專業知識和技能，共同探索AI技術的潛在機會和風險，邀請了解相關領域的成員參與工作小組，包括資料治理專家、AI模型專家、業務領域專家、法律合規專家等。企業管理階層應確保工作小組成員能夠存取所需的數據和資源，以便他們進行探索和實驗，同時鼓勵工作小組成員在測試環境中進行實驗和驗證，以便更好地了解AI的潛在機會和業務應用場景以取得應用先進科技的好處又能平衡當中風險。

結語

AI的發展和應用正在對科技產生重大的衝擊，這可能引發新的生產力革命。 AI是一種強大的技術，它結合了深度學習、自然語言處理和大數據等領域的進步，使電腦系統能夠產生人類語言的內容。企業和員工應該對這種強大的技術進行掌控，確保它的發展和應用在法律、道德和社會責任的框架內進行，這將是未來一段時間面臨重要的課題。