從研究傳統(tǒng)軟件安全的角度來(lái)說(shuō)，大模型作為一種軟件、一種系統(tǒng)、一種軟件產(chǎn)品，是否也存在傳統(tǒng)軟件安全領(lǐng)域的問(wèn)題？是否也會(huì)被入侵？它所運(yùn)行的系統(tǒng)是否也會(huì)被攻擊者控制，進(jìn)而去控制大模型的行為？

9月7日至8日的騰訊數(shù)字生態(tài)大會(huì)上，騰訊安全團(tuán)隊(duì)發(fā)起對(duì)大模型網(wǎng)絡(luò)安全的討論。騰訊安全玄武實(shí)驗(yàn)室負(fù)責(zé)人于旸表示，大模型自身存在的一些安全問(wèn)題。

具體來(lái)說(shuō)，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授朱軍表示，人工智能幾大要素——數(shù)據(jù)、模型算法和應(yīng)用場(chǎng)景中，數(shù)據(jù)端存在的安全問(wèn)題有隱私保護(hù)、儲(chǔ)存安全、數(shù)據(jù)惡意泄露等。模型算法端如目前使用較廣泛的深度學(xué)習(xí)，或經(jīng)典機(jī)器學(xué)習(xí)模型，本身也可能存在安全問(wèn)題。另外，當(dāng)人工智能可以快速高效地生成一些以假亂真的內(nèi)容時(shí)，它可能會(huì)引起監(jiān)管和倫理上的風(fēng)險(xiǎn)，即應(yīng)用端的安全問(wèn)題。

(相關(guān)資料圖)

騰訊安全策略發(fā)展中心總經(jīng)理呂一平大會(huì)期間與多位行業(yè)人士交流，發(fā)現(xiàn)大家對(duì)大模型所帶來(lái)的新的網(wǎng)絡(luò)安全問(wèn)題已有關(guān)注。此外，安全大模型能否應(yīng)用在類似于安全攻防環(huán)節(jié)中，也就是大模型成為了你的對(duì)手，如通過(guò)大模型高效生成社工腳本、生成惡意木馬等，這也是客戶比較關(guān)心的。

可能引發(fā)的安全危機(jī)該如何應(yīng)對(duì)？于旸表示，人工智能技術(shù)在網(wǎng)絡(luò)安全行業(yè)的應(yīng)用已有一段時(shí)間了，當(dāng)時(shí)很多探索者將圖像算法運(yùn)用在網(wǎng)絡(luò)安全檢測(cè)上，并取得了不錯(cuò)的效果，但一直沒有得到特別大規(guī)模的應(yīng)用。很多較為成功的案例僅僅聚焦在一些特定場(chǎng)景和領(lǐng)域，并未真正實(shí)現(xiàn)行業(yè)性的變革。由此可見，短期內(nèi)深度學(xué)習(xí)相關(guān)技術(shù)在安全行業(yè)仍有一定的局限性。

這與深度學(xué)習(xí)技術(shù)難以獲得足夠多的數(shù)據(jù)有關(guān)，于旸歸納了三方面原因：第一，在網(wǎng)絡(luò)安全領(lǐng)域很難獲得足夠的打標(biāo)數(shù)據(jù)；第二，如果用相關(guān)技術(shù)去研究漏洞，則需要有足夠多的漏洞數(shù)據(jù)去進(jìn)行訓(xùn)練，但現(xiàn)存的網(wǎng)絡(luò)安全漏洞量級(jí)并不足以形成足夠的、成熟的、可用的數(shù)據(jù)；第三，數(shù)據(jù)打標(biāo)需要相關(guān)技術(shù)人員去操作，這需要消耗很多昂貴的技術(shù)人力。這些原因?qū)е铝松疃葘W(xué)習(xí)技術(shù)在安全領(lǐng)域的應(yīng)用存在掣肘。

這一局面有可能被大模型技術(shù)改變。于旸表示，當(dāng)用大模型來(lái)開展一些檢測(cè)分析工作時(shí)，它不需要通過(guò)“投喂”大量相關(guān)數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練了，基于其強(qiáng)大的推理能力，在少量的調(diào)整下就可以實(shí)現(xiàn)指令的執(zhí)行。

在于旸看來(lái)，大模型和深度學(xué)習(xí)等方法不太一樣，大模型可以使用工具，包括網(wǎng)絡(luò)攻防的工具、編程的工具等，通過(guò)借助外部工具并對(duì)工具處理結(jié)果進(jìn)行分析，判斷是否需要再用別的工具，從而完成任務(wù)需求。這樣一來(lái)，大模型的能力越大，能夠改變的領(lǐng)域也越多。

但在眼下的風(fēng)險(xiǎn)應(yīng)對(duì)舉措上，呂一平對(duì)記者表示，短期來(lái)看，騰訊云安全中心將發(fā)布類似于微軟AI Copilot的產(chǎn)品，幫助客戶分析安全事件，將安全運(yùn)營(yíng)、安全分析的能力門檻降低。另在7日上午的主峰會(huì)上，騰訊云總裁邱躍鵬發(fā)布了一款由玄武實(shí)驗(yàn)室研發(fā)的隱私保護(hù)工具。通過(guò)一種生成式雙向脫敏技術(shù)，保障用戶在使用AIGC類產(chǎn)品時(shí)，隱私信息不會(huì)隨著prompt提交給模型方泄密。

長(zhǎng)期來(lái)看，呂一平認(rèn)為目前行業(yè)對(duì)大模型的關(guān)注度實(shí)在太高，但還遠(yuǎn)未到廣泛應(yīng)用的階段。安全是伴隨的屬性，伴隨著技術(shù)的應(yīng)用落地才會(huì)逐漸誕生對(duì)應(yīng)的策略。

“網(wǎng)絡(luò)安全產(chǎn)業(yè)之前一直面臨一個(gè)問(wèn)題，有很多事情必須要依靠人去做，這就帶來(lái)了一個(gè)問(wèn)題：成本居高不下。網(wǎng)絡(luò)安全威脅是全球化的，地球上每一分鐘都有還沒有睡覺的攻擊者，這種問(wèn)題在之前可能都是矛盾，今天有了大模型技術(shù)的加持，我們看到相關(guān)的問(wèn)題解決可能出現(xiàn)了曙光。”于旸稱。

如果從大模型看更大范圍的“智能化”趨勢(shì)，騰訊集團(tuán)副總裁、騰訊安全總裁丁珂表示，產(chǎn)業(yè)互聯(lián)網(wǎng)進(jìn)入“智能化”下半場(chǎng)，企業(yè)安全建設(shè)將面臨四個(gè)方面的挑戰(zhàn)：企業(yè)安全防御的半徑將大幅增加、遭遇攻擊后的反應(yīng)窗口期將進(jìn)一步縮短、辨別“人”和“機(jī)器”的難度增大、現(xiàn)存的安全“情報(bào)庫(kù)”逐漸失效。

在此趨勢(shì)下，丁珂提出三個(gè)調(diào)整思路：擁抱智能化時(shí)代，需要建立發(fā)展驅(qū)動(dòng)的安全建設(shè)理念；建立可度量的安全體系，評(píng)估安全建設(shè)的有效性；應(yīng)對(duì)智能化時(shí)代的攻防趨勢(shì)，企業(yè)需要打造內(nèi)在自適應(yīng)的“安全免疫力”。

標(biāo)簽：