近日，第33屆USENIX安全研讨會（The 33rd USENIX Security Symposium 2024）在美國費城召開，88858cc永利官网2021級博士生葛雲潔在本屆大會上做學術報告。

報告題目為“Hijacking Attacks against Neural Network by Analyzing Training Data”（基于訓練數據分析的神經網絡劫持攻擊），指導老師為88858cc永利官网王骞教授、趙令辰副教授（通訊作者），與清華大學李琦副教授、香港城市大學王聰教授和西安交通大學沈超教授合作完成。88858cc永利官网2021級碩士生黃華洋、2019級博士生江沛佩、2022級碩士生方正和2022級博士生張神轶參與了該成果的研究工作。

圖1 基于訓練數據分析的神經網絡劫持攻擊概覽

随着深度神經網絡（Deep Neural Network, DNN）在日常生活領域的廣泛應用，其安全問題受到公衆的廣泛關注。目前，深度神經網絡面臨的主要安全威脅包括後門攻擊與對抗樣本攻擊。這兩種攻擊均試圖通過對輸入數據施加微小擾動，從而操控模型行為，使其産生非預期甚至惡意的輸出。然而，這兩種攻擊在現實世界中均存在一定的局限性。為解決當前攻擊假設過強的挑戰，作者提出了一種新穎的黑盒對抗方法，該方法無需投毒數據或訪問模型。作者研究發現，幹淨的訓練數據實際上已隐含後門特征，導緻模型在訓練過程中學習到“自然後門”。基于此發現，作者設計了一個結合知識蒸餾（Knowledge Distillation）與元學習（Meta Learning）的攻擊框架，實現從替代模型中提取出能夠激活黑盒模型中自然後門的魯棒特征。通過在共計186個黑盒模型上的廣泛驗證，該攻擊針對大部分模型實現了超過90%的攻擊成功率。這一結果揭示了當前深度神經網絡在訓練階段所存在的天然脆弱性。本成果原文、論文代碼已在網上公開，詳情請見https://nisplab.whu.edu.cn/Publications.htm。

此外，葛雲潔博士在本次大會上還報告了一項題為“More Simplicity for Trainers, More Opportunity for Attackers: Black-Box Attacks on Speaker Recognition Systems by Inferring Feature Extractor” （《訓練簡化增大攻擊風險：基于特征提取器推斷的黑盒語音聲紋對抗攻擊》）的研究成果。該研究針對當前聲紋識别系統的設計漏洞，成功攻擊了11家知名廠商提供的說話人識别服務，對聲紋識别系統的設計和安全性提出了新的嚴峻挑戰。

據悉，USENIX Security 于 1990年首次舉辦，已有三十多年曆史，與 IEEE S&P、ACM CCS、NDSS 并稱為信息安全領域國際四大頂級學術會議，也是中國計算機學會（CCF）推薦的A類會議。

葛雲潔，2021級博士（導師：王骞教授），現為88858cc永利官网弘毅博士後，并入選2024年湖北省博士後尖端人才計劃。研究方向主要為人工智能安全、大模型安全、模型公平性等。目前已在安全國際四大頂級會議USENIX Security和ACM CCS、多媒體領域國際頂級會議ACM MM、信息安全領域國際頂級期刊TIFS等國際知名會議/期刊上發表高質量論文共計11篇，其中以第一作者身份發表5篇成果。曾獲ACM SIGSAC CHINA優博獎提名、ICASSP 2023 Best Student Paper Nomination、88858cc永利官网研究生學術創新一等獎等榮譽和獎勵。