2023年3月18日三場學術報告介紹語言大模型的前沿進展

2023-03-16

時間:3月18日下午兩點半

地點:新校區新珈樓B103教室

報告題目:語言大模型的通用能力分析及其拓展

報告人:張家俊研究員

報告人簡介:張家俊,中國科學院自動化研究所研究員、博士生導師,主要研究方向為機器翻譯和自然語言處理,獲得國家優秀青年科學基金資助,入選中國科協首屆青年人才托舉工程、中國科學院青年創新促進會優秀會員和北京智源青年科學家。發表CCF-A/B類論文80餘篇,出版學術專著2部、譯著1部。獲得中國中文信息學會錢偉長中文信息處理科學技術獎一等獎、青年創新獎一等獎和2020年北京市科學技術獎一等獎等。擔任中國中文信息學會理事、青年工作委員會主任和機器翻譯專委會副主任。擔任ACL/EMNLP/COLING的(資深)領域主席,擔任IEEE/ACM T-ASLP、ACM TALLIP和《自動化學報》等期刊的編委。

報告摘要:以ChatGPT為代表的語言大模型表現出強大的通用能力,可以理解用戶的各種意圖,可以完成若幹任務。其通用性主要由基礎模型、指令學習、提示學習和基于人類反饋的強化學習決定,但是大模型的通用性還是會受到訓練數據類型、規模和質量的限制,難以實現面向任意場景的全面通用。在這個報告中,我将首先跟大家一起探讨語言大模型的通用性表現,然後介紹目前拓展語言大模型通用性的增強技術,最後簡要分享我們在這方面的一點嘗試和探索。

報告題目:大模型中的常識知識探測與萃取

報告人:陳玉博副研究員

報告人簡介:陳玉博,中國科學院自動化研究所模式識别國家重點實驗室副研究員,入選2020年第五屆中國科協青年人才托舉工程、2022年全球華人AI青年學者、2022年中國科學院青年創新促進會會員、2022北京智源人工智能青年科學家俱樂部,擔任中國中文信息學會青年工作委員會秘書長、COLING 2022領域主席、Data Intelligence編委。研究方向為自然語言處理和知識圖譜,在ACL、EMNLP、AAAI等國際重要會議和期刊發表學術論文40餘篇,其中多篇論文入選Paper Digest最具影響力論文,曾獲多次最佳論文獎(NLP-NABD 2016、CCKS 2017、CCL 2020、CCKS 2020),Google Scholar引用量3900餘次。出版學術專著兩部《知識圖譜》、《知識圖譜:算法與實踐》,由人工智能學會推薦入選十三五國家重點圖書出版規劃教材,連續多年在中國科學院大學主講《知識圖譜》課程,2021年獲得中國科學院大學優秀課程。主持國家自然科學基金面上項目、青年基金項目,參與國家自然科學基金重點項目、2030新一代人工智能重大項目、重點研發計劃課題。主持研發的信息抽取和知識圖譜構建系統多次獲得國際/國内學術評測冠亞軍。獲2018年中國中文信息學會“錢偉長中文信息處理科學技術獎”一等獎,2019年度北京市科學技術進步獎一等獎。

  報告摘要:知識圖譜是下一代人工智能的基礎設施,是實現可解釋人工智能的重要手段。然而,現有知識圖譜大都以語言知識和世界知識為主,缺乏常識知識。常識知識對于AI對齊人類具有重要意義。基于大數據、大算力、大模型的大規模預訓練語言模型中蘊含海量的知識,其中是否蘊含常識知識?如何将常識知識從中萃取出來?該報告首先介紹常識相關的基本概念,然後介紹常識知識探測與萃取的最新工作進展,最後介紹實踐過程中的經驗和體會。



報告題目:基于語言模型的一體化政治人物建模框架

報告人:魏忠钰副教授

報告人簡介:魏忠钰,複旦大學大數據學院副教授,智能複雜體系實驗室雙聘研究員,博士生導師,複旦大學數據智能與社會計算實驗室(Fudan DISC)負責人,香港中文大學博士,美國德州大學達拉斯分校博士後。現任中國中文信息學會情感計算專委會副秘書長,社交媒體處理專委會常務委員兼秘書,青年工作委員會執委會副主任。擔任多個重要國際會議包括EMNLP、ACL的高級領域主席和組織委員會成員。主要研究領域包括自然語言處理,社會計算和多模态智能交互技術,在國内外相關領域高水平會議及期刊發表論文80餘篇。曾獲得2019年度中國中文信息學會社會媒體處理新銳獎,2020年度華為技術優秀成果獎,2021年上海市啟明星計劃,2022年中國計算機學會自然語言處理新銳學者獎。

報告摘要:計算政治學的一個核心研究課題是使用量化方法進行議員行為的刻畫。當前議員的行為建模研究很大程度上依賴投票數據,學者們基于議員的曆史投票結果對他們的政治立場進行學習和估計。基于投票數據的建模方法存在兩大問題:第一,模型泛化能力弱,無法針對沒有投票數據積累的議員進行建模;第二,模型可解釋性差,沒有途徑獲取議員行為背後的原因,無法捕捉其政治觀點。針對這兩個問題,講者的研究團隊探索了不同的語言模型驅動的政治人物建模方法。主要工作包括:(1)結合公開言論和投票行為的議員表示學習方法;(2)“領域适配-事件微調”的兩階段政治文本分析框架;(3)語言模型驅動的一體化政治人物建模框架。

邀請人:李晨亮教授、鄒立新副教授


時間 3月18日下午兩點半 地點 新校區新珈樓B103教室
Baidu
sogou