肖朝軍@清華大學：高效稀疏注意力機制研究

2025-06-05 09:00 機器學習演算法與自然語言處理

MLNLP

社群是國內外知名的機器學習與自然語言處理社群，受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。


社群的願景是促進國內外自然語言處理，機器學習學術界、產業界和廣大愛好者之間的交流和進步，特別是初學者同學們的進步。
MLNLP學術Talk是MLNLP社群舉辦的學術交流活動，旨在邀請一線青年學者分享最前沿的技術，期待最精彩的思想火花碰撞。
本期MLNLP學術Talk邀請了清華大學肖朝軍在2025年3月1日10:00-11:00為我們帶來“高效稀疏注意力機制研究”的主題報告。詳細資訊如下：
1
講者簡介
個人介紹：
肖朝軍，清華大學計算機系博士生，導師為劉知遠老師。研究方向為大語言模型、高效大模型架構，在人工智慧國際頂級會議及期刊發表論文十餘篇，曾獲錢偉長中文資訊處理科學技術獎一等獎（排名第4），騰訊犀牛鳥精英人才計劃一等獎學金，CIKM最佳資源論文提名獎，全國社會媒體處理大會最佳論文獎等榮譽。
2
報告摘要
隨著以大模型長文字理解與生成為核心的實際應用蓬勃發展，如何降低自注意力機制的高昂計算開銷、提升大模型處理長文字序列的能力，已成為當前研究的熱點問題。本報告旨在系統介紹以稀疏注意力機制為核心的長文字處理相關研究，包括稀疏注意力規則設計、快取壓縮技術、分散式計算最佳化等內容，探索為長文字計算提供高效解決方案的方法與路徑。
3
主持人介紹
趙陽洋，長沙理工大學計算機學院青年教師，2022年12月博士畢業於華南理工大學，曾在荷蘭Utrecht Uiversity進行聯合培養。主要研究方向為AI Agent的規劃決策，目前以第一作者及通訊作者在TACL，EMNLP，AAAI等NLP和AI領域學術會議發表論文10餘篇。主持並參與多項湖南省，廣東省和國家自然科學基金專案，曾獲得華南理工大學校長獎學金等榮譽。
4
直播平臺
影片號
B站

關於我們

MLNLP 社群是由國內外機器學習與自然語言處理學者聯合構建的民間學術社群，目前已經發展為國內外知名的機器學習與自然語言處理社群，旨在促進機器學習，自然語言處理學術界、產業界和廣大愛好者之間的進步。
社群可以為相關從業者的深造、就業及研究等方面提供開放交流平臺。歡迎大家關注和加入我們。

相關文章