（本文閱讀時間：8分鐘）
人工智慧國際頂級學術會議 ICML 2024 正在奧地利維也納舉辦，作為大會的榮譽合作伙伴，微軟將協力打造這場機器學習領域的盛大聚會。其中，微軟亞洲研究院共有25篇論文被 ICML 2024 接收，並在大會的展臺、Oral Presentation、Poster和Workshop中有一系列展示。
此外，我們還為不能現場參會的小夥伴安排了四篇精選論文的線上分享！7月24日（週三）13:30，微軟亞洲研究院將邀請四位論文作者做客微信影片號“微軟亞洲研究院”直播間，為大家分享這次入選本屆大會的精選論文！
本次論文分享內容涉及大語言模型的數學推理、多維度評測、長文字處理以及時間序列預測模型。如果你對人工智慧、大語言模型等領域充滿興趣，不妨來看看這場直播，你將可以與研究員們對話交流，深刻了解相關技術的原理與思路，以及人工智慧和機器學習等領域的最新趨勢和未來發展。
在每篇論文的分享過程中，也歡迎大家參與彈幕或評論區互動、提問，講者將在分享結束後親自為你答疑解惑。期待和你一起共赴這場人工智慧的技術探討。
直播時間：
2024年7月24日13:30-15:30
直播地址：
微信影片號“微軟亞洲研究院”
張星星
微軟亞洲研究院
高階研究員
張星星，微軟亞洲研究院高階研究員，研究方向包括大規模合成數據（Synthetic Data）、複雜推理（Complex Reasoning）、大型語言模型的後訓練（Post-training）及可擴充套件監督（Scalable Oversight）。擔任過ACL 2021-2023、NAACL 2022及EMNLP 2024的領域主席。在加入微軟亞洲研究院之前，於愛丁堡大學獲得自然語言生成領域的博士學位。對於在相關研究方向尋求實習機會的同學，歡迎透過[email protected]與張星星研究員聯絡。
論文題目：
MathScale：用於數學推理的縮放指令調優
MathScale: Scaling Instruction Tuning for Mathematical Reasoning
論文摘要：
大型語言模型（LLMs）在問題解決方面展示了卓越的能力，但在解決數學問題方面仍顯不足。本文提出了MathScale，一種簡單且可擴充套件的生成高質量的數學推理資料方法。受人類數學學習認知機制的啟發，MathScale從種子數學問題中提取高等次概念，然後構建概念圖，並據此生成新的數學問題。本文利用GPT-3.5建立了一個包含兩百萬道數學問答對的數學推理資料集MathScaleQA並顯著提升了LLM的數學推理能力。在MWPBench上的評估結果顯示，MathScale-7B相較於同等大小規模的最佳模型，在微平均和宏平均準確率上分別提升了42.9%和43.7%。
論文連結：
https://arxiv.org/abs/2403.02884
朱凱捷
微軟亞洲研究院社會計算組
實習生
朱凱捷，中國科學院自動化研究所碩士三年級，微軟亞洲研究院實習生，實習導師為微軟亞洲高階研究員王晉東，實習主要研究方向為大模型的動態評測，相關論文發表至ICLR 2024、ICML 2024中。
論文題目：
透過元探測代理對大型語言模型進行動態評估
Dynamic Evaluation of Large Language Models by Meta Probing Agents
論文摘要：
大語言模型的評測因資料汙染問題引發了廣泛關注。現有評測協議（如DyVal）難以擴充套件至多樣化場景，且僅提供整體結果，缺乏細粒度和多維度分析。本文提出了一種基於心理測量學的通用動態評估協議——元探測代理（Meta Probing Agents, MPA）。MPA設計了探測和判斷代理，依據語言理解、問題解決和領域知識三種基本認知能力，動態生成測試樣本，並根據LLM在不同認知能力的測試樣本表現進行多維度分析。
論文連結：
https://arxiv.org/abs/2402.14865
張麗
微軟亞洲研究院
高階研究員
張麗，微軟亞洲研究院高階研究員，現階段研究興趣為大模型長文字以及大模型的自我進化等，此前研究興趣為輕量化模型設計及壓縮研究，期間多項技術已轉化為微軟產品。其中，她主導開發的LongRoPE技術成功整合到微軟的大模型Phi3中，使Phi3能夠支援長達128k的文字上下文視窗。她曾獲得2021年Mobisys最佳論文獎，2021年sigmobile research highlight, 在NSDI, Mobisys, Mobicom, MLsys, KDD, ICCV等頂級會議發表多篇論文，並擁有多項專利。
論文題目：
LongRoPE：將 LLM 上下文視窗擴充套件到 200 萬個令牌以上
LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
論文摘要：
大模型的飛速發展給人們的生活帶來了前所未有的便利。我們是否能夠設想利用大模型的潛力，快速掃描整部百科全書、解析繁瑣複雜的法律條款，甚至對文章進行精準引用呢？在未來，這些將統統可以實現。然而，目前傳統的大模型的上下文視窗限制與昂貴的微調成本使得它們難以處理超長文字，從而限制了其應用潛力。為解決這一問題，本文提出了 LongRoPE。透過精細化非均勻位置插值和漸進式擴充套件策略，LongRoPE 成功將大模型的上下文視窗擴充套件至2048k，不僅保持了原始短上下文視窗的效能，還大幅提升了長文字處理的效果。LongRoPE 的應用前景廣闊，將為大模型的發展帶來更多可能。
論文連結：
https://arxiv.org/abs/2402.13753
王延森
微軟亞洲研究院
研究員
王延森，微軟亞洲研究院人工智慧與機器學習組（上海）研究員，碩士畢業於卡耐基梅隆大學（Carnegie Mellon University），師從Carolyn P. Rosé教授。研究方向為神經學啟發的人工智慧，腦電/時序訊號分析，以及其它人工智慧與神經科學的跨學科研究。
論文題目：
使用脈衝神經網路進行高效且有效的時間序列預測
Efficient and Effective Time-Series Forecasting with Spiking Neural Networks
論文摘要：
本文提出了一個用於時間序列預測任務的SNN框架，其利用了脈衝神經元在處理時間資訊方面的效率。透過一系列實驗，我們發現基於SNN的方法在各種基準測試上取得了與傳統時間序列預測方法相當或更好的結果，同時能耗大大減少。
論文連結：
https://arxiv.org/abs/2402.01533
論文題目：
MathScale: Scaling Instruction Tuning for Mathematical Reasoning
分享者：
張星星
14:00-14:30
論文題目：
Dynamic Evaluation of Large Language Models by Meta Probing Agents
分享者：
朱凱捷
14:30-15:00
論文題目：
LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
分享者：
張麗
15:00-15:30
論文題目：
Efficient and Effective Time-Series Forecasting with Spiking Neural Networks
分享者：
王延森
歡迎鎖定直播間，與你不見不散！
你也許還想看：
關鍵詞
模型
大模型
語言模型
arxiv.org
上下文視窗