實習派|王拓為：從初探到突破，做更有影響力的系統研究

（本文閱讀時間：8分鐘）

“做更有影響力的研究，讓學術成果發揮現實作用。”

這是清華大學計算機科學與技術系博士二年級學生王拓為科研道路上的方向標，也是一座始終閃耀的燈塔。

從初來實習的零經驗本科生，到在全球高效能計算與系統結構領域的頂級會議SC上“一投即中”成功發表論文，王拓為一路進階，展現了從學習到創造的蛻變。

微軟亞洲研究院異構計算組高階研究員李琨，不僅是他成長過程中的引路人，更是他從科研新手成為初具鋒芒的青年學者的見證者。

如何堅定方向，如何做出卓有成效的研究，又如何能夠快速成長為“獨當一面”的優秀科研人？讓我們走進王拓為的實習體驗，尋找答案。

生活中的王拓為

轉換身份，積蓄厚積薄發的實力

本科初入實驗室時，王拓為曾在演算法設計和系統最佳化之間權衡。最終他錨定系統領域，希望透過最大限度激發硬體計算效能，為系統飛躍性提升產生基礎性影響。

要做科研，更要做有影響力的科研。堅定這一信念，王拓為在2022年秋天來到了微軟亞洲研究院異構計算組，開啟了他的科研之旅。

提起剛開始實習的日子，王拓為覺得就像“摸著石頭過河”。在學校實驗室的他是“跟隨者”，在師兄姐的帶領下復現實驗，但在微軟亞洲研究院，他的身份迅速轉換成了“創造者”。

構建科研想法，探索實驗方法，撰寫高質量論文，擴大成果知名度——步驟眾多，環環相扣。在這之前，王拓為並不瞭解一次完整科研實踐的構成，帶著些許迷茫，他迎來了第一個課題。

以密度泛函理論為代表的計算化學方法雖然廣泛應用於藥物設計、材料科學和能源生產等領域，但其高昂的計算開銷成為大規模分子系統應用的障礙。針對這一問題，在與團隊的合作下，王拓為從系統角度出發，提出了一種全新的解決方案：彈性並行轉換技術（EPT）。

EPT 透過將複雜的分子系統抽象並分解為適合並行處理的單元，最佳化任務劃分粒度，並自動生成專為 GPU 架構設計的高效計算核心。這一創新在保持計算精度的前提下，將效能提升了10倍以上，為科學研究邁向更高效、更精確、更大規模的計算奠定了系統基礎和技術支撐。

分子系統工作（EPT）系統框架圖

更重要的是，這項工作首次嘗試從系統角度重新定義和設計科學計算任務，以將傳統的科學計算應用引入系統社群，為跨領域融合探索了新路徑。雖然這一研究目前仍在持續推進，但王拓為並不急待一個結果，而是認真打磨技術，默默積累經驗。

科研的挑戰不僅在技術層面，還在於如何表達和傳播研究成果。對於初次嘗試撰寫科研論文的王拓為來說，這也是一場“硬仗”。由於缺乏科研論文寫作經驗，王拓為還記得當時將自認滿意的論文提交給mentor李琨後，得到的反饋卻並不理想。

王拓為（右）與 Mentor 李琨（左）

但李琨給予了王拓為充分的包容和細緻的指導，他從邏輯梳理、語言表達、圖文排版等細節出發，一對一講解科研文章寫作的“獨門絕技”。與此同時，王拓為也會主動交流個人想法。潤物細無聲之中，兩人完成磨合並逐漸形成默契，他們的關係“亦師亦友”，十分融洽。

當需要與外部合作時，李琨會積極聯絡相關領域的專家學者提供幫助；當需要更多硬體資源時，他也會努力協調申請，利用微軟亞洲研究院的豐富資源，確保王拓為的科研工作沒有後顧之憂。

“在工作中，拓為展現了強烈的求知慾與內驅力，他不僅充滿好奇心，還總能發現別人忽略的問題，提出獨特的見解。”這是李琨對王拓為個人特質的欣賞，也是他從不侷限其天馬行空想法的原因。

此外，李琨還指出王拓為最可貴的一點，是不急功近利。他的目標從來不是為了快速發幾篇論文，而是追求將問題深入研究並努力做到極致，讓工作真正具有持久的影響力。這與微軟亞洲研究院的科研理念非常契合。

雙線並行，文章獲國際超算大會SC’24錄用

科學研究往往需要時間的沉澱，最初的分子系統效能最佳化工作雖然仍待完善，卻為王拓為打下了紮實的基礎。此時李琨建議他“兩條腿走路”：在推進已有工作的同時，嘗試新的課題。

經過討論，他們決定將新的研究方向定為大模型微調。在一次閱讀文獻時，王拓為發現了一篇介紹稀疏化技術的文章中的觀點可以與新的研究方向巧妙結合。這次“靈感的碰撞”催生了一個全新的研究方向：如何透過稀疏化技術降低大模型微調的成本。

稀疏化微調工作（Long Exposure）

在這一領域，已有的引數高效微調技術提出凍結預訓練模型的大部分引數，僅微調少量（額外）引數，在實際中被廣泛使用。然而，王拓為發現，可訓練引數數量的減少可以大大縮短微調中引數更新階段的計算和記憶體開銷，但是卻無法相應地作用於開銷更大的前向傳播和反向傳播階段。

針對上述問題，他定義了一種全新的模型稀疏正規化 Shadowy Sparsity，這在模型引數高效微調中獨有且在此前從未得到發掘。在此基礎上，王拓為進一步設計出高效模型微調系統 Long Exposure，該系統在稀疏捕捉、預測和計算方面進行了全面最佳化，實現了微調效率的2.49倍提升。這項研究首次探索了稀疏性在模型微調中的應用，為系統最佳化開闢了新路徑，併成功被高效能計算領域頂會 SC’24 錄用。

王拓為在國際超算大會SC'24作報告

提起成功感受，王拓為深感努力與積累的重要性。他再次回憶起目前自己仍在推進的科學計算工作，如果沒有來時一路的坎坷與積累，很難有如今厚積薄發的收穫。

“有時候努力不一定要以你認為理所應當的形式回報給你，只要有付出，總會在未來不期而遇的某個時刻用到它。”王拓為感慨萬分。

與優秀同行，在研究院做更有影響力的工作

實習光陰荏苒如流，如今王拓為已從本科畢業，在清華大學繼續攻讀博士學位。李琨見證了他身上的飛速成長：“拓為已經具備了博士生應有的水準，能夠獨立地推動科研專案的進行並完成技術落地。”

回顧來時路，王拓為難忘李琨的耐心與包容，如果沒有mentor李琨始終如一的信任與幫助，他或許很難積蓄勇氣與信心收穫現在的成功。

此外，他也特別感謝微軟亞洲研究院首席研究員曹婷老師的悉心指導。曹婷老師在課題方向的選擇和具體實驗的細節上給予了王拓為諸多建議，同時也鼓勵他在探索新方向時保持信心與專注。“曹老師的建議讓我受益匪淺，她的支援讓我對科研的未知領域充滿勇氣。”王拓為說。

王拓為在清華大學的導師——計算機科學與技術系副教授任炬老師，同樣長期指導王拓為的成長。任炬老師會定期與王拓為進行科研討論，瞭解他目前的科研進展，並從個人角度提供新的建議。關於大模型稀疏化微調的文章，任炬老師也作為通訊作者參與其中。“任老師的科研理念與研究院的異構計算組非常契合，我在雙方的指導下，也得以更快地成長。”王拓為感激道。

除了良師引路，微軟亞洲研究院還給予了更多新知。這裡有不同高校的實習生同學，各專業領域的研究員。與多元的優秀人才前行，彼此閱歷不同、背景不同，思想的碰撞使他受益匪淺，於微軟亞洲研究院窺見無限天地。