傅立葉:沒有他的“變換”,就沒有今天的人工智慧

導讀:
 從ChatGPT釋出以來,大語言模型(LLM)是所有人追逐的方向,無論是將其看作“萬能神”或是人工智慧應用的基礎構件,其重要性毋庸置疑。而隨著大語言模型擴充套件到多模態領域,就需要更多的工具來幫助其進行處理。

例如,要想將音訊訊號轉換到頻域,提取頻率特徵,供大語言模型進行語音識別、音訊生成等任務;或是進行影像頻域分析,幫助模型理解影像中的紋理、邊緣等特徵,輔助影像描述生成等多模態應用,其中不可或缺的一個數學工具就是“傅立葉變換”。甚至可以說,沒有傅立葉變換,就不會有今天的人工智慧應用。
還不僅如此,熱、聲、光、電……物理學眾多分支學科都在以200多年前發現的“傅立葉變換”為工具,它影響了我們生活的方方面面。
讓·巴普蒂斯·約瑟夫·傅立葉(Baron Jean Baptiste Joseph Fourier),這位生於兩個多世紀前的法國數學家、物理學家,一生致力於數理研究,以他名字命名的研究成果奠定了後世、現代乃至未來許多尖端領域應用與發展的基礎。
在這位偉大數學家誕辰257週年之際,讓我們穿梭時光,一起走進傅立葉的世界。
科學方程式 | 來源
SAIXIANSHENG
一、命運多舛,從孤兒到教師和軍人‍‍‍‍‍‍‍‍‍‍‍

9歲成為孤兒,被教會收養
1768年3月21日,在法國中部歐塞爾(Auxerre)的一個裁縫家庭裡,誕下了他們的第12個孩子,取名讓·巴普蒂斯·約瑟夫·傅立葉。不幸的是,在傅立葉9歲時父母雙亡,在當地教會的撫養下,這個可憐的孤兒才得以生活。
傅立葉在童年即對數學產生了濃厚的興趣
不久之後,他被送入小鎮的軍校就讀。彼時,年少的傅立葉對數學萌生了濃厚興趣。數學之於傅立葉,就像最有吸引力的玩具。而且,傅立葉發現,在他痴迷的數學背後,似乎還藏著更多未解的謎。
傅立葉曾有志成為炮兵,然而在那個出身仍是難以逾越鴻溝的環境下,他那並不高貴身份讓他無緣炮兵這個當時的明星兵種。於是,傅立葉只得作罷,轉而希望成為教師,其所就讀的軍校同意了他的申請,傅立葉成為了一名數學教師。
1789年法國大革命爆發後,21歲的傅立葉返居故里,繼續教書。他熱心政局,同情革命,在地方事務中成績顯著。1794年傅立葉懷著對一代數學名師的崇拜來到巴黎高等師範學校(The Ecole Normale)就讀,成為該校第一批學員,得到了拉格朗日(Lagrange),拉普拉斯(Laplace),蒙日(Monge)等當時著名數學家的指導。
巴黎高等師範學校

從左到右:拉格朗日(Lagrange),拉普拉斯(Laplace),蒙日(Monge)

1795年,巴黎綜合工科學校成立,蒙日任校長,他特別招收了一批數學教師進學校,傅立葉的名字也赫然在列。執教生涯除了帶給傅立葉潛心研究的空間,也讓他養成了簡潔、直接的研究風格,他致力於讓複雜的現象背後的原理簡潔化,讓每個方程都以最直接的方式表達其含義。
巴黎綜合工科學校
1798年,在校長蒙日的推薦下,傅立葉隨拿破崙軍隊遠征埃及。在那裡,傅立葉擔任了新成立的開羅(Cairo)埃及研究院(Institute Egypt)秘書,全面參與研究院負責的研究工作,並就工程和外交決策提供建議,還利用業餘時間考慮數學和物理問題,深得拿破崙器重。
隨拿破崙遠征埃及
SAIXIANSHENG
二、無心插柳,從熱傳導方程到傅立葉級數‍‍
1801年,法國遠征軍失敗而歸,傅立葉也重返巴黎執教。三年的埃及軍旅生涯未曾給傅立葉帶來戰功,卻引燃了他後半生探索研究的熱情。據說身在埃及時,熾熱的沙漠讓傅立葉對“熱”產生了別樣的情感和濃厚的興趣,哪怕回到巴黎後,他也將房間弄得像烘箱一樣。
當然,手握數學利器的傅立葉並不滿足於“享受”熱帶來的感官體驗,而是更進一步地去探究熱背後地原理。卻不曾想,這是個多麼偉大的開端。
1803年前後,他開始研究排成一條直線的有限個分離物體之間的熱運動。1807年底,他向巴黎科學院呈交了一篇題為《熱的傳播》(Mémoire sur la propagation de la chaleur)的論文,包括了熱在諸如矩形、環狀、球狀、柱狀、稜柱形特殊形狀的連續物體中的傳播問題,成功地推匯出著名的熱傳導方程。此時,傅立葉可能還沒有意識到,為了求解自己創立的方程,他給後世的數學、物理、以及諸多方面的技術理論與應用帶了什麼。
熱傳導方程在求解的過程中就帶來了意外驚喜。他發現,解函式可以由三角函式構成的級數形式表示,從而敏銳地預見每一個函式f(t)不論多麼複雜,都可以由三角級數表示。或者說,任何連續週期訊號可以由一組適當的正弦曲線組合而成。
三角級數現在被稱為傅立葉級數,表明數學家們對傅立葉貢獻的肯定和讚賞,它常作為正交級數的範例出現在數學分析中。
然而在面對帶有稜角的訊號時,這個方法尚不完美。為了推動這一問題的深入研究,法國科學院於1810年設立獎金,懸賞徵求有關熱在固體中傳播問題的解答。1811年傅立葉送上了重新修改後的論文《熱在固體中的運動理論》,進一步將他的熱傳導結果推廣到無界體中進行分析,並討論了各種給定初始條件的問題,繪出了在不同條件下的積分法,得到著名的傅立葉積分公式等結果,一舉獲勝。
正弦和餘弦函式影像幾乎是我們最早接觸到的週期函式,簡潔、嚴密而又變化無窮,透射著數學那種純粹的美(也許是驚恐的噩夢)。它存在於許多自然現象的背後,比如聲音。不同的樂器演奏同一個音符時,為什麼聽起來會有明顯的差別?透過研究發現,不同樂器聲音的波形,並不是千篇一律的正弦波,而是在其波形上千差萬別,從而帶來聽感的差異。
在崇尚簡約真相的數學家眼裡,複雜的物件往往都是由簡單的成分依照一定的規律組合而來,既然波可以疊加和干涉,那麼也一定能夠拆分為簡單的個體。傅立葉級數指出了這種拆分的方法,並且是可逆的。那麼如果將這個過程逆轉,想像一下我們得到了什麼:用最簡單的0和1表述出函式,再將其組合,載入在電流上,驅動振膜產生聲音。
對!CD、數字音訊的編碼和工作原理就是這樣的。如果沒有傅立葉級數,就沒有“下載音樂”這個概念了。
SAIXIANSHENG
三、順手拈來,傅立葉變換由此誕生‍‍
不僅是傅立葉級數,醉心於熱學的傅立葉為了解決自己提出的研究命題,還創造了許多數學工具,而這些工具在兩個世紀後成為了人工智慧發展的基石。
1822年,傅立葉發表了《熱的解析理論》。這是傅立葉數學和物理貢獻的代表作,被認為是數學的經典文獻之一,對數學和理論物理學的發展都產生了巨大的影響。著作提出了“將任意函式展開為三角級數”的理論,並在後來拓展為定義在實數上的函式。這種展開是函式表達方式的變換,並且透過變形之後能表達出更豐富的含義,也有更廣泛的應用。於是便誕生了那個讓無數理工學生又愛又恨的名字:傅立葉變換。
傅立葉變換有著鮮明的物理背景,例如光、電、聲等的波形的傅立葉變換即為其頻譜,為訊號處理創造了極為便利的工具。
舉個簡單的例子:比如一群人在一起,我們希望做個簡單的分類並登記,以便以後方便聯絡、組織和管理。那麼我們只需要對所有人的18位身份證號做一個“變換”,比如“抽取前兩位/四位/六位”,那麼就可以瞬間形成來自同一個省、市、甚至區/縣城的同鄉會;而“抽取7-14”位,則可以區分年齡、屬相和星座。對於音訊訊號,進行傅立葉變換能夠讓同頻的聲音在頻譜圖上形成一個尖峰。如果在進一步處理時只保留它,就實現了降噪;如果將這個部分消除,就有了伴唱音訊的的“消原聲”功能。對於影像訊號,同頻的部分則會形成一個亮點。如果對著人臉拍照,那麼皺紋的部分在訊號中透過傅立葉變化就成為了亮點。只要去除一定的亮點,再將其還原,這就是美顏的原理!
在更多的專業領域,傅立葉變換也是極為重要和高效的分析工具,可以說,只要與資訊、訊號有關的地方,都離不開傅立葉變換。
在處理訊號和影像資訊時,傅立葉變換可以快速提取高頻資訊,進而幫助模型更高效精準地學習影像特徵。對語言模型而言,分析自然語言的週期性和層級結構尤為重要,這正是傅立葉分析的用武之地;同時,還可以對輸入序列中的高頻噪聲和不重要成分做篩除處理,幫助語言模型更專注於重要資訊。
面對神經網路,傅立葉變換可以實現壓縮,在保持模型效能的同時,顯著降低複雜度。此外,深度學習領域的卷積神經網路中,卷積操作本質與傅立葉變換也密切相關,當卷積核非常大的情況下,例如三維體資料或影片資料,透過頻域計算實現卷積的計算效率更高。
SAIXIANSHENG
四、與熱同行,200年後依然名垂青史‍‍
如果說傅立葉前半生命運多舛,後半生則是順風順水。在開羅期間,傅立葉就因其卓越才能受到拿破崙器重。回到法國後,他還曾被任命為伊澤爾地區首府格勒諾布林的高階官員,又在1808年受封男爵。1822年,傅立葉被選為法國科學院的終身秘書,這是極有權力的職位。1827年,他被選為法蘭西學院院士,還被英國皇家學會選為外國會員。
傅立葉之墓
1830年5月16日,這位偉大的數學家在留給世間豐富而寶貴的知識財富後,離世而去。關於他離世的原因說法不一,但在所有光臨過傅立葉家的人留下的記錄中,他的房間都是“烤爐一樣的溫度”。埃及軍旅生涯讓傅立葉對“熱”著迷,他一生執迷於對“熱”的研究,認為“熱”含有無上的力量,能夠解決一切問題,包括健康。一種說法是,傅立葉總是用毯子裹著自己保溫,欠佳的健康加上毯子的束縛,5月4日他從樓梯上滾了下來,健康狀況進一步惡化,他卻拒絕就醫,最終於5月16日離世。另一種說法則更加令人啼笑皆非:在他的家中,他身著暖和的衣服,坐在爐火旁,熱死了。
銘刻埃菲爾鐵塔
後世的人們用各種方法來表達對傅立葉的尊崇:1992年1月30日發現的一顆位於小行星帶的天體,即小行星10101,被命名為傅立葉星 ;舉世聞名的埃菲爾鐵塔上,銘刻著七十二科學家和工程師的名字,傅立葉赫然在列;格勒諾布林第一大學,一所在法國、歐洲乃至全世界都有很高聲譽的科學、醫學大學,也被譽為約瑟夫·傅立葉大學。
實際上,站在200多年後的視角來看,無論用怎樣的詞去褒揚傅立葉都是不過分的,因為他的研究成果對於純粹數學、數學物理、乃至近現代甚至未來的發展,都是強大的推進器,他所展示的數學物理模型的方法和推演技巧更是為後世的在探索數學物理未知領域時樹立了典範。
當我們在暢享ChatGPT所帶來的的便捷時,一定記住這一點:沒有傅立葉變換,就不會有今天的人工智慧。

宣告:
原文首發於微信公眾號“科學方程式”,賽先生獲授權轉載。
星標《賽先生》公眾號,
不要錯過我們每日為您精心準備的高質量文章!
歡迎關注我們,投稿、授權等請聯絡
合作請新增微信SxsLive2022

相關文章