關注飛總聊IT，瞭解IT行業的方方面面。
凌晨兩點，李峰蹲在上海張江某寫字樓的樓道里抽菸。手機螢幕上是剛收到的郵件：“您投遞的‘Spark高階工程師’崗位已關閉，建議嘗試‘AI資料流水線操作員’職位。”
他把菸頭狠狠摁滅在垃圾桶上，對著玻璃窗上的倒影罵了一句：“去他媽的！當年用Spark給公司省了幾百萬伺服器成本，現在讓我去操作介面點按鈕？”
這一幕在2025年的大資料圈早已不新鮮——那些以為“只要不碰Hadoop就能躲過一劫”的人，正被更殘酷的現實暴擊：雲廠商用託管服務把Spark、Trino、Flink打包成“傻瓜套餐”，就像外賣消滅了泡麵，你連燒熱水的機會都沒了。
李峰的崩潰始於2023年。當時他所在的物流公司高調宣佈“全面上雲”，原以為手握Spark SQL最佳化絕活能穩坐釣魚臺，結果雲廠商的銷售帶著一份PPT就改寫了命運：
“貴司的Spark叢集每年維護成本280萬，如果用我們的Serverless Spark服務，按查詢量付費，預計年成本67萬。”CTO當場拍板遷移。
李峰試圖掙扎：“他們那個黑盒子根本不透明！我們積累的shuffle最佳化經驗全廢了！”可當雲廠商工程師開啟控制檯，輸入一行SQL就直接跑出比他手動調優快3倍的結果時，會議室所有人都沉默了。
半年後，團隊從15人砍到3人，留下的唯一任務是把原有程式碼“翻譯”成雲平臺的標準語法。李峰憤然辭職，卻發現市場上掛著“Spark工程師”頭銜的崗位，實際要求全是：“熟練使用某雲Spark託管服務，無需關心底層運維”。
“這就好比招廚子不看炒菜手藝，只要求會用電飯煲按鍵。”他苦笑著翻出2019年的朋友圈——那時他剛用Trino把跨庫查詢從4小時壓到20分鐘，評論區堆滿點贊，如今最新動態卻是前同事轉行開無人超市的廣告。
2024年，某電商公司用某雲的“Trino即服務”替換了整支查詢最佳化團隊。原先需要3個資深工程師維護的跨源資料查詢平臺，現在市場部實習生都能操作：“在控制檯選資料來源、寫SQL、點執行，連執行計劃都不用看。”
一位被迫轉崗的Trino專家自嘲：“我們當年像老中醫，把脈問診開藥方，現在人家直接上AI問診機，還比你便宜十倍。”更扎心的是，某雲最新發布的TrinoAuto工具，連SQL都能用自然語言生成——輸入“幫我查北京寶媽使用者最近半年買奶粉和尿布的關係”，5秒出結果。
轉型？比想象中難十倍。
37歲的老王試過轉AI賽道，卻發現：“大模型訓練需要的是懂分散式計算底層的人，可我們這些寫Spark的人早被框架慣壞了——連RDMA網路最佳化都沒碰過，拿什麼和搞CUDA的那幫人拼？”
老王最近在滴滴車上裝了塊二手螢幕，迴圈播放他當年的技術分享影片。
有乘客認出他：“您是不是講過《Hadoop調優十大秘籍》？”他擺手說“認錯了”，卻在等紅燈時偷偷開啟GitHub，發現自己8年前開源的Hive工具庫，最後一條issue停留在2022年：“作者還維護嗎？現在都用AI生成程式碼了。”
或許這就是技術圈的殘酷輪迴：
2009年，會寫MapReduce的人嘲笑Oracle DBA老古董；
2025年，玩轉大模型prompt的年輕人把Hadoop稱為“爺爺級技術”；
等到2035年，現在風光無限的AI工程師們，可能正在元宇宙裡擺攤賣“古典神經網路手辦”。
唯一確定的是，按下技術革命快進鍵的巨頭們，永遠不會為掉隊者買單——OpenAI的股價每漲10%，背後可能就有一批傳統大資料人收到裁員通知。
所以，當你下次用ChatGPT三分鐘搞定一份資料分析報告時，不妨想想：那個曾經需要10個人加班一個月的工作，或許正在養活另一個開滴滴的老王。