
MLNLP
(
機器學習演算法與自然語言處理
)社群是國內外知名自然語言處理社群,受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。
社群的願景 是促進國內外自然語言處理,機器學習學術界、產業界和廣大愛好者之間的交流,特別是初學者同學們的進步。
(
機器學習演算法與自然語言處理
)社群是國內外知名自然語言處理社群,受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。
高考出分了出分了,考得咋樣?QQ空間上轉得那10條錦鯉起作用了嗎?能讓爸媽給換新iPhone嗎?和妹子報同所學校有戲不?
好了,不裝嫩湊熱鬧了,我參加高考都十年前的事兒了。

遙想當年考場揮斥方遒,可以說是我人生文化水平的巔峰,下筆如有神。而看看今年的高考作文題目,別說寫了,曹公的這幾句話都不見得能讀懂幾分,以現在的水平我可能連機器都考不過。

emmm不是可能,是真的連機器都考不過。不是我小瞧自己,是如今的AI太厲害了。不信你看——
這篇魯迅體風格十足的文章正是由浪潮資訊推出的全球最大規模中文人工智慧巨量模型“源1.0”生成。
我大抵是沒見過世面,思來想去不知輸在了哪裡,起身看了看,這慚愧沒由頭,黯黯然翻了翻這兩篇作文,一篇是AI寫得,另一篇也是AI寫得。
好了,解除魯迅先生emo版附體,話說回來,“源1.0”能寫出這樣的文章有跡可循:“源”的單體模型引數量達2457億,單在閱讀方面,小源就“讀”過300萬本書。
所以能寫出這樣的高質量作文也不足為奇,不僅如此,它甚至還會寫文綜……分析汽車尾氣對小花小草的生態影響、探討中國科技發展史……

儘管AI應用於文字創作並不算新鮮事,但AI大模型的出現還是一再給人帶來驚喜,創作形式和內容也變得更加豐富多彩。
1
『小、快、靈:要想AI大模型落地,還看蒸餾後的技能模型』
過去兩年,AI巨量模型在業內引起開發風潮。
但大規模模型雖好可不要貪杯(劃掉重來)雖然好但落地應用過程中還需解決效能以及成本的阻礙。
在產業AI應用落地過程中,如何大模型產業化應用,讓模型的能力變得更加“小、快、靈”:
基於大模型快速蒸餾出輕量化標準化的技能模型,將大模型沉澱的知識、認知推理能力及泛化能力向技能模型輸出,同時技能模型可專注在特定場景做極致最佳化,提升效能與效率,已成為新的發展趨勢。
根據當下的應用需求,浪潮資訊推出了全球領先中文AI大模型“源1.0”的最新成果,基於“源1.0”千億大模型蒸餾出4個百億引數規模的技能模型:知識增強的對話模型、知識檢索問答模型、中英文翻譯模型、古文理解模型。

蒸餾成技能模型後,在相同任務上保留98%的基礎模型效果的同時,推理速率能提升9倍甚至更多。
同時,技能模型還可以與巨量模型協同進化,將執行結果反饋給巨量模型,巨量模型的知識與能力持續進化,形成一套有機迴圈的系統,落地場景越多、模型進化得“越聰明”,同時模型進化的速度也越快。
如此的降本增效,可以讓行業使用者甚至是中小使用者也能使用大模型進行深度創新,而這四個模型也正是基於NLP技術最常上崗的各類場景。
“源”開發團隊為模型選擇的資料也是精且全,可開發出才高八斗的“文化bot”,也可開發出對答如流的“社會bot”,還能開發出滿足人相對高階情感需求的“知心bot”。
來看下這四個蒸餾出的技能模型都達到了怎樣的水平:
古文理解模型(源曉文)在源大模型精讀了5000GB高質量中文的基礎上,又學習了先秦到近代幾乎所有詩詞,並精選其中最優秀的10萬首進行強化訓練。可廣泛應用於文學創作、古詩文教學、漢語言文化研究等場景中。
對話技能模型(源曉問)在源大模型基礎上,採用了2660萬條醫療、法律、保險等不同行業,歷史、電影、娛樂等不同場景的對話語料資料進行強化訓練,源曉問可廣泛應用於虛擬人、智慧助手、智慧客服等場景。
中英翻譯技能模型(源曉譯)基於源大模型閱讀的海量高質量資料集,採用維基百科、書籍、聯合國檔案及字幕組等近80G高質量資料集進行強化訓練,可輕鬆應對日常對話、新聞、哲學、小說等日常的語言翻譯任務。
知識檢索問答技能模型(源曉搜)連結了包含了維基百科、書籍等知識的資料庫,根據使用者提問的內容,利用高效能檢索方法,可廣泛應用於醫療、法律、保險及娛樂等領域的智慧客服、個人助理等場景。
當然,考慮到智慧客服覆蓋的領域不同,領域知識已經被預先編碼到的知識庫中,如果開發者想切換不同的應用領域,只需要替換知識庫即可,不需要重新訓練這個模型,可以做到應用在不同專業領域之間的遷移。

2
『從自動駕駛到先上劇本殺,“源1.0”開發應用範疇廣且新』
自去年10月釋出以來,“源1.0”已經快速投入應用實踐中,在企業開發團隊和個人開發者的“真刀真槍”中不斷成長,取得了不斐的成績:
例如,超600家使用者,採用“源1.0”提供的資料和API顯著提升了金融、網際網路、醫療和自動駕駛等行業應用的精度;
源1.0已經與多個行業使用者開展深度合作,支援手機智慧語音助手、大型網際網路翻譯平臺等應用的AI智慧化升級……
除了這些相對“常規”的操作,不少開源社群的開發者們透過源1.0的開放開源平臺進行了創意實現。
“AI劇本殺”就是其中代表,曾在GitHub引發熱烈討論。
Github連結:https://github.com/bigbrother666sh/shezhangbujianle
實際上,劇本殺非常考驗玩家的故事場景理解能力、目的性對話能力和線索收集能力,“源”的出現,讓AI有了這樣的能力。
下圖這個頂著女生側臉頭像的蔡曉正是一群開發者開發出的AI虛擬人物。經過訓練,“她”不僅擅長劇本殺推理遊戲,還擁有自己完整的朋友圈人設——經典AI科幻電影《駭客帝國》的經典片段作為朋友圈背景,還會發劇本殺相關內容輔助劇情延續。

蔡曉之“父”(們)是一群來自上海交通大學、華東理工大學等高校的學生開發者。
基於浪潮“源1.0”的開源開放能力,他們開發了一個AI劇本殺平臺,讓AI與真人同場競技,源1.0的場景化對話技能已經達到了“人機難辨”的程度。
3
『低程式碼友好度滿分:開發工具齊全,開箱即用』
據開發團隊介紹,在「劇本殺」專案中的合成文字環節,浪潮團隊提供了技術支援,對prompt生成、request提交以及reply查詢均提供了詳細的、質量極高的範本程式碼。
源官網連結:https://air.inspur.com/home;

藉助源1.0的開放開源的能力,AI開發者可以快速的享受大模型帶來的便利:
包括可以直接呼叫的開放模型API——顯著降低了開發者應用開發的門檻;
並且,浪潮開源了直接可用的程式碼示例,包括高質量中文資料集,開源模型訓練程式碼、推理程式碼和應用程式碼等,可以幫助開發者節省各類研發開支。
如此,開發者無需關心底層技術,設定無需配置程式設計環境,就可以直接將應用構建於AI大模型的能力之上,在降低開發門檻的同時,讓開發人員能夠將更多的精力聚焦核心業務邏輯。
圍繞AI大模型構建的演算法基礎設施,“源”開源社群建設再次升級。
目前,源的API和資料已經面向教科研、網際網路、製造業等多個產業超過600家使用者開放使用。開發團隊已提供源1.0巨量模型、四個百億領域模型和模型工具、開發者工具及行業合作服務。
同時,源的官網同步開放和上線了APIExp和Web應用Sandbox(沙箱)開發工具,開發者可在APIExp上設定引數,零程式碼呼叫和測試所有已開放的模型服務。
Sandbox開發工具可以讓開發者僅修改少量程式碼,即可完成包含web互動的應用示例,從而快速驗證業務邏輯和功能效果。
未來,“源”還會進一步開放模型線上蒸餾、領域模型下載等服務,並完善和豐富更多基於大模型的應用示例。
低程式碼、低門檻,開發工具齊全、開箱即用……這些特點以及NLP巨量模型自身的魅力與潛力,讓更多的、不限技術水平的開發者都有機會嘗試大模型應用。
一項技術的出現,起初確實需要聚焦精煉技術和底層開發,夯實基礎,而若發展到後來,它也必將“往上走”——慢慢解放人類曾被限制的想象力、服務於繽紛多彩的創意,甚至會幫助證實那些曾被嘲笑是天馬行空的幻想。
借用“小源魯迅體”作文中的一句話:“中國青年要創造,我們要或挑戰,或因勢利導,或順勢而為。”
所以,想怎麼用“源”,看諸君咯。
為了讓小夥伴們更便捷地應用範例教程,浪潮源1.0高階演算法工程師將於6.30號(週四)19:00點為大家深度解析浪潮在探索大模型落地方面的實踐,聚焦源1.0大模型的技術揭秘,以及在內容創作應用上的實踐分享。

關於我們

關鍵詞
模型
大模型
技術
程式碼
開發者