AI 發展催生端側 AI 浪潮，廣和通積極佈局，推動其在多領域落地應用變革。

AI發展正酣，隨著終端晶片算力越來越高、端側模型能力越來越強、即時響應及隱私保護的端側應用需求增加，端側AI已然具備落地的條件。端側AI離客戶和應用場景更近，也是具象化AI的重要方式。可以看到，端側AI的浪潮“湧現”而至，原有的使用者體驗和生態格局將迎來革命性重塑。

端側AI是指在終端裝置（如車載智慧座艙、智慧除草機、機器人等終端場景或裝置）上進行人工智慧計算和處理，執行端側模型。相較於雲端大模型，端側大模型在資源有限的裝置上高效執行，需進一步對模型進行壓縮、推理加速及能耗最佳化。目前輕量化模型技術包含模型剪枝、知識蒸餾和量化，以上技術往往組合使用，以達到最優的輕量化效果。將大模型部署在端側裝置中，可高效賦能智慧終端，如降低延遲，更快地響應使用者請求；隱私保護，減少資料傳輸，從而降低隱私洩露的風險；減輕雲端伺服器的計算負擔，降低對中心化計算資源的依賴，從而降低成本；根據使用者的具體裝置和使用習慣進行定製化最佳化，提供更加個性化的服務；無網路連線的情況下也能使用，提高了應用的可用性和靈活性。

基於大模型在端側部署的特點和優勢，已落地或即將落地的應用場景包括：智慧手機、智慧家居、可穿戴裝置、自動駕駛汽車、工業自動化、醫療裝置等。隨著AI技術的進步和晶片產業的發展，端側部署AI的挑戰正逐步被克服，更多的端側應用場景正在落地實現並逐漸成熟。

首先，大模型本身的演算法逐步在最佳化，在眾多細分行業，模型的計算效率相較上一代均有一定量級的效率提升。模型引數變得更小，使用者體驗卻更加智慧。再者，更多引數較小的大模型被開源，且AI能力日趨成熟，例如智譜AI、阿里千問等大模型廠商都開源了億級（0.xB左右）到百億級（x0B）的大模型預訓練模型。這大大降低了大模型應用開發者的使用門檻，同時加速端側AI部署。此外，演算法層級的技術，包括模型量化、剪枝、蒸餾為基礎的模型壓縮演算法，以及專為端側部署設計的軟硬體平臺，都正在快速發展，這使得大模型在端側裝置的部署變得更加高效。以上模型變化趨勢使得端側AI在本地所需算力、部署成本、執行效率得到大大提升，將助力各行各業智慧升級。

目前，端側AI晶片廠商、中游模組及軟體廠商、下游終端廠商的產業鏈上下游正積極推動 AI在端側部署落地。多個晶片廠商已推出最新處理器，支援終端側多模態生成式AI，並完成多款大模型的適配。廣和通持續為AIoT產業提供模組及解決方案，正積極探索端側AI相關技術，並已推出多款可應用於機器視覺、具身智慧、智慧割草等場景的端側AI解決方案，滿足不同終端對算力及模型的需求。

在端側AI應用上，廣和通深度佈局視覺與聽覺計算，推出高算力和輕量化機器視覺解決方案，融合了先進的處理能力與邊緣計算優勢，採用了目標檢測、關鍵點檢測、影像分割、超解析度、影像增強、360環視拼接等高效的視覺處理演算法。此外，廣和通機器視覺解決方案支援藍牙、Wi-Fi等多種無線通訊連線方式，在高階智慧影像終端、工業視覺終端、車載終端、機器人均具有廣泛應用場景。

AI大模型作為當前人工智慧領域的重要技術，是孕育新質生產力的重要手段。作為大模型應用的一個重要的實踐領域，端側 AI大模型的全面落地發展需要全產業鏈推動，包括晶片算力增強、模型最佳化、軟體廠商適配以及終端廠商的落地應用。廣和通積極整合產業上下游資源，為產業提供融合通訊、算力、AI演算法、AI引擎、模型等能力的端側AI解決方案，加速AI商用至終端。

更多內容，點選下方關注：