資料、演算法、場景:工程化的“三駕馬車”

作者:陸興海 彭華盛 編著
來源:大資料DT(ID:hzdashuju)
人們對新事物的認知過程總是螺旋式迭代演進的,對於智慧運維也是如此,智慧運維是運維發展的方向,而且是一個長期的過程—從經驗主義到資料驅動,再回歸到業務驅動的過程。
從2016年對於Gartner的概念的理解,到之後每一年不斷的探索與實踐,到2020年,在筆者參加的智慧運維國家標準編寫組會議上,行業內達成了高度的、更加面向現實的共識:以資料為基礎、以場景為導向、以演算法為支撐,如圖2-1所示。
▲圖2-1 行業對智慧運維發展演進的理解
智慧運維一定來源於非常好的資料基礎,同時,如果沒有明確的業務場景,或者需求,或者功能方面的落腳點,所謂的智慧化就是為了AI而AI,也沒有意義。工程化演算法是要擬合數據的,根據資料和場景需求才能選擇或研發合適的演算法。只有具備上述三個條件,才能真正形成一個工程化落地的智慧運維,如圖2-2所示。
▲圖2-2 “三架馬車”工程化落地的智慧運維
需要著重提及的是,以往很多使用者忽略了作為智慧業務運維“基石”的運維資料的重要性。
為切實落地企業的智慧業務運維規劃,一方面要強調運維資料的基礎作用,另一方面要形成運維資料治理與應用的全域性體系,圍繞規劃、系統與實施三個核心階段工作,面向運維資料的全生命週期與業務導向結果,從資料的整體規劃、運維資料來源、資料採集、資料的計算與處理、指標管理體系的規劃與實施、專業運維資料庫的建立、資料的典型應用場景等多角度進行思考。
但需要正視的是我們對運維資料的認識及應用還處於皮毛階段,雖有理念但缺乏必要的、可執行的方法。隨著運維資料平臺的建設,將極有可能出現當前大資料領域出現的資料孤島、資料不可用、資料質量不高、融合應用難、有資料不會用等諸多問題。上述問題,在當前運維領域資源投入不足時顯得尤其重要。
借鑑大資料領域資料治理的經驗,反思運維資料平臺建設應該關注的問題,減少不必要的坑,做好運維資料治理,讓運維資料更好用、用得更好,完善運維數字化工作空間。
在運維領域,運維資料分佈在大量的機器、軟體和“監管控析”工具上,除了上面大資料領域提到的資料孤島、質量不高、資料不可知、資料服務不夠的痛點外,運維資料還有以下突出痛點:
一、資源投入不夠。
從組織的定位看,運維屬於企業後臺中的後臺部門,所做的事甚至都很難讓IT條線的產品、專案、開發明白系統架構越來越複雜、迭代頻率越來越高、外部環境越來越嚴峻等需要持續性的運維投入,更不要說讓IT條線以外的部門理解你在做的事,在運維的資源投入通常是不夠的。
所以,運維資料體系建設要強調投入產出比,在有限的資源投入下,收穫更多的資料價值。
二、資料標準化比例低。
運維資料主要包括監控、日誌、效能、配置、流程、應用執行資料。除了統一監控報警、配置、機器日誌、ITIL裡的幾大流程的資料格式有相關標準,其他資料存在格式眾多、非結構化、即時性要求高、海量資料、採集方式複雜等特點,可以說運維源資料天生就是非標準的,要在“資源投入不夠”的背景下,採用業務大資料的運作模式比較困難。
三、缺乏成熟的方法。
雖然行業也提出了ITOA、DataOps、AIOps等運維資料分析應用的思路,但是缺少一些成熟、全面的資料建模、分析、應用的方法,主流的運維資料方案目前主要圍繞監控和應急領域探索。
四、缺乏人才。
如“資源投入不夠”這點提到的背景,因為投入不足,很難吸引到足夠的人才投入到運維資料分析領域。
通俗一點來說,就是運維資料分析要借鑑當前傳統大資料領域資料治理的經驗,提高投入產出比,少走彎路,少跳坑。
本文摘編自運維資料治理:構築智慧運維的基石》(ISBN:978-7-111-70475-1),經出版方授權釋出。
延伸閱讀運維資料治理

點選上圖瞭解及購買

轉載請聯絡微信:DoctorData
推薦語:一本書講透“運維資料治理”系統地介紹了資料治理的知識體系和底層邏輯,還提煉了智慧資料運維體系建設的實踐路徑。
關於作者陸興海,雲智慧(北京)科技有限公司副總裁,目前負責諮詢業務。具備十多年網際網路、資訊化以及運維相關領域的產品規劃、設計與研發經驗,是國內IT相關服務領域最早的實踐者和專家之一,同時也是智慧運維國標編寫組核心成員。
彭華盛,超過10年的金融領域運維工作,期間負責參與金融企業運維組織、流程、工具的建設,包括重大業務系統專案與資料中心工程性專案的實施、資料中心標準化工作流程構建、運維工具體系的規劃與研發、數字化轉型研究與實施等相關工作,對金融領域的運維有較全面的理解,探索推進數字化技術與運營轉型雙輪驅動的協同模式。
刷刷影片👇
▲什麼是資料中臺?跟資料倉庫、資料湖、BI和大資料比有什麼區別?

關注資料叔影片號,看更多幹貨影片

👇

更多精彩👇
在公眾號對話方塊輸入以下關鍵詞
檢視更多優質內容!
讀書 | 書單 | 乾貨|講明白|神操作 | 手把手
大資料 | 雲計算 | 資料庫 | Python | 爬蟲 | 視覺化
AI | 人工智慧 | 機器學習 | 深度學習 | NLP
5G|中臺 | 使用者畫像數學 | 演算法 數字孿生
據統計,99%的大咖都關注了這個公眾號
👇

相關文章