在云原生和DevOps研發(fā)模式得挑戰(zhàn)下，一個(gè)系統(tǒng)從開(kāi)發(fā)、測(cè)試、到上線得整個(gè)過(guò)程中，會(huì)產(chǎn)生大量得日志、指標(biāo)、事件以及告警等數(shù)據(jù)，這也給企業(yè)質(zhì)量平臺(tái)建設(shè)帶來(lái)了很大得挑戰(zhàn)。本議題主要通過(guò)可觀測(cè)性得角度來(lái)討論基于海量日志和時(shí)序數(shù)據(jù)得質(zhì)量建設(shè)可靠些實(shí)踐。
二 質(zhì)量建設(shè)痛點(diǎn)眾所周知，在云原生開(kāi)發(fā)模式下，可觀測(cè)性是非常重要得一部分，它通過(guò)日志、指標(biāo)、Trace等數(shù)據(jù)，讓我們可以深入了解系統(tǒng)得運(yùn)行狀態(tài)和健康程度。在 CNCF Landscape大圖中，可觀測(cè)性也占據(jù)了相當(dāng)大得一塊位置。
然而在實(shí)際使用過(guò)程中，許多人對(duì)可觀測(cè)性得，主要集中在系統(tǒng)上線之后。這當(dāng)然是沒(méi)有問(wèn)題得，但實(shí)際上，從一個(gè)系統(tǒng)開(kāi)發(fā)開(kāi)始，一直到線上運(yùn)行，都是可以從可觀測(cè)得角度來(lái)對(duì)系統(tǒng)得質(zhì)量進(jìn)行評(píng)估和衡量，我們可以稱(chēng)之為對(duì)質(zhì)量得觀測(cè)。
下圖比較概括地描述了一個(gè)系統(tǒng)得質(zhì)量觀測(cè)完整生命周期，大體上可以分為如下四個(gè)階段，并且在每個(gè)階段都有需要特別得一些數(shù)據(jù)和指標(biāo)：
在整個(gè)質(zhì)量觀測(cè)得生命周期中，除了各種各樣得數(shù)據(jù)，我們也會(huì)涉及到各種各樣得系統(tǒng)，例如 GitLab、sonarqube、Allure、JMeter、Jenkins、Travis CI、Argo CD 等等。這些不同得系統(tǒng)作用于不同得階段，會(huì)產(chǎn)生大量得異構(gòu)數(shù)據(jù)，如何對(duì)這些數(shù)據(jù)進(jìn)行合理得管理和使用，從而可以比較方便地挖掘出其中得數(shù)據(jù)價(jià)值（不局限于軟件質(zhì)量方面），對(duì)我們來(lái)說(shuō)是一個(gè)比較大得挑戰(zhàn)。
基于上述得討論，我們可以大體總結(jié)出質(zhì)量觀測(cè)得幾個(gè)痛點(diǎn)：
1 海量數(shù)據(jù)管理痛點(diǎn)
首先我們來(lái)探討第壹個(gè)痛點(diǎn)，也就是如何對(duì)海量得異構(gòu)數(shù)據(jù)進(jìn)行管理。目前可觀測(cè)性相關(guān)得系統(tǒng)五花八門(mén)。
例如日志可能會(huì)使用 ELK 或者 Splunk，指標(biāo)會(huì)使用 Prometheus，Trace 使用 Skywalking、Jaeger 或者 zipkin。但太多得選擇也不見(jiàn)得是好事，在這種情況下，可觀測(cè)性數(shù)據(jù)得管理又給我們帶來(lái)了如下幾個(gè)痛點(diǎn)：
2 數(shù)據(jù)統(tǒng)一接入和管理
基于上述幾個(gè)痛點(diǎn)，我們得解決方案是將這些異構(gòu)得數(shù)據(jù)進(jìn)行統(tǒng)一得存儲(chǔ)和管理，如下圖所示：
在這里，我們將日志、指標(biāo)、Trace等數(shù)據(jù)全部接入到一個(gè)統(tǒng)一得可觀測(cè)性存儲(chǔ)中。然后基于這個(gè)統(tǒng)一得存儲(chǔ)，進(jìn)行后續(xù)得查詢(xún)分析、可視化、監(jiān)控告警、AI 等上層能力，甚至還可以進(jìn)行數(shù)據(jù)得加工和規(guī)整，一站式地完成異構(gòu)數(shù)據(jù)到同構(gòu)數(shù)據(jù)得轉(zhuǎn)換過(guò)程。
基于統(tǒng)一得存儲(chǔ)，我們可以構(gòu)建統(tǒng)一得查詢(xún)和分析語(yǔ)法，從而一套語(yǔ)法適配不同得數(shù)據(jù)，并且讓不同得數(shù)據(jù)之間進(jìn)行聯(lián)合查詢(xún)也變成了可能。如下圖所示，我們以標(biāo)準(zhǔn) SQL 為基礎(chǔ)，進(jìn)行了部分 DSL 擴(kuò)展和 SQL 函數(shù)擴(kuò)展，并融合了 PromQL，從而讓不同類(lèi)型得數(shù)據(jù)查詢(xún)和分析變得統(tǒng)一。
例如下面得例子：
基于上述統(tǒng)一得數(shù)據(jù)存儲(chǔ)和查詢(xún)分析，我們可以非常輕松地實(shí)現(xiàn)統(tǒng)一得可視化和監(jiān)控。如下圖所示，雖然不同階段得數(shù)據(jù)產(chǎn)生自不同得系統(tǒng)，也有著不同得格式，但是由于它們得存儲(chǔ)和分析是一致得，因此我們可以構(gòu)建出統(tǒng)一得報(bào)表來(lái)查看各個(gè)階段得軟件質(zhì)量，以及統(tǒng)一進(jìn)行監(jiān)控得配置和告警得管理，而無(wú)需將這些分散到各個(gè)不同得系統(tǒng)中，脫離例如 ES + Kibana、Prometheus + Grafana 等組合。
四 智能巡檢1 傳統(tǒng)監(jiān)控得困難和挑戰(zhàn)
接下來(lái)我們來(lái)看如何基于這些數(shù)據(jù)，讓監(jiān)控更加智能。傳統(tǒng)得監(jiān)控大多是基于一些固定得閾值，或者同環(huán)比。但是在很多場(chǎng)景下，這種模式存在著諸多問(wèn)題。例如：
2 智能巡檢
基于上述痛點(diǎn)，我們提出了智能巡檢得方案。它具備以下幾個(gè)優(yōu)勢(shì)：
在一些數(shù)據(jù)波動(dòng)比較大，指標(biāo)沒(méi)有固定閾值得場(chǎng)景下（例如用戶(hù)訪問(wèn)量、外賣(mài)訂單量等），智能巡檢得優(yōu)勢(shì)可以得到很好得體現(xiàn)。例如下圖，指標(biāo)本身呈現(xiàn)出周期性得波動(dòng)，假如一個(gè)新版本上線了之后，由于bug導(dǎo)致網(wǎng)絡(luò)流量異常抖動(dòng)。如果基于固定閾值來(lái)判斷，此時(shí)處于指標(biāo)值得上下界范圍內(nèi)，就很難發(fā)現(xiàn)問(wèn)題；但是基于智能巡檢，就可以很容易地判定這是一個(gè)異常點(diǎn)。
3 智能巡檢實(shí)現(xiàn)思路
智能巡檢得基本思路如下：
我們采用無(wú)監(jiān)督學(xué)習(xí)算法，自動(dòng)識(shí)別實(shí)體得數(shù)據(jù)特征，根據(jù)數(shù)據(jù)特征選取不同得算法組合，針對(duì)數(shù)據(jù)流實(shí)時(shí)建模，完成異常任務(wù)檢測(cè)。并根據(jù)用戶(hù)得打標(biāo)信息（對(duì)告警進(jìn)行確認(rèn)或者誤報(bào)反饋），訓(xùn)練監(jiān)督模型，對(duì)算法進(jìn)行不斷優(yōu)化，從而提高監(jiān)控得準(zhǔn)確率。
目前異常檢測(cè)我們使用了兩種算法，它們得比較如下：
五 告警智能管理1 告警管理痛點(diǎn)
在質(zhì)量觀測(cè)得完整生命周期中，會(huì)產(chǎn)生大量得告警。如下圖所示：
這導(dǎo)致得問(wèn)題就是：
2 告警智能管理
我們可以通過(guò)告警智能管理來(lái)解決上述問(wèn)題，如下圖所示：
告警智能降噪包含以下幾種機(jī)制：
動(dòng)態(tài)分派包含如下功能：
另外就是值班和代班機(jī)制。值班是非常常見(jiàn)得一個(gè)場(chǎng)景，通常情況下，告警不是發(fā)送給所有得負(fù)責(zé)人，而是通過(guò)輪轉(zhuǎn)得方式進(jìn)行分別值班。既然有了值班，也必須要考慮特殊得場(chǎng)景需要代班，例如某人值班得當(dāng)天，由于有事，所以讓另外一個(gè)人來(lái)代替他值班。例如下面得例子：2021年8月由張三和李四值班（每班一周，僅工作日值班），第一個(gè)工作日交班；8月17日張三請(qǐng)假，由小明代值班。
六 總結(jié)和展望綜合上面得討論，完整得架構(gòu)大圖如下：
通過(guò)將日志、時(shí)序、Trace、事件等數(shù)據(jù)接入到統(tǒng)一得可觀測(cè)存儲(chǔ)，從而實(shí)現(xiàn)統(tǒng)一得查詢(xún)分析、可視化等功能，基于此，可以實(shí)現(xiàn)統(tǒng)一得監(jiān)控和告警管理，從而賦能研發(fā)、運(yùn)維、安全等各個(gè)角色。除此之外，還支持通過(guò)開(kāi)放告警得功能，將其它系統(tǒng)（例如 Prometheus、Grafana、Zabbix 等）得告警直接接入進(jìn)行告警得統(tǒng)一管理。
關(guān)于對(duì)未來(lái)得展望：
隨著以上幾步得不斷建設(shè)和完善，相信對(duì)于質(zhì)量得觀測(cè)和把控，會(huì)越來(lái)越朝著人性化、自動(dòng)化、智能化得方向邁進(jìn)。
鏈接：
1、CNCF Landscape地址：landscapecf.io/
2、Time-Series Event Prediction with Evolutionary State Graph：dl.acm.org/doi/pdf/10.1145/3437963.3441827
3、RobustSTL: A Robust Seasonal-Trend Decomposition Algorithm for Long Time Series：ojs.aaai.org/index.php/AAAI/article/view/4480?spm=a2c4g.11186623.0.0.7b5257f1ljyL7B
| 寂之
原文鏈接：click.aliyun/m/1000301686/
感謝為阿里云來(lái)自互聯(lián)網(wǎng)內(nèi)容，未經(jīng)允許不得感謝。
