1. 運維監(jiān)控的本質(zhì)從救火到預(yù)防的思維轉(zhuǎn)變剛?cè)胄羞\維時我最常干的事情就是半夜被報警電話吵醒然后手忙腳亂地登錄服務(wù)器查日志、重啟服務(wù)。這種被動救火的狀態(tài)持續(xù)了大半年直到有天我的主管問我你知道我們?yōu)槭裁匆O(jiān)控這些指標(biāo)嗎這個問題讓我意識到運維監(jiān)控不是簡單地收集數(shù)據(jù)而是一套完整的預(yù)防性運維體系?，F(xiàn)代運維監(jiān)控已經(jīng)從單純的故障發(fā)現(xiàn)演進(jìn)為業(yè)務(wù)保障系統(tǒng)。我們通過監(jiān)控至少要實現(xiàn)三個層次的目標(biāo)實時感知系統(tǒng)狀態(tài)看到現(xiàn)在預(yù)測潛在風(fēng)險預(yù)見未來追溯歷史問題復(fù)盤過去2. 監(jiān)控對象的四維模型基礎(chǔ)設(shè)施、服務(wù)、業(yè)務(wù)、用戶體驗2.1 基礎(chǔ)設(shè)施層監(jiān)控系統(tǒng)的生命體征這是最基礎(chǔ)的監(jiān)控維度相當(dāng)于人體的體溫、血壓等基礎(chǔ)指標(biāo)。需要關(guān)注服務(wù)器資源CPU使用率建議閾值70%、內(nèi)存占用包含buffer/cache的準(zhǔn)確計算、磁盤I/Oawait10ms為佳、網(wǎng)絡(luò)帶寬注意bonding網(wǎng)卡的特殊處理存儲系統(tǒng)不僅僅是剩余空間要結(jié)合inode使用率還有NAS/SAN的延遲指標(biāo)網(wǎng)絡(luò)設(shè)備思科/Juniper等設(shè)備的端口錯包率、BGP會話狀態(tài)關(guān)鍵peer需要雙監(jiān)控經(jīng)驗對于云環(huán)境AWS的CloudWatch、阿里云的CMS都提供了標(biāo)準(zhǔn)指標(biāo)但要注意這些平臺的數(shù)據(jù)采集存在3-5分鐘的延遲對實時性要求高的場景需要自行部署agent。2.2 服務(wù)層監(jiān)控應(yīng)用運行的心電圖這一層關(guān)注各個服務(wù)的健康狀態(tài)典型指標(biāo)包括服務(wù)進(jìn)程不僅僅是進(jìn)程是否存在容易誤判還要檢查監(jiān)聽端口netstat -tunlp、TCP連接數(shù)ESTABLISHED狀態(tài)突增可能是慢查詢導(dǎo)致中間件MySQL的Threads_running、Redis的connected_clients、Kafka的ISR數(shù)量API健康HTTP狀態(tài)碼注意499等特殊碼、響應(yīng)時間P99比平均值更有價值我在金融行業(yè)的一個真實案例某支付系統(tǒng)的MySQL從庫突然出現(xiàn)Seconds_Behind_Master暴漲表面看是主從延遲實際排查發(fā)現(xiàn)是開發(fā)人員誤操作了大量BLOB字段的更新導(dǎo)致網(wǎng)絡(luò)帶寬被占滿。2.3 業(yè)務(wù)層監(jiān)控數(shù)字世界的經(jīng)營報表這一層直接關(guān)聯(lián)公司營收需要與產(chǎn)品團(tuán)隊緊密配合核心業(yè)務(wù)指標(biāo)電商的訂單創(chuàng)建成功率、支付系統(tǒng)的交易TPS、內(nèi)容平臺的DAU/MAU業(yè)務(wù)漏斗轉(zhuǎn)化注冊流程的每一步流失率特別注意第三步的30%暴跌點資金相關(guān)監(jiān)控賬戶余額波動、優(yōu)惠券核銷異常需要建立環(huán)比/同比模型避坑指南業(yè)務(wù)監(jiān)控最忌大而全應(yīng)該遵循三個關(guān)鍵原則——關(guān)鍵業(yè)務(wù)、關(guān)鍵路徑、關(guān)鍵指標(biāo)。我曾見過一個團(tuán)隊監(jiān)控了200多個業(yè)務(wù)指標(biāo)結(jié)果真正有用的不到20個。2.4 用戶體驗監(jiān)控終端用戶的真實感受這是最容易被忽視的維度包括前端性能首屏加載時間移動端要區(qū)分4G/WiFi、JS錯誤率地域訪問差異不同ISP的DNS解析時間特別關(guān)注小運營商合成監(jiān)控與真實用戶監(jiān)控RUM的結(jié)合Web Vitals指標(biāo)的采集策略一個經(jīng)典案例某視頻網(wǎng)站發(fā)現(xiàn)北京用戶播放卡頓最終定位是當(dāng)?shù)豂SP的緩存服務(wù)器故障這種問題只有通過端到端的用戶體驗監(jiān)控才能發(fā)現(xiàn)。3. 監(jiān)控指標(biāo)設(shè)計的黃金法則3.1 好的監(jiān)控指標(biāo)必須具備的四個特征可觀測性指標(biāo)必須真實反映系統(tǒng)狀態(tài)。比如磁盤使用率要包含已預(yù)留空間否則df看到的數(shù)字可能有誤導(dǎo)可行動性收到報警后必須有明確的操作路徑。CPU負(fù)載高報警應(yīng)該附帶top -H -p的采樣結(jié)果可預(yù)測性能夠基于歷史數(shù)據(jù)預(yù)測趨勢。使用Holt-Winters算法預(yù)測磁盤寫滿時間可關(guān)聯(lián)性指標(biāo)之間要有拓?fù)潢P(guān)系。當(dāng)Nginx 499錯誤突增時應(yīng)該能立即關(guān)聯(lián)到上游Java服務(wù)的GC日志3.2 指標(biāo)采集的三種方式及其適用場景采集方式代表工具最佳實踐場景注意事項Pull模式Prometheus需要靈活查詢的場景注意scrape_interval設(shè)置Push模式StatsD短生命周期任務(wù)UDP丟包問題需要監(jiān)控日志解析ELK/Loki非結(jié)構(gòu)化數(shù)據(jù)正則表達(dá)式性能影響3.3 報警策略設(shè)計的五個層次緊急層P0直接影響營收的核心業(yè)務(wù)中斷如支付失敗嚴(yán)重層P1部分功能不可用但可降級如推薦系統(tǒng)故障警告層P2需要關(guān)注但無需立即處理如磁盤使用率80%提示層P3用于容量規(guī)劃如API調(diào)用量周環(huán)比增長20%信息層P4純記錄性信息如日常備份完成4. 現(xiàn)代監(jiān)控技術(shù)棧的演進(jìn)與實踐4.1 開源監(jiān)控體系的三駕馬車指標(biāo)監(jiān)控Prometheus Grafana組合最新版本已支持Native Histogram解決長尾問題記錄規(guī)則(Recording Rules)的合理使用可以大幅降低查詢壓力日志監(jiān)控Loki Grafana方案相比ELK節(jié)省70%存儲成本的配置技巧LogQL中| unpack的妙用處理JSON日志鏈路追蹤OpenTelemetry的全棧部署自動instrumentation與手動埋點的平衡點Trace到Log的關(guān)聯(lián)查詢實踐4.2 云原生監(jiān)控的特殊考量Kubernetes監(jiān)控的四大黃金指標(biāo)工作負(fù)載指標(biāo)Deployment的availableReplicas資源調(diào)度指標(biāo)Pending Pods數(shù)量存儲指標(biāo)PVC的VolumeAvailable網(wǎng)絡(luò)指標(biāo)Service的Endpoint變化Service Mesh監(jiān)控要點Istio的黃金指標(biāo)請求量/錯誤率/延遲/飽和度Envoy的wasm過濾器性能開銷監(jiān)控4.3 智能監(jiān)控的前沿實踐異常檢測算法對比統(tǒng)計學(xué)方法3-sigma適合周期性強的指標(biāo)機器學(xué)習(xí)Isolation Forest處理復(fù)雜模式業(yè)務(wù)指標(biāo)適合環(huán)比同比的組合策略根因分析RCA自動化基于拓?fù)潢P(guān)系的故障傳播圖譜利用貝葉斯網(wǎng)絡(luò)計算故障概率5. 監(jiān)控體系建設(shè)的三個階段演進(jìn)5.1 初級階段工具化0-1年典型特征Zabbix/Nagios為主手動處理報警關(guān)鍵任務(wù)建立基礎(chǔ)監(jiān)控覆蓋服務(wù)器網(wǎng)絡(luò)常見陷阱報警風(fēng)暴平均每個運維每天收200報警5.2 中級階段平臺化1-3年典型特征PrometheusELK告警中心關(guān)鍵突破監(jiān)控與CMDB的聯(lián)動自動發(fā)現(xiàn)報警收斂基于事件的聚合我們團(tuán)隊的實踐用Alertmanager的inhibit_rules減少重復(fù)報警5.3 高級階段智能化3年典型特征AIOps平臺建設(shè)核心能力故障預(yù)測提前30分鐘預(yù)警磁盤寫滿自動止損流量激增時自動擴容真實案例某電商在大促期間通過智能監(jiān)控自動處理了80%的異常事件6. 監(jiān)控工程師的必備技能樹基礎(chǔ)層Linux系統(tǒng)原理/proc文件的解讀網(wǎng)絡(luò)協(xié)議分析TCP重傳率的計算工具層PromQL的進(jìn)階用法quantile_over_timeGrafana的變量使用技巧$__interval的優(yōu)化算法層時間序列預(yù)測ARIMA模型參數(shù)調(diào)整異常檢測Grubbs test的實現(xiàn)軟技能報警分級與值班制度設(shè)計故障復(fù)盤報告的寫作技巧5Why分析法在監(jiān)控領(lǐng)域深耕8年我最深刻的體會是好的監(jiān)控系統(tǒng)就像優(yōu)秀的體檢醫(yī)生不僅能告訴你哪里病了還能預(yù)測可能會得什么病甚至給出預(yù)防建議。而這一切的起點就是搞清楚我們到底在監(jiān)控什么這個根本問題。