亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix 5.0離線一鍵部署方案:內(nèi)網(wǎng)環(huán)境下的自動(dòng)化監(jiān)控系統(tǒng)搭建

Zabbix 5.0離線一鍵部署方案:內(nèi)網(wǎng)環(huán)境下的自動(dòng)化監(jiān)控系統(tǒng)搭建 簡(jiǎn)介本資源是一套面向Linux運(yùn)維工程師與監(jiān)控系統(tǒng)初學(xué)者的Zabbix 5.0離線一鍵部署方案專(zhuān)為無(wú)外網(wǎng)環(huán)境如內(nèi)網(wǎng)、生產(chǎn)隔離區(qū)下的快速落地設(shè)計(jì)顯著降低Zabbix服務(wù)端與客戶(hù)端的安裝配置門(mén)檻。壓縮包共6個(gè)文件含2個(gè)Shell腳本zabbix.sh用于服務(wù)端全自動(dòng)部署zabbix-agent.sh負(fù)責(zé)客戶(hù)端交互式安裝、2個(gè)RPM離線包歸檔offline_rpm.tar與zabbix-agent-rpm.tar、2個(gè)關(guān)鍵說(shuō)明文檔使用說(shuō)明.txt與執(zhí)行路徑提示.txt整體大小47.8MB結(jié)構(gòu)精簡(jiǎn)、依賴(lài)明確。已有1644人學(xué)習(xí)下載適用于CentOS 7環(huán)境下的標(biāo)準(zhǔn)化監(jiān)控體系建設(shè)。用戶(hù)可直接執(zhí)行腳本完成MySQL、Zabbix Server、Web界面及Agent的全鏈路部署預(yù)置默認(rèn)賬號(hào)密碼Admin/zabbix、數(shù)據(jù)庫(kù)密碼123456并支持后續(xù)手動(dòng)修改Server IP后重啟生效附帶清晰的交互提示與配置回溯路徑大幅縮短部署驗(yàn)證周期。1. 項(xiàng)目概述為什么我們需要一個(gè)Zabbix 5.0的離線一鍵安裝方案在運(yùn)維監(jiān)控領(lǐng)域Zabbix的地位無(wú)需多言它就像我們運(yùn)維工程師的“眼睛”和“耳朵”時(shí)刻盯著服務(wù)器集群的健康狀況。但每次部署Zabbix尤其是新版本都像是一場(chǎng)小型戰(zhàn)役。你得先搞定操作系統(tǒng)版本然后處理各種依賴(lài)包沖突接著是數(shù)據(jù)庫(kù)、Web服務(wù)器、Zabbix組件本身的編譯或安裝最后還得配置網(wǎng)絡(luò)、權(quán)限、防火墻……一套流程下來(lái)半天時(shí)間就沒(méi)了。更頭疼的是很多生產(chǎn)環(huán)境特別是金融、政企或涉密單位服務(wù)器是嚴(yán)格的內(nèi)網(wǎng)隔離環(huán)境根本無(wú)法連接互聯(lián)網(wǎng)。這時(shí)候你拿著官方那套需要在線yum install或apt-get install的文檔直接就傻眼了。這就是我動(dòng)手搞這個(gè)“Zabbix 5.0離線腳本一鍵安裝”項(xiàng)目的初衷。它不是一個(gè)簡(jiǎn)單的安裝包合集而是一個(gè)完整的、經(jīng)過(guò)實(shí)戰(zhàn)檢驗(yàn)的離線部署解決方案。核心目標(biāo)就一個(gè)讓你在沒(méi)有任何外網(wǎng)連接的Linux服務(wù)器上通過(guò)執(zhí)行一個(gè)腳本就能自動(dòng)、快速、穩(wěn)定地部署好包含服務(wù)端、客戶(hù)端在內(nèi)的完整Zabbix 5.0監(jiān)控系統(tǒng)。腳本里已經(jīng)打包了所有必需的RPM/DEB包、配置文件、初始化腳本和詳細(xì)的使用說(shuō)明真正做到開(kāi)箱即用。這個(gè)方案特別適合以下幾類(lèi)場(chǎng)景一是全新的、物理隔離的生產(chǎn)環(huán)境初始化部署二是需要快速搭建測(cè)試或演示環(huán)境不想在環(huán)境準(zhǔn)備上浪費(fèi)時(shí)間三是作為標(biāo)準(zhǔn)化交付的一部分確保不同環(huán)境部署的一致性減少人為操作失誤。如果你正在為內(nèi)網(wǎng)服務(wù)器監(jiān)控發(fā)愁或者厭倦了每次部署都要重復(fù)那些繁瑣的步驟那這個(gè)項(xiàng)目就是為你準(zhǔn)備的。2. 方案整體設(shè)計(jì)與核心思路拆解2.1 離線部署的核心挑戰(zhàn)與解決思路離線安裝聽(tīng)起來(lái)只是“把包下載下來(lái)然后裝上去”但實(shí)際操作中陷阱重重。第一個(gè)大坑就是依賴(lài)地獄。Zabbix服務(wù)端依賴(lài)PHP、Nginx/Apache、數(shù)據(jù)庫(kù)MySQL/PostgreSQL這些軟件本身又有一大堆庫(kù)文件依賴(lài)。在離線環(huán)境下你沒(méi)法自動(dòng)解析和下載這些依賴(lài)必須手動(dòng)把所有依賴(lài)包都找齊并且要確保版本完全匹配一個(gè)不對(duì)就可能導(dǎo)致安裝失敗或運(yùn)行時(shí)崩潰。我的解決思路是在一個(gè)與目標(biāo)服務(wù)器操作系統(tǒng)版本、架構(gòu)完全一致的、可聯(lián)網(wǎng)的“構(gòu)建機(jī)”上利用系統(tǒng)包管理器的下載功能一次性拉取所有需要的包及其依賴(lài)。例如對(duì)于CentOS/RHEL 7/8我會(huì)使用yum install --downloadonly --downloaddir./zabbix_packages命令對(duì)于Ubuntu/Debian則使用apt-get download和apt-cache depends來(lái)遞歸獲取。這樣得到的包集合其依賴(lài)關(guān)系在目標(biāo)離線機(jī)上是天然滿足的。第二個(gè)挑戰(zhàn)是安裝流程的自動(dòng)化與原子性。我們不能只是把一堆包扔給用戶(hù)讓用戶(hù)手動(dòng)按順序安裝。那樣容易出錯(cuò)且無(wú)法回滾。因此腳本必須智能地處理安裝順序如先裝數(shù)據(jù)庫(kù)再裝Zabbix服務(wù)端最后裝前端并能檢測(cè)每一步的成功與否一旦失敗就清理現(xiàn)場(chǎng)或給出明確提示。2.2 技術(shù)棧選型與版本鎖定為什么選擇Zabbix 5.0 LTS5.0是一個(gè)重要的長(zhǎng)期支持版本相比4.0它在性能特別是歷史數(shù)據(jù)查詢(xún)、安全性和易用性上都有顯著提升并且官方支持周期長(zhǎng)適合用于生產(chǎn)環(huán)境。雖然已有6.0、7.0但5.0的生態(tài)最成熟社區(qū)資料最多對(duì)于追求穩(wěn)定的企業(yè)環(huán)境來(lái)說(shuō)是更穩(wěn)妥的選擇。在底層組件上我做了如下標(biāo)準(zhǔn)化選型Web服務(wù)器 Nginx。相比ApacheNginx在靜態(tài)資源處理和并發(fā)連接上表現(xiàn)更優(yōu)資源占用也更低是現(xiàn)代Web應(yīng)用的標(biāo)配。數(shù)據(jù)庫(kù) MySQL 8.0 或 MariaDB 10.5。Zabbix 5.0官方推薦MySQL 8.0或MariaDB 10.5以充分利用其性能改進(jìn)。腳本會(huì)優(yōu)先檢測(cè)并適配。PHP 7.2 - 7.4。Zabbix 5.0前端要求PHP 7.2以上。我們鎖定在7.4這個(gè)廣泛兼容且性能良好的版本。數(shù)據(jù)采集方式 Zabbix Agent 2。對(duì)于新部署的客戶(hù)端我優(yōu)先集成Zabbix Agent 2。它是下一代Agent用Go語(yǔ)言重寫(xiě)性能更好支持更多開(kāi)箱即用的監(jiān)控項(xiàng)且配置更靈活。當(dāng)然腳本也兼容傳統(tǒng)的Zabbix Agent。注意版本鎖死是離線包穩(wěn)定性的生命線。我提供的離線包是基于特定操作系統(tǒng)小版本如CentOS 7.9構(gòu)建的。如果你目標(biāo)機(jī)的系統(tǒng)版本不一致比如是CentOS 7.6可能會(huì)遇到glibc等核心庫(kù)版本不兼容的問(wèn)題。因此最佳實(shí)踐是嚴(yán)格按照文檔說(shuō)明使用相同版本的系統(tǒng)進(jìn)行部署。2.3 腳本架構(gòu)設(shè)計(jì)模塊化與高可維護(hù)性整個(gè)一鍵安裝腳本不是一個(gè)巨型的、幾千行的Shell文件而是采用了模塊化設(shè)計(jì)。這樣結(jié)構(gòu)清晰也方便后期維護(hù)和定制。zabbix_offline_installer/ ├── bin/ │ ├── 01_install_dependencies.sh # 安裝基礎(chǔ)依賴(lài)和第三方包 │ ├── 02_setup_database.sh # 安裝并配置數(shù)據(jù)庫(kù) │ ├── 03_install_zabbix_server.sh # 安裝Zabbix服務(wù)端 │ ├── 04_install_zabbix_web.sh # 安裝Zabbix前端 │ ├── 05_install_zabbix_agent2.sh # 安裝Zabbix Agent 2 │ └── common.sh # 公共函數(shù)庫(kù)日志、錯(cuò)誤處理、顏色輸出 ├── packages/ # 核心所有離線RPM/DEB包 │ ├── centos-7/ │ ├── centos-8/ │ └── ubuntu-20.04/ ├── configs/ # 配置文件模板 │ ├── zabbix_server.conf.j2 │ ├── nginx_zabbix.conf.j2 │ └── zabbix_agent2.conf.j2 ├── scripts/ # 輔助腳本如數(shù)據(jù)庫(kù)初始化、服務(wù)管理 ├── README.md # 詳細(xì)使用說(shuō)明 └── install.sh # 主入口腳本負(fù)責(zé)調(diào)度各模塊主腳本install.sh的工作流非常清晰首先進(jìn)行環(huán)境檢測(cè)操作系統(tǒng)、內(nèi)存、磁盤(pán)空間然后根據(jù)用戶(hù)選擇安裝服務(wù)端還是客戶(hù)端按順序調(diào)用對(duì)應(yīng)的模塊腳本。每個(gè)模塊腳本執(zhí)行前會(huì)檢查前置條件執(zhí)行后會(huì)驗(yàn)證結(jié)果。這種設(shè)計(jì)讓整個(gè)安裝過(guò)程像流水線一樣可控。3. 離線資源包的制作與管理3.1 構(gòu)建離線包倉(cāng)庫(kù)一個(gè)不能出錯(cuò)的步驟這是整個(gè)項(xiàng)目最基礎(chǔ)也是最容易出錯(cuò)的一環(huán)。你需要在一個(gè)純凈的、可聯(lián)網(wǎng)的虛擬機(jī)構(gòu)建機(jī)上完成。對(duì)于CentOS/RHEL系統(tǒng)安裝yum-utils和createrepo工具。創(chuàng)建一個(gè)目錄用于存放所有包例如/opt/zabbix-offline/centos7。使用repotrack或yumdownloader來(lái)下載指定軟件包及其所有依賴(lài)。repotrack更徹底它會(huì)遞歸拉取所有依賴(lài)。# 安裝工具 yum install -y yum-utils createrepo # 下載Zabbix官方倉(cāng)庫(kù)的Release包 rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm # 使用repotrack下載所有需要的包到本地目錄 repotrack --download_path/opt/zabbix-offline/centos7 \ zabbix-server-mysql \ zabbix-web-mysql-scl \ zabbix-nginx-conf-scl \ zabbix-agent2 \ nginx \ mariadb-server \ mariadb進(jìn)入包目錄創(chuàng)建本地YUM倉(cāng)庫(kù)元數(shù)據(jù)。cd /opt/zabbix-offline/centos7 createrepo .執(zhí)行成功后會(huì)生成一個(gè)repodata文件夾?,F(xiàn)在這個(gè)目錄就是一個(gè)完整的本地YUM倉(cāng)庫(kù)了。對(duì)于Ubuntu/Debian系統(tǒng)過(guò)程類(lèi)似但工具不同。你需要使用apt-rdepends來(lái)列出所有依賴(lài)然后用apt-get download逐個(gè)下載。也可以使用apt-offline這類(lèi)工具來(lái)生成離線包集合。下載后需要用dpkg-scanpackages命令創(chuàng)建Packages.gz文件以形成本地APT倉(cāng)庫(kù)。實(shí)操心得構(gòu)建機(jī)的“純凈”至關(guān)重要。構(gòu)建機(jī)上已安裝的軟件可能會(huì)影響依賴(lài)關(guān)系的解析導(dǎo)致下載的包集合不完整。我建議使用Docker容器或一個(gè)全新安裝的虛擬機(jī)來(lái)充當(dāng)構(gòu)建機(jī)確保環(huán)境干凈。另外務(wù)必記錄下構(gòu)建機(jī)的完整系統(tǒng)版本號(hào)cat /etc/redhat-release或lsb_release -a并在提供給用戶(hù)的文檔中明確說(shuō)明。3.2 依賴(lài)包的精簡(jiǎn)與完整性校驗(yàn)用repotrack下載的包可能會(huì)非常大超過(guò)1GB因?yàn)樗怂锌赡艿囊蕾?lài)。我們需要做一些精簡(jiǎn)但必須非常小心。排除內(nèi)核和內(nèi)核模塊包這些包通常不需要且容易引發(fā)兼容性問(wèn)題??梢栽谙螺d命令后加上--excludekernel*。手動(dòng)檢查核心依賴(lài)重點(diǎn)確保glibc,openssl-libs,libxml2,mysql-connector-odbc如果用到數(shù)據(jù)庫(kù)監(jiān)控等基礎(chǔ)庫(kù)的版本與目標(biāo)機(jī)兼容。完整性校驗(yàn)下載完成后可以嘗試在構(gòu)建機(jī)本身通過(guò)file://協(xié)議配置一個(gè)臨時(shí)本地源然后模擬安裝一次看是否能成功。這是驗(yàn)證包集合完整性的最有效方法。# 在構(gòu)建機(jī)上臨時(shí)測(cè)試本地倉(cāng)庫(kù) cat /etc/yum.repos.d/local-zabbix.repo EOF [local-zabbix] nameLocal Zabbix Repo baseurlfile:///opt/zabbix-offline/centos7 enabled1 gpgcheck0 EOF # 清理緩存并測(cè)試安裝使用--downloadonly模式不真正安裝 yum clean all yum install --downloadonly zabbix-server-mysql如果這一步?jīng)]有報(bào)缺失依賴(lài)的錯(cuò)誤說(shuō)明包集合基本是完整的。4. 一鍵安裝腳本的詳細(xì)實(shí)現(xiàn)解析4.1 主控腳本環(huán)境檢測(cè)與流程調(diào)度install.sh是這個(gè)項(xiàng)目的總指揮。它的首要任務(wù)是“認(rèn)識(shí)”它所在的環(huán)境。#!/bin/bash # 引入公共函數(shù)庫(kù)定義顏色、日志函數(shù)、錯(cuò)誤處理函數(shù) source ./bin/common.sh LOG_FILE/var/log/zabbix_offline_install.log exec 2${LOG_FILE} # 將標(biāo)準(zhǔn)錯(cuò)誤也重定向到日志文件 # 1. 檢測(cè)操作系統(tǒng) detect_os() { if [ -f /etc/redhat-release ]; then OScentos # 提取主版本號(hào)如 7 或 8 OS_VERSION$(grep -oE [0-9]\.[0-9] /etc/redhat-release | cut -d. -f1) elif [ -f /etc/lsb-release ]; then . /etc/lsb-release OS${DISTRIB_ID,,} # 轉(zhuǎn)為小寫(xiě) OS_VERSION$DISTRIB_RELEASE else log_error 不支持的操作系統(tǒng) exit 1 fi log_info 檢測(cè)到操作系統(tǒng): ${OS} ${OS_VERSION} } # 2. 檢測(cè)硬件資源示例內(nèi)存 check_memory() { local MEM_KB$(grep MemTotal /proc/meminfo | awk {print $2}) local MEM_GB$((MEM_KB / 1024 / 1024)) if [ $MEM_GB -lt 2 ]; then log_warn 內(nèi)存小于2GB運(yùn)行Zabbix服務(wù)端可能會(huì)比較吃力建議增加內(nèi)存。 read -p 是否繼續(xù)(y/N): -n 1 -r if [[ ! $REPLY ~ ^[Yy]$ ]]; then exit 0 fi fi } # 3. 用戶(hù)交互選擇安裝模式 select_install_mode() { echo -e ${GREEN}請(qǐng)選擇安裝模式${NC} echo 1) 安裝Zabbix服務(wù)端包含數(shù)據(jù)庫(kù)、Web前端、Server echo 2) 僅安裝Zabbix客戶(hù)端Agent 2 read -p 請(qǐng)輸入數(shù)字 (1 或 2): MODE case $MODE in 1) INSTALL_MODEserver ;; 2) INSTALL_MODEagent ;; *) log_error 無(wú)效選擇; exit 1 ;; esac } # 主函數(shù) main() { log_info 開(kāi)始Zabbix離線一鍵安裝流程... detect_os check_memory select_install_mode # 根據(jù)操作系統(tǒng)和模式調(diào)用不同的安裝模塊 if [ $INSTALL_MODE server ]; then source ./bin/01_install_dependencies.sh source ./bin/02_setup_database.sh source ./bin/03_install_zabbix_server.sh source ./bin/04_install_zabbix_web.sh log_success Zabbix服務(wù)端安裝完成 echo -e ${CYAN}訪問(wèn)地址: http://$(hostname -I | awk {print $1})/zabbix${NC} echo -e ${CYAN}默認(rèn)用戶(hù)名/密碼: Admin / zabbix${NC} else source ./bin/05_install_zabbix_agent2.sh log_success Zabbix客戶(hù)端安裝完成 fi } # 執(zhí)行主函數(shù) main $這個(gè)主腳本邏輯清晰它不做具體的安裝工作只負(fù)責(zé)協(xié)調(diào)和檢查。所有具體的臟活累活都交給了各個(gè)模塊腳本。4.2 關(guān)鍵模塊詳解數(shù)據(jù)庫(kù)初始化與安全配置以02_setup_database.sh為例看看我們?nèi)绾翁幚鞰ySQL/MariaDB的安裝和Zabbix數(shù)據(jù)庫(kù)的初始化。#!/bin/bash source ./bin/common.sh setup_database() { log_info 開(kāi)始安裝和配置數(shù)據(jù)庫(kù)... local DB_PACKAGE # 判斷并安裝數(shù)據(jù)庫(kù)軟件 if command -v mysql /dev/null; then log_info MySQL/MariaDB 已存在跳過(guò)安裝。 else if [ $OS centos ]; then yum localinstall -y ./packages/${OS}-${OS_VERSION}/mariadb*.rpm systemctl enable mariadb systemctl start mariadb DB_PACKAGEmariadb fi # ... Ubuntu 類(lèi)似處理 fi # 運(yùn)行數(shù)據(jù)庫(kù)安全初始化腳本設(shè)置root密碼、移除匿名用戶(hù)等 log_info 運(yùn)行數(shù)據(jù)庫(kù)安全初始化... # 這里使用一個(gè)預(yù)置的答案文件實(shí)現(xiàn)非交互式初始化 mysql_secure_installation EOF Y ${DB_ROOT_PASSWORD} ${DB_ROOT_PASSWORD} Y Y Y Y EOF # 創(chuàng)建Zabbix數(shù)據(jù)庫(kù)和用戶(hù) log_info 創(chuàng)建Zabbix數(shù)據(jù)庫(kù)和用戶(hù)... mysql -uroot -p${DB_ROOT_PASSWORD} EOF CREATE DATABASE IF NOT EXISTS zabbix CHARACTER SET utf8 COLLATE utf8_bin; CREATE USER IF NOT EXISTS zabbixlocalhost IDENTIFIED BY ${ZBX_DB_PASSWORD}; GRANT ALL PRIVILEGES ON zabbix.* TO zabbixlocalhost; FLUSH PRIVILEGES; EOF # 導(dǎo)入Zabbix初始數(shù)據(jù) schema log_info 導(dǎo)入Zabbix數(shù)據(jù)庫(kù)Schema... # 找到Zabbix Server包提供的SQL文件位置 local SQL_PATH$(find /usr/share -name create.sql.gz 2/dev/null | head -1) if [ -n $SQL_PATH ]; then zcat $SQL_PATH | mysql -uzabbix -p${ZBX_DB_PASSWORD} zabbix else # 備用方案使用我們腳本目錄下預(yù)置的SQL文件 gunzip -c ./scripts/zabbix_schema.sql.gz | mysql -uzabbix -p${ZBX_DB_PASSWORD} zabbix fi log_success 數(shù)據(jù)庫(kù)配置完成。 }注意事項(xiàng)數(shù)據(jù)庫(kù)密碼的安全處理。腳本中直接使用變量DB_ROOT_PASSWORD和ZBX_DB_PASSWORD。在真實(shí)場(chǎng)景中絕對(duì)不應(yīng)該將密碼硬編碼在腳本里。我的做法是在首次運(yùn)行主腳本時(shí)提示用戶(hù)輸入這些密碼或者從一個(gè)安全的配置文件中讀取。示例腳本為了清晰展示了邏輯實(shí)際交付的版本會(huì)有更安全的密碼管理機(jī)制。4.3 配置文件模板與動(dòng)態(tài)渲染直接使用軟件包默認(rèn)的配置文件往往不行我們需要根據(jù)用戶(hù)環(huán)境動(dòng)態(tài)調(diào)整。我使用了簡(jiǎn)單的模板替換技術(shù)。configs/zabbix_server.conf.j2模板文件片段# 這是一個(gè)Jinja2風(fēng)格的模板{{ }}內(nèi)的變量會(huì)被替換 LogFile/var/log/zabbix/zabbix_server.log LogFileSize100 PidFile/var/run/zabbix/zabbix_server.pid SocketDir/var/run/zabbix DBHostlocalhost DBNamezabbix DBUserzabbix DBPassword{{ ZBX_DB_PASSWORD }} # 這里將被實(shí)際密碼替換 DBPort3306 ListenPort10051在安裝腳本中使用sed命令進(jìn)行替換# 渲染Zabbix Server配置文件 ZBX_DB_PASSWORDYourSecurePassword123 # 應(yīng)從安全位置獲取 sed -e s/{{ ZBX_DB_PASSWORD }}/${ZBX_DB_PASSWORD}/g \ ./configs/zabbix_server.conf.j2 /etc/zabbix/zabbix_server.conf對(duì)于更復(fù)雜的配置比如Nginx的server塊、PHP-FPM的池配置都采用同樣的模板化方式確保最終生成的配置文件是符合當(dāng)前部署環(huán)境需求的。5. 客戶(hù)端Agent 2的靜默部署與自動(dòng)注冊(cè)5.1 Agent 2的離線安裝與批量部署客戶(hù)端安裝腳本05_install_zabbix_agent2.sh的目標(biāo)是盡可能靜默、無(wú)交互。它需要接收來(lái)自命令行的參數(shù)或者從一個(gè)配置文件中讀取關(guān)鍵信息主要是Zabbix Server的IP地址。#!/bin/bash source ./bin/common.sh install_agent2() { local SERVER_IP$1 local SERVER_ACTIVE_IP${2:-$SERVER_IP} log_info 開(kāi)始安裝Zabbix Agent 2目標(biāo)Server: ${SERVER_IP} # 安裝Agent 2包 if [ $OS centos ]; then yum localinstall -y ./packages/${OS}-${OS_VERSION}/zabbix-agent2*.rpm fi # ... Ubuntu 類(lèi)似 # 配置Agent local CONF_FILE/etc/zabbix/zabbix_agent2.conf cp ${CONF_FILE} ${CONF_FILE}.bak sed -i s/^Server.*/Server${SERVER_IP}/ ${CONF_FILE} sed -i s/^ServerActive.*/ServerActive${SERVER_ACTIVE_IP}/ ${CONF_FILE} # 設(shè)置主機(jī)名通常使用服務(wù)器自身主機(jī)名便于在Zabbix Web中識(shí)別 sed -i s/^Hostname.*/Hostname$(hostname -f)/ ${CONF_FILE} # 啟動(dòng)并啟用服務(wù) systemctl enable zabbix-agent2 systemctl start zabbix-agent2 firewall-cmd --permanent --add-port10050/tcp 2/dev/null firewall-cmd --reload 2/dev/null log_success Zabbix Agent 2 安裝并啟動(dòng)完成。 }對(duì)于成百上千臺(tái)服務(wù)器的批量部署我們可以將這個(gè)腳本和離線包上傳到一臺(tái)跳板機(jī)然后使用ansible、pssh或簡(jiǎn)單的for循環(huán)配合scp和ssh實(shí)現(xiàn)全網(wǎng)客戶(hù)端的自動(dòng)化安裝和配置。5.2 自動(dòng)注冊(cè)Auto Registration配置手動(dòng)在Zabbix Web界面添加每一臺(tái)主機(jī)是噩夢(mèng)。Zabbix Agent 2支持自動(dòng)注冊(cè)客戶(hù)端主動(dòng)向Server報(bào)到Server根據(jù)預(yù)設(shè)的規(guī)則自動(dòng)創(chuàng)建主機(jī)并鏈接模板。服務(wù)端配置Zabbix Web界面進(jìn)入管理 - 自動(dòng)注冊(cè)。創(chuàng)建一條新的自動(dòng)注冊(cè)動(dòng)作。在條件里可以設(shè)置規(guī)則例如“主機(jī)名符合正則表達(dá)式.*prod.*的自動(dòng)添加”。在操作里定義添加主機(jī)時(shí)的動(dòng)作添加到“Linux servers”主機(jī)組鏈接“Template OS Linux by Zabbix agent”模板并啟用主機(jī)??蛻?hù)端配置除了上面腳本中配置的ServerActive參數(shù)還可以在zabbix_agent2.conf中配置HostMetadata或HostMetadataItem向服務(wù)端發(fā)送更多元數(shù)據(jù)如環(huán)境標(biāo)簽envproduction讓自動(dòng)注冊(cè)規(guī)則更精確。這樣只要客戶(hù)端安裝啟動(dòng)服務(wù)端就能自動(dòng)發(fā)現(xiàn)并開(kāi)始監(jiān)控它實(shí)現(xiàn)了真正的“一鍵部署自動(dòng)上線”。6. 安裝后的必須檢查與優(yōu)化調(diào)優(yōu)6.1 安裝成功性驗(yàn)證清單腳本跑完不代表萬(wàn)事大吉。作為一名負(fù)責(zé)任的運(yùn)維你必須進(jìn)行以下檢查服務(wù)狀態(tài)檢查systemctl status zabbix-server zabbix-agent2 nginx mariadb php-fpm確保所有服務(wù)都是active (running)狀態(tài)沒(méi)有紅色的failed字樣。端口監(jiān)聽(tīng)檢查ss -tlnp | grep -E (10051|10050|80|3306)確認(rèn)10051Zabbix Server監(jiān)聽(tīng)用于接收Agent數(shù)據(jù)。10050Zabbix Agent監(jiān)聽(tīng)用于Server主動(dòng)拉取。80或443Nginx監(jiān)聽(tīng)提供Web訪問(wèn)。3306MySQL監(jiān)聽(tīng)。Web界面登錄 打開(kāi)瀏覽器訪問(wèn)http://服務(wù)器IP/zabbix。應(yīng)該能看到Zabbix的安裝引導(dǎo)頁(yè)面如果是首次訪問(wèn)或者登錄頁(yè)面。使用默認(rèn)憑據(jù)Admin/zabbix登錄。登錄后第一件事就是修改Admin密碼數(shù)據(jù)流驗(yàn)證在Web界面的監(jiān)測(cè) - 主機(jī)中查看本機(jī)Zabbix server是否已被監(jiān)控且“可用性”是否為綠色。查看最新數(shù)據(jù)是否能獲取到CPU、內(nèi)存、磁盤(pán)等基礎(chǔ)監(jiān)控項(xiàng)的數(shù)據(jù)。6.2 性能與安全初步調(diào)優(yōu)默認(rèn)安裝配置是為了兼容性性能上并非最優(yōu)。安裝后建議立即進(jìn)行幾項(xiàng)關(guān)鍵調(diào)優(yōu)1. Zabbix Server 配置調(diào)優(yōu)/etc/zabbix/zabbix_server.confStartPollers 預(yù)啟動(dòng)的輪詢(xún)器進(jìn)程數(shù)。監(jiān)控主機(jī)少于500臺(tái)設(shè)置50-100超過(guò)1000臺(tái)可以設(shè)置200-300。觀察Busy poller的百分比保持在80%以下。StartPreprocessors 預(yù)處理進(jìn)程如果用了很多依賴(lài)項(xiàng)或JavaScript預(yù)處理需要增加。默認(rèn)3可調(diào)到10-20。HistoryCacheSize和TrendCacheSize 歷史數(shù)據(jù)和趨勢(shì)數(shù)據(jù)緩存大小。公式HistoryCacheSize 監(jiān)控項(xiàng)數(shù)量 * 每天寫(xiě)入次數(shù) * 2天 * 1.2冗余。如果監(jiān)控項(xiàng)多務(wù)必調(diào)大否則會(huì)頻繁寫(xiě)入磁盤(pán)拖慢性能。例如1萬(wàn)個(gè)監(jiān)控項(xiàng)可設(shè)為128M或256M。Timeout 與Agent、DB等的通信超時(shí)。網(wǎng)絡(luò)不穩(wěn)定可適當(dāng)調(diào)高如Timeout10。2. 數(shù)據(jù)庫(kù)調(diào)優(yōu)MySQL/MariaDBZabbix的性能瓶頸90%在數(shù)據(jù)庫(kù)。必須調(diào)整my.cnf。[mysqld] innodb_buffer_pool_size 2G # 關(guān)鍵設(shè)置為可用內(nèi)存的50%-70%。如果服務(wù)器內(nèi)存16G可設(shè)為8G-10G。 innodb_log_file_size 512M innodb_flush_log_at_trx_commit 2 # 平衡性能與數(shù)據(jù)安全從1改為2可大幅提升寫(xiě)入性能。 max_connections 500 character_set_server utf8mb4 collation_server utf8mb4_bin修改innodb_log_file_size后需要安全地重建日志文件步驟稍復(fù)雜建議在初次安裝后、數(shù)據(jù)量不大時(shí)操作。3. 前端PHP調(diào)優(yōu)調(diào)整/etc/php-fpm.d/www.conf或?qū)?yīng)PHP版本配置pm.max_children 動(dòng)態(tài)模式下的最大子進(jìn)程數(shù)。根據(jù)服務(wù)器內(nèi)存調(diào)整每個(gè)PHP-FPM進(jìn)程約消耗30-50M內(nèi)存。4G內(nèi)存可設(shè)80-100。pm.start_servers/pm.min_spare_servers/pm.max_spare_servers 根據(jù)并發(fā)訪問(wèn)量調(diào)整。7. 常見(jiàn)問(wèn)題與故障排查實(shí)錄即使有了一鍵腳本在實(shí)際的離線環(huán)境中你仍可能遇到各種“驚喜”。下面是我在多次部署中踩過(guò)的坑和解決方法。7.1 安裝階段典型問(wèn)題問(wèn)題1執(zhí)行腳本時(shí)報(bào)錯(cuò)依賴(lài)包 xxx 需要 yyy 1.2.3但 yyy-1.2.2 將被安裝原因離線包倉(cāng)庫(kù)中的依賴(lài)包版本低于所需版本。這通常是因?yàn)闃?gòu)建機(jī)的YUM/APT源不是最新的或者下載時(shí)包含了錯(cuò)誤的倉(cāng)庫(kù)。解決檢查構(gòu)建機(jī)是否使用了正確的、版本最新的Zabbix官方源。在構(gòu)建機(jī)上嘗試手動(dòng)yum install你要的軟件看它實(shí)際拉取的版本是什么然后用yumdownloader或repotrack精確下載那個(gè)版本的包。最徹底的方法在構(gòu)建機(jī)上用Docker模擬一個(gè)純凈的目標(biāo)系統(tǒng)環(huán)境再執(zhí)行下載操作。問(wèn)題2安裝MySQL/MariaDB時(shí)服務(wù)啟動(dòng)失敗原因最常見(jiàn)的是/var/lib/mysql目錄權(quán)限不對(duì)或者之前有殘留數(shù)據(jù)。排查systemctl status mariadb # 查看詳細(xì)錯(cuò)誤 journalctl -xe -u mariadb # 查看系統(tǒng)日志 ls -la /var/lib/mysql # 檢查目錄權(quán)限應(yīng)為 mysql:mysql解決# 停止服務(wù) systemctl stop mariadb # 備份后清空數(shù)據(jù)目錄如果是全新安裝 mv /var/lib/mysql /var/lib/mysql.bak # 重新初始化數(shù)據(jù)庫(kù)謹(jǐn)慎會(huì)丟失所有數(shù)據(jù) mysql_install_db --usermysql --datadir/var/lib/mysql # 修復(fù)權(quán)限 chown -R mysql:mysql /var/lib/mysql # 再次啟動(dòng) systemctl start mariadb問(wèn)題3訪問(wèn)Zabbix Web頁(yè)面提示數(shù)據(jù)庫(kù)連接錯(cuò)誤原因Zabbix Server配置文件/etc/zabbix/zabbix_server.conf中的數(shù)據(jù)庫(kù)密碼錯(cuò)誤。數(shù)據(jù)庫(kù)沒(méi)有為zabbix用戶(hù)授權(quán)本地訪問(wèn)權(quán)限。數(shù)據(jù)庫(kù)服務(wù)沒(méi)啟動(dòng)。排查systemctl status mariadb確認(rèn)數(shù)據(jù)庫(kù)運(yùn)行。mysql -uzabbix -p用腳本中設(shè)置的密碼嘗試登錄。如果失敗檢查密碼和用戶(hù)權(quán)限。檢查/etc/zabbix/zabbix_server.conf中的DBPassword是否與數(shù)據(jù)庫(kù)中的一致。查看Zabbix Server日志tail -f /var/log/zabbix/zabbix_server.log通常會(huì)有明確的錯(cuò)誤信息。7.2 運(yùn)行階段典型問(wèn)題問(wèn)題4Zabbix Server日志中大量出現(xiàn)“cannot allocate memory”或“fork failed”原因系統(tǒng)內(nèi)存或進(jìn)程數(shù)不足。Zabbix Server的StartPollers等參數(shù)設(shè)置過(guò)高或者系統(tǒng)內(nèi)核參數(shù)vm.overcommit_memory、kernel.pid_max限制。解決臨時(shí)降低/etc/zabbix/zabbix_server.conf中的StartPollers、StartDiscoverers等進(jìn)程數(shù)。調(diào)整系統(tǒng)內(nèi)核參數(shù)需重啟生效# 編輯 /etc/sysctl.conf vm.overcommit_memory 1 # 允許內(nèi)存過(guò)量分配 kernel.pid_max 65535 # 增加最大進(jìn)程數(shù) # 執(zhí)行 sysctl -p 使生效最根本的為服務(wù)器增加物理內(nèi)存。問(wèn)題5Zabbix Web前端圖形亂碼或中文顯示為方框原因服務(wù)器缺少中文字體。解決在Zabbix Server所在機(jī)器上安裝中文字體并重新生成圖形緩存。# CentOS yum install -y wqy-microhei-fonts # 重啟Zabbix Server和Web服務(wù) systemctl restart zabbix-server php-fpm nginx # 也可以直接刪除圖形緩存讓其重新生成 rm -rf /var/lib/zabbix/*.png問(wèn)題6監(jiān)控?cái)?shù)據(jù)不更新Zabbix Agent狀態(tài)為“灰色”不支持原因Server和Agent之間網(wǎng)絡(luò)不通或者Agent配置的Hostname與Server端添加主機(jī)時(shí)填寫(xiě)的“主機(jī)名稱(chēng)”不匹配。排查在Server端執(zhí)行zabbix_get -s 客戶(hù)端IP -k agent.ping看是否能返回1。在客戶(hù)端檢查/etc/zabbix/zabbix_agent2.conf中的Hostname值。在Zabbix Web的“主機(jī)”配置中檢查“主機(jī)名稱(chēng)”是否與Agent配置文件中的Hostname完全一致大小寫(xiě)敏感。檢查客戶(hù)端防火墻是否放行了10050端口。為了方便查閱我將最常見(jiàn)的問(wèn)題和解決思路整理成了下表問(wèn)題現(xiàn)象可能原因排查命令/位置解決方案服務(wù)啟動(dòng)失敗1. 依賴(lài)缺失2. 配置文件錯(cuò)誤3. 端口占用systemctl status 服務(wù)名journalctl -xe -u 服務(wù)名netstat -tlnp | grep 端口號(hào)檢查對(duì)應(yīng)服務(wù)日志修正配置或解決沖突Web頁(yè)面502錯(cuò)誤1. PHP-FPM未運(yùn)行2. Nginx配置錯(cuò)誤systemctl status php-fpmnginx -t啟動(dòng)PHP-FPM檢查Nginx配置文件語(yǔ)法數(shù)據(jù)庫(kù)連接失敗1. 密碼錯(cuò)誤2. 用戶(hù)權(quán)限不足3. 數(shù)據(jù)庫(kù)服務(wù)未啟動(dòng)mysql -u用戶(hù) -p/var/log/zabbix/zabbix_server.log核對(duì)密碼授予權(quán)限啟動(dòng)數(shù)據(jù)庫(kù)服務(wù)監(jiān)控?cái)?shù)據(jù)延遲高1.StartPollers不足2. 數(shù)據(jù)庫(kù)性能瓶頸3. 磁盤(pán)IO慢查看Server日志Busy poller比例監(jiān)控?cái)?shù)據(jù)庫(kù)服務(wù)器負(fù)載增加StartPollers優(yōu)化數(shù)據(jù)庫(kù)配置檢查磁盤(pán)客戶(hù)端顯示“不支持”1. 網(wǎng)絡(luò)不通2.Hostname不匹配3. 防火墻阻止zabbix_get -s IP -k agent.ping對(duì)比Web主機(jī)名與agent配置開(kāi)通防火墻端口確保主機(jī)名一致這個(gè)一鍵安裝腳本和配套的離線資源包是我在多次內(nèi)網(wǎng)部署中不斷打磨出來(lái)的成果。它解決的核心痛點(diǎn)就是“環(huán)境隔離”和“部署效率”。對(duì)于運(yùn)維團(tuán)隊(duì)來(lái)說(shuō)它意味著可以將Zabbix的部署時(shí)間從以“小時(shí)”甚至“天”為單位縮短到“分鐘”級(jí)并且能保證不同環(huán)境之間高度一致減少了大量重復(fù)勞動(dòng)和人為錯(cuò)誤。腳本本身是起點(diǎn)你可以基于它根據(jù)自己公司的網(wǎng)絡(luò)架構(gòu)、安全規(guī)范進(jìn)行二次開(kāi)發(fā)比如集成到內(nèi)部的CMDB系統(tǒng)或者與自動(dòng)化運(yùn)維平臺(tái)對(duì)接實(shí)現(xiàn)更廣泛的自動(dòng)化部署。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲欧美不卡线| 伦激情人妻另类人妻| 岛国在线一区二区三区| 九九av| 天天摸夜夜添无码小视频| 夜夜夜久久| 欧美爆乳精品一区二区| 加勒比色综合| 色婷婷五月综合激情中文字幕| 成人精品欧洲亚洲| 五月综合婷婷久久网站| 大屁股熟女一区二区三区| 男人的天堂不卡一区二区| 吖在线不卡一区二区国产剧情| 亚洲限制级| 精品婷婷| 蜜桃臀一区二区aV| 中文字幕在线播放2中文字幕在线观看2| 91色狼| 嫩草伊人久久精品| 亚洲欧美成人在线| 男男H黄动漫啪啪无遮挡网站| 免费国产视频| 九九九九精品九九九九| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 色网亚洲人| 国产成人bd在线观看| 日韩操逼性鲍| 狼狼色丁香久久婷婷综合五月| 午夜福利国产欧美日韩夜夜| 清纯唯美亚洲综合| 亚洲视频1区| 中国少妇啪啪视频| 亚洲国产精品V?在线播放| 色婷婷久久| 免费看污网址| 97视频620| 中日992视频| 欧美日动态视频| 国产欧美日韩在线观看麻豆传媒公司 | 青青伊人久久| 五月天婷婷影院| 欧美日韩午夜精品一区二区三区| 天天操天天插| 水野优香在线观看| av婷婷色婷婷色六月| 中文字幕一区电影在线观看| 青青免费在线视频一区| 成年人黄色视频免费| 91欧美情色| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 色婷婷综合久久久久中文一区二区| 婷婷国产精品九区| 亚洲情色无码一区二区三区| 中文字幕一区二区无码成人| 综合伊人网12色| 日本精品五区| www.zbzhongsen.com| 人妻天天爽夜夜爽爽| 九九亚洲精品| 久久久96| 色999五月色| 五月丁香综合激情| 大奶尤物鲍汁淫荡欧美视频粉嫩夜夜骚| 三级片大波波| 久草免费在线视频| 开心婷婷五月| 99操| 啊啊啊啊啊啊啊在线| 精人妻无码一区二区三区伊人直播| 国产偷仑| 欧美一区二区三区四区综合| 久久婷婷精品| 美女91网址| 成人区人妻精品一| 欧美日韩国产一区二区小黄片大全| 欧美性性性| 老司机射| 99无码| 婷婷日韩一区二区三区中文字幕在线| 嗯嗯不要 视频| 任你艹| 色婷婷久久| 九九九九一区| 99国产精品久久久在线播放| 亚洲欧美日韩夜夜| 操死我干死我| 99re3这里只有精品| 久久大香蕉手机高清| 亚洲性感丝袜诱惑在线观看| 国产精品人妻熟女aⅴ| 9精品在线| 91天天综合| 伊人久久在线视频观看| 欧美久久婷| 性性欧美| 国产女人高潮视频| 丰满美女一级毛片在线播放| 日日夜夜噜| 香蕉久久AⅤ...| 97色婷| 97色网| 99热精品在线| AV和黑人在线播放| 日本免费二区三区| 狠狠色丁香| 精品一区二区2| 色臀AV| 97超级欧美| 9长久久精品| 岛国大片在线观看网站入口| wwe 天天干.com| 久久无码成人| 4虎在线视频| 日本操逼无码| 日韩在线一区高清在线| 欧美日韩国产人人| 免费av大片| 熟妇色99| 欧美丝袜激情| 五月丁香成人网| 370p日韩欧美亚洲精品| 亚州高清av| 国产九九久久久精品| 99久久精品无码一区二区| 成人色女网| 五月婷婷无码| 免费啪啪啪网站18岁| 午夜小电影在线插入淫高潮| 欧美久久毛片基地| 伊人影院在线理论播放| 五月天丁香| 亚洲 小说 欧美 激情 另类| 欧美色图片欧美色图| 97爱欧美| 欧美乱妇狂野欧美在线视频| 久久鲁夜| 少妇高潮喷水无套久久久久久| 久久麻豆一区二区| 亚洲91色在线| 国产精品视频电影| 亚洲色五月| 加勒比在线视频一区二区三区| 久久久久久久97| 91精品人妻一区二区三区蜜桃| 夜夜操夜夜高潮夜夜爽国产精品区| 中日韩久久久| 激情婷婷五月天| 国产高清无码一区三区二区| 日日超碰亚洲| 亚洲国产婷婷在线播放| 亚洲AV无码国产成人| 亚洲日韩精品在线播放| 色五月69夫妻| 欧美亚洲宗合色性图| 男人天堂婷婷五月天校园春色| 日韩午夜国产| 国产精品农村妇女精品| 日韩熟妇二区| 久久久久国产| 人妻精品综合中文字幕在线| 丝袜美腿诱惑亚洲欧美视频在线观看| 亚洲激情在线| 黄色av一区二区在线| 中文字幕成人理论在线| 日韩不卡a级视频专区| 欧亚免费视频| 9 7超碰在线免费观看| 成人在线午夜视频一区| 国产v亚洲v日韩v欧美v片另类| 中文操逼字幕| 国产热RE99久久6国产精品首| 91精品国产日韩欧美综合| 性爱av在线免费观看| 国产女生在线| 熟妇高潮一区二区免费视频| 亚洲97网站| 亚洲欧美天堂| 91啪啪| 中文字暮97| 综合 青草 伊久久 影院 综合| 亚洲色香| 免费一级性爱久久| 婷婷五月影院| 色欧洲| 人人操人人摸人| www.欧精品| 青草影院内射高潮| 亚洲日韩在线a不卡99精品| 成人乱码一区二区三少妇| 伊人AAA| 人妻丰满熟妇av无码区蜜桃| 国产午夜精品理论片a大结局| 在线无码网站| 丝袜狠狠草尤物人妻av91| 免费观看成人www精品视频| 91av一区二区在线观看| 2018天天干在线视频| 精精夜夜| 涩涩这里只有精品视频| 精品视频久久久久九九九九9999| 日本在线不卡一二区| 哈哈操电影AV| 久久riav中文精品| 97干com| 久久久性| 亚洲91少妇| 久热大香蕉| 亚洲中文字幕一区| 六月丁香久久| 色吧5亚洲| 亚洲欧美综合色| 岛国黄片网站| 亚洲麻豆18发?| 日日碰狠狠添天天爽超| 少妇第一页| 精品黑人一区二区| 中文字幕丝袜人妻| 操逼日韩无码 | 51国产午夜精品视频| 色色激情五月天| aaa亚无码专区| 男人的天堂2018东京热啪啪啪| 综合亚洲欧美精品日韩?v| 久久99精品九九久久久婷婷| 亚洲第一免费视频| 亚洲欧美在线丝袜| 3p国产色噜噜一区| 性色综合网| 一牛影视久久久一区二区三区| 国产兽交视频在线播放| 婷婷8月天青娱乐| 蜜臀久久99精品久久久久久久久| 女人被男人桶爽视频网站| 久9爱精品| 91国产操逼视频| 综合九九| 91处女在线视频| 日韩一级二级在线| 伊人黄色片| 33044男人的天堂深夜备| 绑缚麻绳人妻寝取完整版| 骚逼一区二区| 男人的亚洲天堂| 欧美三级偷拍| 色色色色日本| 亚洲熟女中文字幕在线| 日韩有码免费视频| 五月天欧美色图| 亚洲欧美中日韩| 中文字幕99999| 国产一进一出视频网站| 眼镜人妻101.com| 97亚洲色图| 日本片日本片祼观看网站在线看中文版网页在线看 | 成人午夜小视频手机在线看| 曰韩少妇无码| 激情五月天视频| 亚州欧美总和| 国产91精品福利在线| 伊蕉97蜜桃97狠狠综合干| 亚洲乱码精品一区二区| 久久久久久91香蕉国产| 蜜乳中文字幕a在线| 欧美综合第一| 婷婷色综合| 91在线精品一区二区三区| 亚洲www91| 五月天大香蕉| 亚洲少妇综合在线播放| 亚洲美女AV无码| 亚洲成人一二三区| 深夜激情无码| 中文人妻av高清一区| 视频在线97| 熟妇综合一区二区三区| 好湿好紧视频| 96国产污污污丝袜| 成人夜夜爽| 天天干天天燥| 超碰91在线| 夜夜免费视频| 国产吹潮女在线观看| 久久只有精品一区二区三区| av九九| 日韩性爱小视频在线观看| 日韩一级二级三级免费看完整版| 人妻精品一区一区三区蜜桃91| 久久久久中出| 亚洲情色1区| 大香蕉一级黄色片久久| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 成人久久精品| 91色色色| 吊色| 日本狠狠干| 久久久久久久亚洲Av无码| 国产9熟妇视频网站| 欧洲精品久久| 久操影视| 99re这里| 日韩人妻精品| 欧美99999| 好属操| 久久 精品| 午夜啊啊| 91色综合| 国产毛片毛片4p懂色| 熟女露脸激情自拍视频| 亚洲欧美91√| 亚州欧美在线| 久久久久久免费电影| 日本好吊色视频| 大香蕉男人的天堂| 午夜福利一区二区三区四区五区色婷婷| 蜜臀久久99精品| 在线 亚洲 网爆 自拍| 蜜桃视频精品一区二区三区| 亚洲黄色网址| 97视频免费| 亚洲无码 国产无码| 久久久久久久久女黄| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 97色香蕉| 高清无码一区二区三区| 天天干天天燥| 午夜精品五区| 91婷婷伊人狠人| 老女人爆菊| 亚洲清纯唯美| 日本成人在线不卡一区二区三区| 岛国色情视频在线观看| 婷婷伊人网| 一级人妻性爱视频| 九九99久久| 欧美激情 日韩精品| 亚洲一区制服诱惑| 国产精品亚洲无码| 亚洲欧美日韩精品久久久一区二区 | 亚洲天堂男人在线| 啊啊啊啊啊啊啊在线| 超碰美国| 激情久久久| 日本一片一区| 久久精品店| 女人 A一级| 91撸色网 玖玖网 欧美| 乱操乱伦AV| 男人兔费天堂| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 亚州,欧美在线| 国人欧美精品一区二区| 超碰97在线中文| 97超碰国产亚洲精品| 久久久久亚洲三级电影| 日本熟妇一区二区三区| 久久久性少妇| 婷婷五月天av| 亚洲欧美999| 一区二区视频你懂的| 欧美日韩国产成人高清| 91丝袜美女| 荡小穴在线观看| 91狠狠综| 78久久久| 日韩欧美成人性爱在线| 一区e区三| 婷婷伊人| 精品人妻1区| 99re在线视频国产| 久久超碰久| 99精品综合久久久久五月天| aaa一级黄片| 日韩九九九| 天天爱天天韩国日本牛牛牛牛| 亚洲天在线| 曰韩中文人妻视频| 日韩少妇无吗| 日韩精品永久在线观看| 东北女人性交| 啊啊啊不要啊啊受不了了视频在线 | 动漫片子网站3黄| 少妇毛片久久| 久久天堂婷婷网| 97操| yaouchengrenav| 综合网 欧美| 操碰97| 伊人专区一区二区三区| 一本色道无码DVD中文字幕| 无码免费精品高清| 清纯唯美亚洲另类| 中文字幕 人妻不满 在线视频| 精品人妻免费观看| 情趣丝袜无码操逼视频| 国产自偷| 97国产伦理| 人人爱操| 麻豆av一区二区三区| 91九色精品熟女内射| 久久99人妖视频国产| 亚洲资源站| 噜噜瑟| 人妻熟女字幕一区二区| 中亚精品极乱| 特级大荫道BBwBBwBBW| 精品免费一区二区三区在线亚洲人成| 亚洲男人bt天堂| 五月丁香色婷婷| 日日干夜夜干| 黄色片大香蕉| 顶级少妇BT天堂| 久久久精久久久| 精品成人av一区二区三区在线| 婷婷8月天青娱乐| 巨爆乳肉感一区二区三区竹菊影视 | 人妻五十路在线| 欧美日日人人天天| 97精品久久久久久久| 天天狠| 婷婷五月天无码 | 欧美人妻精品| 风骚少妇视频中文字幕| 中文字暮97| 久久久18禁| 1204人成网站色www| 婷婷久月| 婷婷综合| 日韩欧美天天爽爽爽天天爽爽| 久久久久幕乱码| 一级@啪啪视频| 久草福利在线资源站| 欧美精品自慰系列寂寞少妇 | 嗯~啊~快点 死我视频| wwe 天天干.com| 亚洲图片偷拍欧美| 狠狠中文字幕| 中文字幕日产av人| 91综合天天| 日本操逼视频在线| 欧亚综合一卡二卡中文字幕| 亚洲素人综合| 中文字幕精品一区欧美| 四色永久成人网站| 日韩精品一区二区三区色欲| 99日视频在线免费| 国产成人无码啪| 亚州精人品大香蕉| 88xx成人精品视频| 日本污ww视频网站| 98超碰日本| 人人看人人爰人人操| 久久人妻丝袜一区二区三| 日日干日日操五月天伦理视频| 四虎免费视频| 99热这里是精品| 最新精品久久蜜桃 | 男人天堂网站| 亚洲AV不卡在线观看尤物| 十八禁视频一区二区| 蜜臀AV成人精品蜜臀AV久久| 99rre在线精品99re8| 伊人五月天| 日韩欧美传媒一区国产| 欧美亚洲玖玖玖| 97在线日韩中文字幕| 国产精品老师| 久久国产精品一区二区| 国产伦精品免编号公布| 91黄站| 少妇厨房愉情理伦片bd在线观看| 色性荡荡荡荡视频| 国产精品午夜福利亚洲综合网| 在线看污网站| 久久一本大香蕉| www.91色综合| 粉嫩不卡一区二区性爱| 超碰到97情色| 欧美性天天影院| 97色在线观看| 国产福利精品最新在线| 中文一区二区三区影院| 亚洲视频,小说| 色老汉玖玖爱| 99爱精品| 日韩乱伦视频| 中文字幕黄片在线| 亚洲污污网站| 亚州色交| 天天日B狠狠操| 欧美日韩性爱电影在线| 精品国产乱码久久久久久网站入口| 天美AV片| 大香蕉碰| 夜色五月天| 日本精品五区| 婷婷超| 久久二| 精品乱子一区二区三区99| 久久久久久久久久久97| 性色av网站| 蜜臀久久99精品久久久久久-DVD原版全| 中文字幕AV片| 五月激情啪啪| 一区二区三区激情在线观看| 亚洲1区2区三区高清中文字幕| 超碰伊人在线| 欧美亚洲美少妇一区二区| 国产精品久久久久av| 手机在线视频国内精品| 欧美大的香蕉有线电视视频| 99蜜桃臀久久久欧美精品网站| 大香蕉在线免| 色哟哟av| 天美传媒AV在线| 五码视频在线观看| 男女啊啊啊啊啊| 亚洲综合20p| 久久国产AⅤ| 成人av福利在线观看| 69久久| 97超碰国产亚洲精品| a人欧美综合天堂麻豆| 色大师网站www永久网站视频| 东京热不卡视频| 九九九偷拍| 久久精品| 久久神马| 老司机天天操| 开心五月婷婷激情| 干b在线性社区| 亚洲欧美激情小说| 国产在线观看一区二区三区| 亚洲精品白浆高清久久久久久| 91干熟女| 久久综合日韩亚洲欧美| 日欧美色| 久久久内射良家| 少妇高潮一区二区三区在线| av一区二区三区四区| 国产精品com| 天天色综合天天操| 99色骚| 日韩精品字幕| 少妇高潮99p| 久久精品视| 国产日逼视频| 青青青青草av在线观看| 激情文学亚洲| 成人免费性爱视视| 色999五月色| 风骚少妇视频中文字幕| 亚洲欧美综合| 久久伊人大香蕉| 青青草大香蕉视频| 日韩性爱高清免费视频| 欧洲精品欧洲精品| 全球成人中文在线| 欧美一区二区三区成人性生活| 亚洲日韩美女丝袜美腿人妻视频| 久久草大香蕉| 日韩人妻操B| 欧美色狠| 久久这里精品国产99丫e6| 一区二区三区高清 | 日韩久久超碰色| 亚洲国产精品无码AV久久久| wwe 天天干.com| 日本人妻伦在线中文字幕| 男人的天堂2018.| 久久99九九九九6666免费观看软件| 天综合网| 51国产午夜精品视频| 五月丁香激情综合网| 日韩欧美女求操每天更新| 久久精品中文字幕无码l| 丰满精品人妻少妇久久字幕| 免费看黄视频亚洲网站| 青青青草原| 久久久久久国产精品| 乱伦熟女专区| 天美精品一区二区三区四区在线观看| 大香蕉www.超碰| 蜜臀av中文字幕| 能看的AV| 正在播放国产精品一区| 国产精品网站www| 日本一级性爱| 两女互慰AV高潮喷水在线观看| 熟女自慰久久久| av日韩手机在线影视| 清纯唯美亚洲综合| 天美传媒av一区二区| 理论久久婷婷网 8| 久久久久久99AV无码免费网站| 欧美综合第一| 国产AV激情无码久久无码| 欧美天天性| 大香蕉伊然在亚洲91| 男人的天堂.com| 99热亚洲| 亚洲情色综合| 91视频综合网| 五十路熟女,国产欧美精品区一区二区三区| 亚洲综合激情五月久久| 日韩亚洲国产视频| 日韩一区二区精彩视频| 蜜臀AV一区二区三区| 男人天堂 天天射| 日韩一999精品| 天天视频黄网站| 国产精品嫩草影院免费| 天堂v无码免费视频| 噜噜噜噜天天狠狠| 91麻豆天美国产欧美高潮| 乱码人妻一区二区三区| 日本A级视频| 国产九区| 蜜臀av中字字幕网站| 日韩乱伦影音先锋| 亚洲精品一区二区三区在线播放 | 黑操B| 婷婷六月天| 黄色av一区二区在线| 乱伦3P视频| 午夜精品探花| 区日韩亚洲乱码av电影| 蜜桃精品一区二区三区ww | 伊人精品久久网站| 欧美 日韩第一性色| 国产精品久久久 | 一区二区影院| jk白丝没脱就开始啪啪| 亚洲免费成人在线高清无码视频| 午夜亚洲WWW湿好大| 亚洲一区二区三区中文字幕| 黄色一区二区秘书性感| 9久精品| 久久日韩毛| 一区二区三区色综合| 亚洲女人91| 国产av又色又爽又黄| 思思热免费视频观看| 91精品电影18| 天天摸夜夜操视频| 亚洲天堂资源在线| 国产v亚洲v日韩v欧美v片另类| 精品人妻一区二区三区在| 91精品伊人久久久大香线蕉91| 啊啊啊啊啊操我视频| 黄色成品网站| 亚洲男人天堂网站| 亚洲熟女中文字幕在线| 国产精品久久久九九九| 国产精品在线免费| 精品成人亚洲午夜电影| 日韩乱伦视频| 日本九九久久99| 日韩97P| 亚欧韩av| 青青青草原| 免费一级黄色录像影片| 欧美一区二区三区日韩| 综合一区中亚洲国产成人综合精品| 久久久久婷婷精品av电影| 久久久久久亚洲Av无码| 欧美亚洲美少妇一区二区| 二三四区精品| 91亚洲网站| 婷婷五月天激情网| 999综合色| 亚洲AV成人精品网站在AV| 欧美嫩性色| 友优传媒精品在线一区二区| A久久| 蜜臀AV一区二区三区| 欧美日韩性爱精品| 9久9久| 色综合九九| 亚洲无码一区成人免费午夜| 国产少妇肉丝在线观看| 久久岛国| 国产精品乱人伊人网| 精品视频久久区| 91人妻最真实刺激绿帽| 久久手机好看网站| 精品欧美老熟女一二区| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 69精品| 人人插人人摸人人| K8久久久久| 久久97| 免费AV中文网在线观看| 天天澡天天爽日日av| 国内毛片国产专区二| 加勒比久久av| 日本久操视频| 男人天堂2017| 色偷综合| 人妻天堂综合网| 精品人妻中文字幕高清| 91日产欧美| 亚洲男人久久综合天堂| www.高清无码诱惑一区.com| 中文字幕一区二区三区视频播放| 青青草AV色| 天天弄欧美| 91精品久久久久久77777| 亚欧高清| 亚洲91色| 亚州高清色综合| 日韩三级久久久| 免费人成?大片在线播放| 高清有码一区二区| 啊v在线观看视频| AV在线资源| 婷婷久草一区二区三区| 国产无码精品久久久久久| 亚洲drav色图| 国产熟女二区| 国产熟妇一区二区| 久久久精久久久| 99热精品在线在线| 国产一区在线免费播放| 日本操逼视频不卡直接放| 欧美性高潮| 日韩精品电影| 亚洲成人精品久久久| 黑操B| 先锋精品av色鲁| 人人做人人妻人人夜视频| 日韩电影在线观看网址| 久久久96| 亚洲欧美在线丝袜| 日本免费一区二区不卡| 精品一国2| 久久精品视频在线观看| 中文字幕国产精品1区| 激情综合二| 亚洲最大网站av| 成人亚欧免费视频| av天堂5| 婷婷丁香五月综合| 91丝袜美女| 熟女天天干| 激情综合av| 2003天天干夜夜操| 亚洲女优有码无码高清| 天天狂操夜夜狂日| 久操国产在线| 久草精品国产99| 亚洲av综合色区无码一| 日本中文字幕在线视频| 97精品综合久久| 在线 制服丝袜中出 人妻| 色妹子A V| av操操不卡| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 国产久久av| 九九久久综合| 欧美高潮在线| 99只有精品| 日韩欧美女求操每天更新| 久久产精品一区二区三区电影| 艹比视频国产精品| 亚洲高清内射| 亚洲人妻五月丁香婷婷| 人妻一区二区三区四区视频| 亚洲第2页| 日韩美女,国产传媒,视频一区| 久操在97| 日韩欧美午夜一区二区| 色综合久| AV男人天堂网| 欧亚性爱啪啪| 乱老熟女一区二区三区| 午夜男人的天堂| 五月开心网| 天天综合~91| 91 手机在线播放 绯色| 亚洲在线91| 色色色色色色色色色色色色色色综合| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 亚洲第一狼人丝袜美女另类| 欧美熟妇精品黑人巨大一二三区| 91精品人妻一品二品三品| 国产精品久久久久无码AV会牛| 欧美激情一| 免费看黄视频亚洲网站| 男生女生啊啊啊啊| 一区三区啪啪| 天天综合官网| 久久最新视频免费观看| 九月丁香综合网| 激情情色五月天| 欧美很很操视频| 97爱综合| 亚州 综合 色图| 国产激情在线| 久久久999国产精品| 91人妻尻屄视频| 大香蕉草草| 任我爽视频在线观看| 熟妇的味道HD中文字幕| 樱花草社区www中国| 亚洲砖码砖专无区2023| 超碰在线人人射| 欧美在线视频观看一二三四区高清 | 99久久精品欧美国产| 综合网久久| 女人的久久久| 中文字幕在线高清男人的天堂 | 狠狠操使劲操| 日韩专区久久久| 亚洲色欲一区二区三区| 欧美精品999| 大香蕉黄色一级片免费看| 欧美性色欧美| 天堂精品一区| 97精品97久久| 手机久操欧美综合色码| 午夜欧美神马久久久久| 北京专精特新企业招聘信息| 欧美精品第3页| 这里只有精品视频| 狠狠色丁香| 手机在线播放国产福利| 国产精品视频在线观看| 麻豆美女丝袜人妻中文| 亚洲av性爱电影| 亚洲本色精品一区二区久久| 中国少妇啪啪视频| 啊啊啊啊啊好多水| 亚洲电影中字一区二区| 日韩日本欧美在线观看| 国产精品久久久 | 免费99精品国产自在在线| 丝袜制服字幕在线| 熟女丝袜视频| 人人爽天天爽| 人人摸人人干| 欧美一区二区成人一卡| 精品一久久久| 91 亚欧| 97超级久久| 九九九九热| 尤物视频视频官网| 亚洲天天做日日做天天谢日日| 岛国黄| 久久久久婷婷| 久久黄黄| 久久精品天美| 97精品视频在线播放| 欧美色综合网| 凹凸视频在线一区二区| 十八禁视频一区二区| 免费看日产一区二区三区| 男人的天堂2019AV| 青青欧洲黑| 久久超碰日韩精品| 大黄片做爱的大的| 国产白领连续中出在线观看| 97色97好| 91国产丝袜白虎| 清纯唯美亚洲综合| 伊人女女资源在线观看| 久久久久久久人妻| 国产久久一区二区三区野外在线| 欧洲一区二区三区四区在线观看| 久久久久久人| 天天干夜夜一操| 91狠狠色丁香婷婷综合久久精品| 五月综合激情| 91精品婷婷国产综合久久| 78精品| 免费少妇一区二区| 五月婷婷丁香| 超碰偷拍| 久久亚洲AV无码专区国产精品| baisiav| 欧美人妖内射| 九九综合久久| 天堂亚洲精品久久老牛| 少妇一区二区三区精选| 国产原创自拍| 中文字幕一区二区三区四五区| 亚洲国产91精品一区二区久久| 亚洲精品成人激情在线| 99精品人人爽| 2019精品国产无码成人| 九色97| 天天干人人乐| 狠狠中文字幕| 日韩亚洲欧美中文字幕| 国内91熟女人妻丝袜天天精品视频在线| 黑人中出21连凳花野真衣| 天天久久| 夫妻四区五区六区| 乱伦日本中文自拍| 伊人成人情色综合| 99久久久无码精品国产人| 日韩99神马视频播放| 日韩av在线精品观看| 国产精品熟女AV中文字幕在线播放| 51国产午夜精品视频| 97看操| 强奸乱伦大香蕉| 久射吧| www.婷婷六月天| 亚洲97| 亚洲情色一区二区三区| 精品人体无圣光凹凸| 亚州高清av| 天天日夜夜| 一个国产在线综合网站| 欧美日韩人妻婷婷一区| 亚洲色久| 国产二区视频在线观看电影| 亚洲影视高清第一页| 97国产色综合| 欧美午夜视频精品久久| 久久久久国产精品久久久| 色婷婷综合久久久久中文一区二区| 亚洲成人无码影院| 久久免费少妇| 超碰97国产欧美| 少妇人妻在线| 熟妇激情| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 男人的天堂2018.| 亚洲久热| 操操AV电影| 上海一级黄片| a亚洲欧美色欲| juliaann欧美丝袜办公室| 91AV天美在线视频| 亚洲 图片 欧美 色图| 狠狠色综合网| 精品久久久久av影院| 日本孕妇一区二区视频操逼免费看 | 久久久久九九九九| 久久久久久久久9| 91男人综合| 91色欧美| 亚洲资源站| 日本久久女同性恋视频| 欧美精品二区视频在线| 懂色aV一区二区天美传媒| 日夜伊人网| 欧美碰碰综合色| 欧美色999| 超碰97久久| 超碰国产精品无码| 日本免费人成视频播放120秒| 伊人操你| 嫩草影院在线观看精品 | 久草尤物| 色成人Www精品永久观看| 精品国产乱码| jizzjizz欧美| 亚洲九九夜夜| 日本99视频| 欧美永久激情一区二区| 久久同城AV| 老司机香蕉久久久久| 日韩免费a级毛片无码a∨| 国产久久av| 色色99| 日韩欧美丝袜诱惑| 国产2.3.4区| 高清国产精品福利网站| 日韩av不卡在线观看| 五月激情小说| 91熟女.com| 日韩免费在线观看不卡| 五月婷婷六月丁香| 99re在线精品78| 被操高清无码视频| 大香蕉九九| 国产天美传媒精品| 久久大黄片| 久久99午夜精品一区人妻| 一区二区首页| 丰满人妻一区二区三区四区| av一区二区三区不卡| 六月丁丁香| 熟女91网| 日本操逼视频不卡直接放| 五月天精品| 亚洲久久天堂| 色天欧美| 激情视屏国产乱伦强奸| 狠狠亚洲| 99久久e免费热视| 久久精品99久久久久久| 亚洲欧美中文一区二区三| 超硑97精品| 亚洲有码视频二区| 骚鸭AV| 久草福利在线资源站| av 模特一区了| 无码操逼网| 蜜臀无码一区二区| 日va操| 日本道人妻久久久在线不卡色视频| 黄片免费久久久久久久| 97超碰中文字幕| 2024人人操人人摸| 天天欧美| 超碰97玖玖爱| 国产二区视频在线观看电影| 日韩99神马视频片| 国产成人无码久久精品| 欧美91在线| 东京热熟女亚洲视频网站| 破苞ⅩXXX性无码动漫无码| 在线播放中文字幕| 国产玖玖| 岛国片国产成人亚洲播放| 97人妻人人躁人人玩人人| 婷婷亚洲中文字幕在线| 精品久久无码午夜福利| 色女99一级片在线观看| 日韩A优精品在线观看| 搡老女人老熟女91| 五月天欧美色图| 蜜桃久久久久久久| 91久久久久免| 午夜精品探花| 婷婷av在线中文字幕| 99999这里都精品| 欧中日成人免费影视| 九九黄色网| 亚洲一本色道中文无码aV天美| 亚洲一区二区AV| 热热色AV| 日本一久是| 超碰97色色| 韩国轻伦国内自拍一区| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 美女上床网站| 精品一二三区四视频| 国产精品高潮久久AV| 99自拍视频| 五月丁香网站| 狠狠操夜夜操蜜桃视频三区| 人妻少妇av在线观看| 国产男女无套视频免费观看| 国产AV激情无码久久无码| 亚洲情欲| 东京热天堂网| 亚洲激情视频| 男人的天堂久久| 欧美亚洲系列| 超碰碰97资源站| 91亚洲人| 亚洲丝袜诱惑| 影音先锋少妇| 凸凹视频在线观看| 九九在线视频| 不卡超碰护士AV在线免费播放| 麻豆久久久久久久久丝袜 | 久久性爱视频99| 精品人妻一区二区视频| 男人a天堂手机在线版| 成人 日韩欧美一区| 女一区二区| 99热这里只有精品1| 91操熟女| 自拍偷拍草一草| 都市久久精品激情亚洲| 俄罗斯一区二区视频在线观看| 久久成人午夜精品影院| 亚洲性爱无码乱伦av| 亚洲高潮少妇| 欧美亚洲美少妇一区二区| 香蕉av一区二区三区| 97操B| 午夜.DJ高清在线观看免费7| 亚洲精品人妻吞精av| www.夜夜| 97久久久精品| 亚洲av青草久久一区二区| 无码WWW免费视频网站| 久久侵犯人妻爽爽爽| 日本布卡一区二三区| 97视频在线播放| 欧美日韩岛国大片在线观看| 97视频网站在线观看| 亚洲综合69| 最新日本中文字幕| 亚洲天堂区| 国产青青美女玩逼视频| 秋霞午夜视频一区二区| 国产大陆天天艹| 97精品国产手机| 九九黄色视频在线观看| 日韩在线观看三级电影| 97这里都是精品| 国产尹人在线视频免费| 中文字幕久热视频在线| 天天看天天日| 亚洲av性爱电影| 91精品人妻一区二区三区蜜桃| 果冻传媒一区二区三区| 亚洲成人一二三区| 五月婷婷五月天| 色婷婷基地| 曰韩av中文字幕专区| 亚洲最新Av| 国产操逼网站亚洲一级黄色| 丝袜美腿亚洲| 激情文学88| 干超碰碰熟女| 欧美人妻少妇| 亚洲在线a| 天天澡天天爽日日AV| 国产无码三级视频在线观看| 9Ⅰ超碰| 91精品人妻一区二区三区蜜桃| 丝袜美腿av女优在线| 网友自拍第一页| 黄色视频高清无码网站| 97超碰人人模人人拍人人| 成人a v在线播放免费| 74成人在线| 日本国产高清色www视频在线| 中文字幕日本久久| 国产成人精品必看| 密乳无码| 91 手机在线播放 绯色| 又大又黄国产| 精品91摸| 熟女欧美日韩综合婷婷| 精品无人区麻豆乱码1区2区图片| 尤物网站91| 丁香五月天堂| 午夜后入| 曰本人妻人人澡人人夹| 啊啊啊好湿国产一二| 午夜九九九九九九| 国产精品午夜福利| 性生活无遮挡纯毛片在线看| 久久久91福利姬| 国产深喉视频一区二区| a片 xxxx受爽视频| 亚洲aV性爱| 日韩啪啪啪视频| 日韩综合色图| 亚洲日韩美国人妻| 人妻天堂综合网| 人妻人久久精品中文字幕| 麻豆av一区二区| 国产懂色精品国产av| 你草精品在线视频| 91亚洲欧洲| 色婷婷影院| 日韩精品影视| 99久久亚洲精品无码毛片潘甜甜| 欧美午夜视频精品久久|