運(yùn)維配置管理后端【免費(fèi)下載鏈接】saltSoftware to automate the management and configuration of infrastructure and applications at scale.項(xiàng)目地址https://gitcode.com/gh_mirrors/sa/salt點(diǎn)擊查看免費(fèi)下載導(dǎo)讀saltutil是 SaltStack本倉庫 salt/modules/saltutil.py中負(fù)責(zé)管理 Salt 自身的執(zhí)行模塊從文件服務(wù)器同步自定義模塊、刷新 minion 的 pillar/grains/beacons、查詢與終止正在運(yùn)行的作業(yè)、清理緩存、重建密鑰甚至允許運(yùn)行在 master 上的 minion 反向調(diào)用 runner、wheel 和 salt 命令。本文基于官方 API 參考文檔 doc/ref/modules/all/salt.modules.saltutil.rst該文檔通過automodule指令完整渲染本模塊的全部函數(shù)簽名與文檔字符串逐類講解其全部功能、參數(shù)語義與底層實(shí)現(xiàn)幫助你掌握用一條salt命令遠(yuǎn)程治理 minion 自身的完整能力。說明saltutil全部函數(shù)都在 minion 側(cè)執(zhí)行部分函數(shù)要求該 minion 位于 master 之上通常通過salt target saltutil.function調(diào)用也可在 minion 本機(jī)用salt-call saltutil.function調(diào)用。模塊聲明了__proxyenabled__ [*]salt/modules/saltutil.py因此也適用于所有 proxy minion。一、自定義擴(kuò)展模塊同步體系sync_*家族Salt 允許用戶在文件服務(wù)器的_modules、_states、_grains等特殊目錄中放置自定義擴(kuò)展模塊saltutil.sync_*系列函數(shù)負(fù)責(zé)把這些模塊從 master 的文件服務(wù)器同步到 minion 的擴(kuò)展模塊目錄并默認(rèn)觸發(fā)對應(yīng)的刷新動作。該文檔以 doc/ref/modules/all/salt.modules.saltutil.rst 為入口完整列出了所有同步函數(shù)。1.1 同步函數(shù)總覽函數(shù)同步源目錄默認(rèn) refresh 動作引入版本sync_modulessalt://_modules刷新執(zhí)行模塊0.10.0sync_statessalt://_states刷新執(zhí)行模塊0.10.0sync_grainssalt://_grains刷新 pillar間接刷新模塊0.10.0sync_rendererssalt://_renderers刷新執(zhí)行模塊0.10.0sync_returnerssalt://_returners刷新執(zhí)行模塊0.10.0sync_utilssalt://_utils刷新執(zhí)行模塊2014.7.0sync_beaconssalt://_beacons刷新 beacons2015.5.1sync_log_handlerssalt://_log_handlers刷新執(zhí)行模塊2015.8.0sync_pillarsalt://_pillar刷新 pillar僅 masterless minion2015.8.11, 2016.3.2sync_sdbsalt://_sdb無不觸發(fā)刷新2015.5.8, 2015.8.3sync_proxymodulessalt://_proxy刷新執(zhí)行模塊2015.8.2sync_enginessalt://_engines刷新執(zhí)行模塊2016.3.0sync_cloudssalt://_cloud刷新執(zhí)行模塊2017.7.0sync_thoriumsalt://_thorium刷新執(zhí)行模塊2018.3.0sync_matcherssalt://_matchers刷新執(zhí)行模塊2019.2.0sync_serializerssalt://_serializers刷新執(zhí)行模塊2019.2.0sync_executorssalt://_executors刷新執(zhí)行模塊3000sync_topssalt://_tops刷新環(huán)境緩存僅 masterless minion3007.0sync_wrappersalt://_wrapper刷新執(zhí)行模塊僅 masterless minion3007.0sync_output別名sync_outputterssalt://_output刷新執(zhí)行模塊—sync_resourcessalt://_resources觸發(fā)資源重新發(fā)現(xiàn)—1.2 統(tǒng)一參數(shù)語義絕大多數(shù)sync_*函數(shù)共享同一組參數(shù)以文檔字符串為準(zhǔn)saltenv文件服務(wù)器環(huán)境fileserver environment。傳逗號分隔列表可同步多個環(huán)境例如saltenvbase,dev。若不傳則會讀取 top file 中配置的所有環(huán)境如果沒有 top file則默認(rèn)同步base環(huán)境。這一邏輯由模塊內(nèi)的_get_top_file_envs()實(shí)現(xiàn)salt/modules/saltutil.py它實(shí)例化salt.state.HighState讀取 top file并將結(jié)果緩存在上下文鍵saltutil._top_file_envs源碼常量TOP_ENVS_CKEY中以避免重復(fù)解析若渲染 top file 失敗會拋出CommandExecutionError。refresh默認(rèn)True同步完成后是否刷新對應(yīng)資源。文檔明確說明即使沒有新模塊被同步也會執(zhí)行刷新設(shè)False可跳過。例如sync_modules的 refresh 會調(diào)用refresh_modules()sync_grains的 refresh 會調(diào)用refresh_pillar()因?yàn)?pillar 刷新內(nèi)部會完成模塊刷新。extmod_whitelist/extmod_blacklist默認(rèn)None逗號分隔的模塊名單按類型限定只同步哪些或排除哪些。對于sync_all這兩個參數(shù)則是字典形式如extmod_whitelist{modules: [custom_module]}。clean_pillar_cache默認(rèn)Falsesync_grains、sync_pillar、sync_all、refresh_grains獨(dú)有設(shè)為True時同時刷新 pillar 緩存。1.3 底層同步機(jī)制所有同步函數(shù)最終都匯聚到私有輔助函數(shù)_sync()salt/modules/saltutil.py它調(diào)用 salt/utils/extmods.py 中的salt.utils.extmods.sync()完成實(shí)際工作解析白名單/黑名單字符串會被按逗號拆分字典則按類型分別匹配通過fileclient.cache_dir()從salt://_form下載文件到本地緩存只匹配.py、.pyx、.so、.zip后綴對比目標(biāo)文件哈希hash_type默認(rèn)取自 opts有變化才覆蓋寫入并將form.relname追加到返回列表若設(shè)置了clean_dynamic_modules: Trueminion 配置項(xiàng)會遞歸清理擴(kuò)展模塊目錄中已從文件服務(wù)器消失的文件與空目錄保持兩側(cè)嚴(yán)格一致返回(ret, touched)touched為真時_sync會在cachedir/module_refresh下創(chuàng)建一個占位文件作為需要重載模塊的信號同步 grains 時還會清除磁盤上的grains.cache.p見_clear_grains_cache()salt/modules/saltutil.py防止grains_cache開啟時讀到過期數(shù)據(jù)對應(yīng) tests/pytests/functional/modules/test_saltutil.py 中針對 issue #55667 的回歸測試。1.4 特別注意事項(xiàng)masterless 限制sync_pillar、sync_tops、sync_wrapper在傳統(tǒng)非 masterlessminion 上執(zhí)行會直接拋出CommandExecutionError因?yàn)開_opts__[file_client] ! local。其中sync_tops在refreshTrue時還會先清除TOP_ENVS_CKEY緩存再同步salt://_tops。state 中調(diào)用必須帶 refresh文檔特別強(qiáng)調(diào)如果用module.runstate 調(diào)用sync_modules/sync_all由于 SLS 渲染已完成新同步的模塊在本次運(yùn)行中不可見必須顯式傳refresh: Trueload_my_custom_module: module.run: - name: saltutil.sync_modules - refresh: True1.5 一鍵同步全部sync_allsync_all在一個調(diào)用里按依賴順序同步所有擴(kuò)展模塊類型salt/modules/saltutil.pymasterless minion 先同步 tops因?yàn)樗赡苡绊懞罄m(xù)同步的環(huán)境選擇隨后依次同步 clouds、beacons、modules、states、sdb、grains、renderers、returners、output、utils、log_handlers、executors、proxymodules、engines、thorium、serializers、matchers、resourcesmasterless minion 再追加 pillar 與 wrapper。refreshTrue時最后統(tǒng)一執(zhí)行一次refresh_pillar()內(nèi)部已完成模塊刷新避免重復(fù)刷新。返回的字典以類型為鍵、以各自同步結(jié)果為值。salt * saltutil.sync_all salt * saltutil.sync_all saltenvdev salt * saltutil.sync_all saltenvbase,dev salt * saltutil.sync_all extmod_whitelist{modules: [custom_module]}1.6 查看已同步的擴(kuò)展模塊list_extmodslist_extmods遍歷cachedir/extmods目錄按模塊類型分組列出所有已同步到本 minion 的外部模塊名文件去擴(kuò)展名便于核對哪些擴(kuò)展確實(shí)已落地salt * saltutil.list_extmods二、運(yùn)行時資源刷新refresh_*家族刷新類函數(shù)不涉及文件傳輸而是向 minion 自身的事件總線發(fā)送事件讓 minion 內(nèi)部重新加載對應(yīng)數(shù)據(jù)。2.1refresh_modules異步與同步兩種模式向 minion 發(fā)送module_refresh事件以重載執(zhí)行模塊與 grains。默認(rèn)異步salt * saltutil.refresh_modules立即返回。如需阻塞等待刷新完成傳asyncFalse——此時函數(shù)會先掛起一個事件監(jiān)聽器再觸發(fā)攜帶notify: True的刷新事件并阻塞等待MINION_MOD_REFRESH_COMPLETE事件超時 30 秒后返回salt/modules/saltutil.py。2.2refresh_pillar發(fā)送pillar_refresh事件刷新 minion 內(nèi)存中的 pillar 數(shù)據(jù)詳見文檔引用的 pillar-in-memory 機(jī)制wait默認(rèn)False設(shè)為True時阻塞等待刷新完成timeout默認(rèn)30waitTrue時最多等待的秒數(shù)clean_cache默認(rèn)True3005 版本新增清理 pillar 緩存僅在pillar_cache開啟時生效。salt * saltutil.refresh_pillar salt * saltutil.refresh_pillar waitTrue timeout60注意本模塊同時用pillar_refresh salt.utils.functools.alias_function(refresh_pillar, pillar_refresh)導(dǎo)出了別名salt/modules/saltutil.py文檔頁通過:exclude-members: pillar_refresh將別名排除在 API 列表之外避免重復(fù)展示但兩者完全等價、均可調(diào)用。2.3refresh_grains刷新 minion 的 grains但不從salt://_grains同步新模塊文檔提醒該過程會順帶重載可用執(zhí)行模塊因?yàn)?grains 可能影響模塊是否可用。參數(shù)refresh_pillar默認(rèn)True設(shè)為False阻止 pillar 一并刷新clean_pillar_cache默認(rèn)False設(shè)為True刷新 pillar 緩存。實(shí)現(xiàn)上先清除磁盤 grains 緩存再刷新salt/modules/saltutil.py這正是 tests/pytests/functional/modules/test_saltutil.py 所覆蓋的 #55667 回歸場景。salt * saltutil.refresh_grains2.4refresh_beacons與refresh_matchers分別發(fā)送beacons_refresh與matchers_refresh事件讓 minion 重新加載 beacon 配置與匹配器matchers定義。若事件模塊不可用如某些 proxy 場景會記錄錯誤并返回False等效于 no-opsalt * saltutil.refresh_beacons salt * saltutil.refresh_matchers2.5refresh_resources觸發(fā)resource_refresh事件minion 收到后基于當(dāng)前 pillar 數(shù)據(jù)重新執(zhí)行_discover_resources()并將發(fā)現(xiàn)的資源重新注冊到 master 的minion_resources緩存中——適用于需要動態(tài)上報托管資源的場景通常與sync_resources配合后者同步salt://_resources自定義資源模塊后自動觸發(fā)一次該刷新salt * saltutil.refresh_resources三、作業(yè)Job管理與進(jìn)程信號控制3.1 查詢運(yùn)行狀態(tài)running返回 minion 上所有正在運(yùn)行的 Salt 進(jìn)程數(shù)據(jù)含 jid、fun、pid、tgt 等字段底層委托 salt/utils/minion.py 的running()實(shí)現(xiàn)。is_running fun參數(shù)支持glob 通配返回匹配函數(shù)名的運(yùn)行作業(yè)。例如salt * saltutil.is_running state.highstate可判斷 highstate 是否正在執(zhí)行。3.2 定位單個作業(yè)find_job jid返回指定 jid 的運(yùn)行中作業(yè)信息。文檔給出了完整輸出示例含arg、fun、jid、pid、tgt、tgt_type、user字段若作業(yè)已完成則返回空字典。從源碼看salt/modules/saltutil.py它先掃描running()隨后還會檢查cachedir下的state_queue與job_queue排隊(duì)目錄——隊(duì)列文件按queued_timestamp_jid.p命名命中后返回帶queued: True、pid: 0的結(jié)構(gòu)避免把排隊(duì)中作業(yè)誤報為不存在。find_cached_job jid返回已緩存的作業(yè)結(jié)果。前提是 minion 配置了cache_jobs: True否則返回提示信息Local jobs cache directory not found; you may need to enable cache_jobs on this minion。數(shù)據(jù)從cachedir/minion_jobs/jid/return.p讀取并反序列化。3.3 信號與終止signal_job jid sig向作業(yè)進(jìn)程發(fā)送任意信號如15即 SIGTERM。若安裝了psutil會遞歸向進(jìn)程的所有子進(jìn)程發(fā)送否則僅發(fā)送給主進(jìn)程及其記錄的child_pids。當(dāng)目標(biāo)進(jìn)程已不存在時會清理cachedir/proc/jid殘留文件并返回提示。未安裝 psutil 時記錄警告仍嘗試以os.kill發(fā)送。term_job jid等價于signal_job jid SIGTERM終止單個作業(yè)。term_all_jobs向所有正在運(yùn)行的作業(yè)發(fā)送 SIGTERM。kill_job jid發(fā)送 SIGKILL9。注意源碼頂部兼容 Win32salt_SIGKILL在平臺不支持SIGKILL時回退為SIGTERMsalt/modules/saltutil.py。kill_all_jobs向所有運(yùn)行作業(yè)發(fā)送 SIGKILL。salt * saltutil.running salt * saltutil.is_running state.highstate salt * saltutil.find_job 20160503150049487736 salt * saltutil.term_job 20160503150049487736 salt * saltutil.kill_all_jobs四、緩存清理與密鑰管理4.1clear_cache強(qiáng)制刪除 minion 的所有緩存遍歷整個cachedir。文檔給出了明確的安全警告最安全的清緩存方式是先停止 minion、刪除緩存文件、再重啟 minion。執(zhí)行時若某個文件刪除失敗會立即返回False。該函數(shù)自 2014.7.0 引入。4.2clear_job_cache按時間閾值清理作業(yè)緩存目錄cachedir/minion_jobs下超過指定小時數(shù)的子目錄目錄 mtime 早于now - hours * 3600即被整目錄刪除默認(rèn)hours24自 2018.3.0 引入。適合在長期運(yùn)行的 minion 上回收磁盤空間salt * saltutil.clear_cache salt * saltutil.clear_job_cache hours124.3regen_keys與revoke_authregen_keys刪除pki_dir通常為/etc/salt/pki/minion下的所有密鑰文件隨后重建與 master 的請求通道ReqChannel以強(qiáng)制重新生成 minion 密鑰。典型用途是重命名/遷移 minion 或重置認(rèn)證執(zhí)行后 minion 需重新在 master 上被接受。revoke_authminion 主動向 master 發(fā)送revoke_auth請求讓 master 撤銷它自己的密鑰。文檔特別提醒該命令執(zhí)行后 minion 會話被吊銷可能無法把執(zhí)行結(jié)果返回給 master。可選參數(shù)preserve_minion_cache默認(rèn)False設(shè)為True時 master 保留該 minion 的緩存。實(shí)現(xiàn)會遍歷master_uri_list多 master 場景逐個發(fā)送請求任一通道超時則整體返回False。salt * saltutil.regen_keys salt * saltutil.revoke_auth salt * saltutil.revoke_auth preserve_minion_cacheTrue五、Master 側(cè)能力反調(diào)runner、wheel、cmd與mmodule這組函數(shù)允許運(yùn)行在 master 之上的 minion或在 master 上執(zhí)行salt-call反哺 master把 master 側(cè)能力以執(zhí)行模塊的形式暴露出來。5.1runner name在 master 上執(zhí)行 runner 函數(shù)自 2014.7.0 引入。文檔要求必須通過運(yùn)行在 master 上的 minion或在 master 上執(zhí)行 salt-call來調(diào)用。支持arg、kwarg、full_return、saltenv默認(rèn)base、jid等參數(shù)runner 函數(shù)若接受saltenv參數(shù)會自動注入對state.orchestrate/state.orch/state.sls會注入orchestration_jid以銜接編排作業(yè)。salt master_minion saltutil.runner jobs.list_jobs salt master_minion saltutil.runner test.arg arg[baz] kwarg{foo: bar}5.2wheel name [args]在 master 上執(zhí)行 wheel 模塊函數(shù)自 2014.7.0 引入要求目標(biāo) minion與 master 位于同一主機(jī)。文檔明確指出若對非本機(jī) minion 調(diào)用將得到空返回——遠(yuǎn)程 minion 無法訪問 wheel 函數(shù)及其返回?cái)?shù)據(jù)。salt my-local-minion saltutil.wheel key.accept jerry salt my-local-minion saltutil.wheel minions.connected5.3 權(quán)限對齊細(xì)節(jié)源碼級補(bǔ)充從源碼看runner/wheel在 minion 進(jìn)程內(nèi)執(zhí)行 master 側(cè)函數(shù)而自 3006 起 master 默認(rèn)以salt用戶運(yùn)行見_master_user_runas注釋中的 issue #67716。為讓 master 側(cè)函數(shù)如 git_pillar/gitfs 緩存、pki 目錄訪問以 master 配置用戶而非 root 執(zhí)行模塊實(shí)現(xiàn)了完整的降權(quán)運(yùn)行鏈路salt/modules/saltutil.py_master_user_runas()校驗(yàn)opts[user]是否為真實(shí)賬號——因?yàn)閟tate.orchestrate會把發(fā)布用戶如sudo_login寫入__opts__[user]這類偽用戶會被pwd.getpwnam校驗(yàn)攔截并跳過降權(quán)issue #69600_client_cmd_as()用fork上下文創(chuàng)建子進(jìn)程在子進(jìn)程中執(zhí)行chugid降權(quán)并通過隊(duì)列回傳結(jié)果子進(jìn)程刻意不守護(hù)化daemon 進(jìn)程不允許再派生子進(jìn)程會影響編排中的parallel: True狀態(tài)父進(jìn)程同時監(jiān)聽結(jié)果隊(duì)列與子進(jìn)程存活子進(jìn)程異常退出os._exit、OOM、libgit2 段錯誤時拋出CommandExecutionError而非永久阻塞_align_runas_environment()在降權(quán)后修正HOME/USER/LOGNAME并刷新 libgit2/pygit2 的全局配置搜索路徑避免 gitfs/git_pillar 讀取到 root 的/root/.gitconfig而出錯。5.4cmd與cmd_iter假設(shè)當(dāng)前 minion 同時也是 master執(zhí)行一條完整的 salt 命令并聚合所有目標(biāo) minion 的返回。參數(shù)包括tgt、fun、arg元組、timeout、tgt_type目標(biāo)匹配類型默認(rèn)glob2017.7.0 起由expr_form更名而來、retreturner、kwarg、ssh是否走 salt-ssh另支持batch與subset模式源碼_exec分別切換到client.cmd_batch與client.cmd_subset。cmd_iter以生成器逐批產(chǎn)出返回適合流式處理。cmd在返回為空且配置文件為 minion 時還會嘗試讀取同目錄的master配置重試一次。5.5mmodule saltenv fun加載指定環(huán)境下的 minion 模塊使該環(huán)境的 pillar 在渲染時能使用其自定義_modules中的函數(shù)。實(shí)現(xiàn)依賴單例類_MMinionsalt/modules/saltutil.py按saltenv緩存MasterMinion實(shí)例構(gòu)建時將file_roots中該環(huán)境的_modules目錄注入module_dirs并重新生成模塊同時保存/恢復(fù)全局__grains__保證調(diào)用上下文仍是 minion 視角salt * saltutil.mmodule base test.ping六、minion 自升級updateupdate從opts[update_url]更新 minion 自身文檔示例指向 Broadcom 提供的官方構(gòu)建源https://packages.broadcom.com/artifactory/saltproject-generic/windows/。前提與限制源碼可印證salt/modules/saltutil.py依賴eskyPython 模塊模塊頭聲明:depends: - esky未安裝則返回Esky not available as importminion 必須運(yùn)行bdist_esky 構(gòu)建否則返回Minion is not running an Esky build必須配置update_url版本號可選缺省時通過app.find_update()查找最新版文檔提醒 2014-8-11 起 esky 存在缺陷只能下載安裝 update_url 中的最新版本更新完成后按update_restart_services配置逐個service.restart重啟服務(wù)并返回Updated from 舊版本 to 新版本及重啟結(jié)果。salt * saltutil.update salt * saltutil.update 0.10.3七、實(shí)戰(zhàn)場景速查發(fā)布新自定義模塊salt * saltutil.sync_all一鍵同步所有擴(kuò)展類型只同步執(zhí)行模塊用salt * saltutil.sync_modules指定環(huán)境saltenvdev多環(huán)境saltenvbase,dev。自定義模塊只改了一行不想同步時僅重載——salt * saltutil.refresh_modules同步并刷新——salt * saltutil.sync_utils。修改了 pillar 數(shù)據(jù)salt * saltutil.refresh_pillar需要同步_pillar自定義模塊masterless minion——salt * saltutil.sync_pillar。業(yè)務(wù)代碼臨時變更 grainssalt * saltutil.refresh_grains refresh_pillarFalse只刷 grains 不動 pillar。highstate 卡住排查salt * saltutil.is_running state.*定位確認(rèn) jid 后salt * saltutil.term_job jid緊急情況salt * saltutil.kill_all_jobs。minion 證書過期/更換salt * saltutil.regen_keys隨后在 master 重新salt-key -a。master 側(cè)運(yùn)維操作在 master 本機(jī)salt-call saltutil.runner jobs.list_jobs或salt my-local-minion saltutil.wheel key.list_all。長期運(yùn)行 minion 磁盤回收salt * saltutil.clear_job_cache hours24徹底清理salt * saltutil.clear_cache先停 minion 更安全。八、延伸閱讀模塊完整源碼salt/modules/saltutil.py底層文件同步實(shí)現(xiàn)salt/utils/extmods.py官方 API 文檔頁doc/ref/modules/all/salt.modules.saltutil.rst功能級測試含 grains 緩存回歸tests/pytests/functional/modules/test_saltutil.py與模塊加載機(jī)制相關(guān)的集成測試tests/integration/loader/test_ext_modules.py贊分享運(yùn)維配置管理后端【免費(fèi)下載鏈接】saltSoftware to automate the management and configuration of infrastructure and applications at scale.項(xiàng)目地址https://gitcode.com/gh_mirrors/sa/salt點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Sway 如何用 [test(should_revert)] 編寫預(yù)期回滾的單元測試Sway 如何用 test should_revert 編寫預(yù)期回滾的單元測試 在 Sway 中給本應(yīng)失敗的代碼路徑寫單元測試時斷言應(yīng)當(dāng)不成立、合約調(diào)用運(yùn)維配置管理后端Salt 執(zhí)行模塊 gpg 完全指南密鑰鏈管理、加密簽名與信任模型實(shí)戰(zhàn)Salt 執(zhí)行模塊 gpg 完全指南密鑰鏈管理、加密簽名與信任模型實(shí)戰(zhàn) 本文圍繞 Salt 的 gpg 執(zhí)行模塊 salt/modules/gpg.py h運(yùn)維配置管理后端Salt macOS keychain 模塊實(shí)戰(zhàn)指南用 Salt 管理 macOS 鑰匙串中的證書Salt macOS keychain 模塊實(shí)戰(zhàn)指南用 Salt 管理 macOS 鑰匙串中的證書 Salt 的 keychain 執(zhí)行模塊 salt/mo運(yùn)維配置管理后端創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考