Latch 平臺(tái) Nextflow 與 Snakemake 工作流集成打包實(shí)戰(zhàn)scientific-agent-skills 技能庫中的 SDK 2.76.8 注冊(cè)與調(diào)試指南【免費(fèi)下載鏈接】scientific-agent-skillsTurn any AI agent into an AI Scientist. The #1 Agent Skills library for science, used by 190,000 scientists worldwide. 165 ready-to-use validated skills plus 100 scientific databases covering biology, chemistry, medicine, and drug discovery. Compatible with Cursor, Claude Code, Codex, Pi, Antigravity, and the open Agent Skills standard.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/cl/scientific-agent-skills本文基于 scientific-agent-skills 倉庫中 latchbio-integration 技能 的 Nextflow 與 Snakemake 集成參考文檔系統(tǒng)講解如何在 Latch 平臺(tái)上打包、注冊(cè)與調(diào)試 Nextflow 與 Snakemake 兩類工作流。讀完本文你將掌握面向 Latch SDK 2.76.8 的 Nextflow 元數(shù)據(jù)生成、注冊(cè)與入口點(diǎn)生成全流程Snakemake 新舊兩條兼容軌道的取舍與隔離方法以及生成文件紀(jì)律、資源配比和發(fā)布檢查清單等可直接落地的工程規(guī)范。背景先選軌道再動(dòng)文件Latch 同時(shí)支持 Python SDK、Nextflow 與 Snakemake 三種工作流但三者的打包路徑不可互換。參考文檔開篇即強(qiáng)調(diào)在生成任何文件之前必須先確認(rèn) SDK 版本并選定一條集成軌道。這一點(diǎn)與技能基線SKILL.md 的 Current Baseline 一節(jié)一致——該技能以Latch SDK 2.76.82026-07-10 發(fā)布為目標(biāo)版本包元數(shù)據(jù)支持 Python 3.9–3.12。因此動(dòng)手前的第一件事不是寫配置文件而是執(zhí)行一次環(huán)境核驗(yàn)latch --version python --version技能還提供了一個(gè)只讀的 SDK 檢視工具 inspect_latch_sdk.py它只做本地導(dǎo)入與內(nèi)省不發(fā)起任何網(wǎng)絡(luò)請(qǐng)求、不執(zhí)行認(rèn)證可以安全地在目標(biāo) SDK 版本上運(yùn)行用來確認(rèn)當(dāng)前安裝版本暴露了哪些符號(hào)uv run --no-project --python 3.12 --with latch2.76.8 \ python skills/latchbio-integration/scripts/inspect_latch_sdk.py需要機(jī)器可讀的對(duì)比輸出時(shí)追加--json。該腳本把待檢符號(hào)按core、tasks、data、metadata、registry、execution、verified分組見 inspect_latch_sdk.py并在腳本缺失核心符號(hào)時(shí)通過退出碼暴露問題。對(duì)應(yīng)測(cè)試見 tests/latchbio-integration/test_scripts.py其中確認(rèn)了“SDK 未安裝時(shí)退出碼為 2”的契約test_scripts.py。這套先檢視、后使用的流程正是避免混用不同版本軌道符號(hào)的第一道防線。Nextflow官方文檔化的 SDK 包裝路徑Nextflow 是 Latch 官方文檔重點(diǎn)覆蓋的集成軌道SDK 提供了從元數(shù)據(jù)生成、入口點(diǎn)生成到注冊(cè)的完整命令鏈。前置條件開始之前確保你的項(xiàng)目滿足以下條件一個(gè)可運(yùn)行的 Nextflow 流水線一份nextflow_schema.jsonschema 與流水線參數(shù)保持一致為每一個(gè) process 定義容器或提供一份文檔化的執(zhí)行 profile一個(gè)固定版本的 Latch SDK。技能基線建議在隔離環(huán)境中安裝固定版本uv venv --python 3.12 source .venv/bin/activate uv pip install latch2.76.8生成元數(shù)據(jù)從 schema 生成 Latch 所需的元數(shù)據(jù)latch generate-metadata nextflow_schema.json --nextflow當(dāng)前 SDK 生成產(chǎn)物結(jié)構(gòu)如下latch_metadata/ ├── __init__.py └── generated.py關(guān)于這兩個(gè)文件參考文檔給出三條硬性紀(jì)律generated.py由 schema 重新生成不要手工編輯它需要長(zhǎng)期保留的自定義元數(shù)據(jù)與流程改動(dòng)寫入latch_metadata/__init__.py修改nextflow_schema.json之后必須重新運(yùn)行生成并在注冊(cè)前審查推斷出的文件類型、枚舉、默認(rèn)值與必填參數(shù)。版本敏感點(diǎn)SDK 2.67.0 改變了 Nextflow 的生成結(jié)構(gòu)——改為生成一個(gè)包含全部參數(shù)的統(tǒng)一 dataclass 與一個(gè)生成的 base flow。因此網(wǎng)上大量舊教程里基于parameters.py的手寫示例可能已經(jīng)與新生成布局不匹配。這正是參考文檔可能滯后于 SDK、以安裝包為準(zhǔn)的典型場(chǎng)景SKILL.md 的 Current Baseline 也強(qiáng)調(diào)當(dāng)指南與 SDK 沖突時(shí)以安裝包和其 changelog 為權(quán)威。注冊(cè)當(dāng)前文檔化的包裝命令為latch login latch register . \ --nf-script main.nf \ --nf-execution-profile docker,test注冊(cè)會(huì)生成 Latch 工作流包裝代碼與latch.config入口點(diǎn)的確切位置取決于生成路徑與 SDK 版本。注冊(cè)時(shí)需特別注意以下幾點(diǎn)如果項(xiàng)目根目錄存在Dockerfile注冊(cè)會(huì)直接使用它否則 Latch 可以在.latch/目錄下生成一個(gè) Dockerfile再次傳入--nf-script會(huì)重新生成并覆蓋包裝代碼如果你刻意自定義過生成的入口點(diǎn)再次注冊(cè)時(shí)不要傳--nf-script以保留自定義代碼盡量把自定義代碼放在獨(dú)立模塊中避免與生成文件糾纏。注冊(cè)相關(guān)的通用控制項(xiàng)來自 operations-and-debugging.md 與 SKILL.md也值得記住# 注冊(cè)到指定 workspace latch register --workspace-id 12345 . # 標(biāo)記為 release 版本 latch register --mark-as-release . # 從非默認(rèn) Python 模塊注冊(cè)工作流 latch register --workflow-module wf.custom_entrypoint .注意重復(fù)注冊(cè)同一工作流時(shí) CLI 以退出碼 2 結(jié)束這與構(gòu)建失敗退出碼 1含義不同CI 腳本應(yīng)區(qū)分處理。顯式生成入口點(diǎn)SDK 2.76.8 還提供了獨(dú)立于注冊(cè)流程的入口點(diǎn)生成命令latch nextflow generate-entrypoint . \ --nf-script main.nf \ --execution-profile docker,test \ --output wf/custom_entrypoint.py該命令要求元數(shù)據(jù)根目錄中存在有效的NextflowMetadata對(duì)象。它把入口點(diǎn)顯式輸出到指定文件例如wf/custom_entrypoint.py便于先審查再注冊(cè)生成后即可配合latch register --workflow-module wf.custom_entrypoint .指定該模塊完成注冊(cè)。實(shí)驗(yàn)性 Forch 專用注冊(cè)CLI 中還存在一個(gè)特殊命令latch nextflow register . --script-path main.nf官方 CLI 指南明確將其標(biāo)記為experimental且僅適用于 Forch——Latch 在用戶自己的 AWS 賬戶中運(yùn)行 Nextflow 的架構(gòu)。它不是latch register --nf-script的通用替代方案只有當(dāng)你正在搭建配置好的 Forch/BYOC 項(xiàng)目并遵循當(dāng)前 Latch 指南時(shí)才可以使用。Nextflow 配置規(guī)則參考文檔匯總了七條配置層面的硬規(guī)則為每個(gè) process 定義容器這是前置條件也是規(guī)則使用profiles處理環(huán)境相關(guān)設(shè)置而不是為了適配 Latch 去改流水線本身把 Latch 生成的latch.config保留在生效的配置鏈中不要手動(dòng)剝離需要公共 work 目錄的 process遵循 Latch 官方的 shared-storage 指引私有鏡像倉庫通過 Latch支持的憑據(jù)路徑配置不要把憑據(jù)寫進(jìn) nextflow.configGPU 加速器遵循 Latch GPU 指南配置不要把 Python 任務(wù)裝飾器的語義翻譯成 Nextflow 資源語法——兩者的資源模型并不等價(jià)通過NextflowRuntimeResources.storage_gib為運(yùn)行時(shí)/共享文件系統(tǒng)設(shè)置存儲(chǔ)而不只是為最終輸出設(shè)置在調(diào)大storage_expiration_hours之前先理解存儲(chǔ)保留期帶來的成本。存儲(chǔ)與成本意識(shí)在本倉庫的 resource-configuration.md 中有更系統(tǒng)的闡述臨時(shí)存儲(chǔ)應(yīng)按下式的峰值中間態(tài)估算而不是按最終輸出大小——請(qǐng)求存儲(chǔ) ≥ 暫存輸入 解壓膨脹 工具中間文件峰值 最終輸出 安全余量。調(diào)試Nextflow 工作流的調(diào)試命令鏈為latch register --staging . latch develop . latch nextflow attach --execution-id execution-id其中l(wèi)atch register --staging .只構(gòu)建鏡像、不發(fā)布工作流版本latch develop .在該鏡像中打開遠(yuǎn)程交互式 shell。latch nextflow attach則針對(duì) Nextflow 的 work 目錄詳見 operations-and-debugging.md。兩個(gè)重要的版本行為需要特別留意在 SDK 2.76.8 中staging 分支不會(huì)從--nf-script或--snakefile生成 Python 入口點(diǎn)。因此全新的 Nextflow/Snakemake 項(xiàng)目在 staging 之前必須先顯式生成與版本兼容的入口點(diǎn)SKILL.md 的 Validate in the execution image 一節(jié)。在latch develop環(huán)境中生產(chǎn)環(huán)境的存儲(chǔ)初始化器不可用。請(qǐng)遵循官方 debug 模式指引使用本地 executor、在 debug 模式下繞過初始化器、使用兼容的 Latch Nextflow 基礎(chǔ)鏡像并適當(dāng)降低 process 資源以避免在調(diào)試實(shí)例上申請(qǐng)過大的資源。Snakemake二選一的兼容軌道Snakemake 的情況比 Nextflow 復(fù)雜當(dāng)前官方文檔與當(dāng)前穩(wěn)定包暴露的是兩條不同的軌道參考文檔明確警告——不要混用。Track A2.76.8 源碼中的遺留 flags存在文檔沖突2.76.8wheel 中仍然暴露snakemakeextra、遺留元數(shù)據(jù)類、generate-metadata --snakemake以及register --snakefile。然而官方 CLI 指南已將這些 Snakemake 元數(shù)據(jù)與注冊(cè) flags標(biāo)記為 deprecated并指出對(duì)latch 2.55.0.a6元數(shù)據(jù)生成已不再工作。這是一個(gè)未解決的源碼/文檔沖突。下面的命令僅適用于維護(hù)已知走此路徑的遺留項(xiàng)目不應(yīng)作為新項(xiàng)目流程向用戶推介除非你已與當(dāng)前 Latch 文檔或支持團(tuán)隊(duì)確認(rèn)。為了與固定的 Snakemake 7.x 依賴保持最廣兼容性使用 Python 3.11uv venv --python 3.11 source .venv/bin/activate uv pip install latch[snakemake]2.76.8從工作流配置生成元數(shù)據(jù)latch generate-metadata config.yaml --snakemake注冊(cè)latch register . --snakefile SnakefileTrack A 的相關(guān)選項(xiàng)latch register . \ --snakefile Snakefile \ --metadata-root latch_metadata \ --cache-tasks其中--cache-tasks對(duì)應(yīng) Snakemake 的緩存/續(xù)跑行為發(fā)布檢查清單中要求resume/cache 行為已經(jīng)過驗(yàn)證。手寫元數(shù)據(jù)時(shí)使用latch.types.metadata中當(dāng)前的SnakemakeMetadata、SnakemakeParameter、FileMetadata、EnvironmentConfig與DockerMetadataAPI——寫之前先查看它們的簽名也可以借助 inspect_latch_sdk.py 檢視這些符號(hào)是否存在于當(dāng)前安裝版本。Track B官方 Snakemake v2 教程獨(dú)立 alpha 軌道當(dāng)前 Snakemake v2 教程是一條兼容性專用的獨(dú)立路徑它顯式要求固定到alpha 版本uv venv --python 3.11 source .venv/bin/activate uv pip install latch2.62.1a2Track B 使用如下導(dǎo)入與命令from latch.types.metadata.snakemake_v2 import SnakemakeV2Metadatalatch snakemake generate-entrypoint . latch dockerfile --snakemake -c environment.yaml . -f latch register -y .關(guān)鍵事實(shí)參考文檔明確列出snakemake_v2元數(shù)據(jù)模塊與latch snakemake命令組不存在于穩(wěn)定版 2.76.8 源碼樹中該教程生成的 Dockerfile 還會(huì)把工作流運(yùn)行時(shí)單獨(dú)固定為latch[snakemake]2.55.0.a6因此開始前務(wù)必重新核對(duì)教程中的確切 pin使用隔離環(huán)境同時(shí)審查本地 CLI pin 與生成的運(yùn)行時(shí) pin不要在無遷移計(jì)劃的情況下將該環(huán)境升級(jí)到穩(wěn)定版 2.76.8不要把 v2 導(dǎo)入復(fù)制到穩(wěn)定軌道項(xiàng)目中將 alpha pin 視為預(yù)發(fā)布軟件并做端到端驗(yàn)證。兩條軌道對(duì)比如下維度Track A2.76.8 遺留 flagsTrack BSnakemake v2 教程SDK pinlatch[snakemake]2.76.8latch2.62.1a2運(yùn)行時(shí)另行 pin2.55.0.a6元數(shù)據(jù) APIlatch.types.metadata遺留類latch.types.metadata.snakemake_v2.SnakemakeV2Metadata命令組generate-metadata --snakemake、register --snakefilelatch snakemake、latch dockerfile --snakemake官方態(tài)度標(biāo)記 deprecated存在文檔沖突教程路徑但屬 alpha 預(yù)發(fā)布Snakemake 資源與環(huán)境規(guī)則無論選擇哪條軌道以下規(guī)則同樣適用為每一條 rule給出 CPU 與內(nèi)存資源或在profiles/default/config.yaml中定義安全的默認(rèn)值固定 Conda 與容器環(huán)境保證可復(fù)現(xiàn)保留所選軌道自帶的 Latch executor/storage 插件配置使用LatchOutputDir暴露表單中的輸出目的地LatchOutputDir的語義可參考 workflow-creation.md 與 contenteditable="false">【免費(fèi)下載鏈接】scientific-agent-skillsTurn any AI agent into an AI Scientist. The #1 Agent Skills library for science, used by 190,000 scientists worldwide. 165 ready-to-use validated skills plus 100 scientific databases covering biology, chemistry, medicine, and drug discovery. Compatible with Cursor, Claude Code, Codex, Pi, Antigravity, and the open Agent Skills standard.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/cl/scientific-agent-skills創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考