異步 RAG 延遲拆解從一次檢索請(qǐng)求開(kāi)始RAG 慢的時(shí)候先別急著換向量庫(kù)。一次請(qǐng)求會(huì)經(jīng)過(guò)改寫(xiě)、檢索、重排、拼接和生成任何一段排隊(duì)都可能把尾延遲拉長(zhǎng)。為每個(gè)階段建立 span用同一請(qǐng)求標(biāo)識(shí)記錄階段開(kāi)始、結(jié)束、輸入規(guī)模和取消原因。異步任務(wù)并發(fā)啟動(dòng)后也要能匯合不能因?yàn)橐粋€(gè)分支超時(shí)留下后臺(tái)任務(wù)。預(yù)算分配比統(tǒng)一超時(shí)更實(shí)用總超時(shí)拆給檢索、重排和生成并為可選步驟設(shè)置降級(jí)。等待預(yù)算耗盡時(shí)返回可解釋結(jié)果不繼續(xù)無(wú)邊界重試。記錄候選文檔數(shù)和上下文長(zhǎng)度。連接池等待與遠(yuǎn)端耗時(shí)分開(kāi)?？蛻舳巳∠蛳掠蝹鞑?。復(fù)測(cè)使用同一請(qǐng)求分布按短問(wèn)答、長(zhǎng)文檔和無(wú)結(jié)果查詢分組查看 P95/P99。只優(yōu)化平均值最慢的用戶仍然會(huì)卡住。端到端延遲像一串排隊(duì)窗口。把每段等待找出來(lái)再?zèng)Q定并行、緩存還是降級(jí)通常比盲調(diào)參數(shù)有效。