亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心 但凡玩過(guò)幾塊SSD的人都會(huì)遇到類似的問(wèn)題新加了一塊固態(tài)硬盤想把原來(lái)D盤的系統(tǒng)遷過(guò)去或者下載了慧榮SM2258XT主控的量產(chǎn)工具想自己開(kāi)卡。折騰硬件之前很多人沒(méi)意識(shí)到?jīng)Q定這一步順利與否的其實(shí)是主控SoC和它旁邊的DRAM顆粒。SSD主控SoC整體架構(gòu)如果沒(méi)有概念很多人會(huì)把“不穩(wěn)定”怪到固件上把“掉速”怪到顆粒上卻很少懷疑DDR子系統(tǒng)在數(shù)據(jù)通路里扮演的角色。這篇文章想以主控SoC內(nèi)部的數(shù)據(jù)通路為主線講清楚DDR子系統(tǒng)到底承擔(dān)什么任務(wù)作為系統(tǒng)架構(gòu)師或維修/開(kāi)卡愛(ài)好者又該怎么去理解帶DRAM和不帶DRAM方案的差異。別覺(jué)得“DDR”只是顆粒選型表里一個(gè)頻率和容量參數(shù)它在整個(gè)SSD里的角色比你想象的復(fù)雜得多。1. 主控SoC其實(shí)是一臺(tái)以“搬數(shù)據(jù)”為唯一目的的專用計(jì)算機(jī)1.1 先看清主控SoC的硬件全家福很多教程一上來(lái)就講FTL算法、垃圾回收但連主控SoC內(nèi)部有哪些模塊都沒(méi)交代清楚。這里先把家底盤一遍。主控SoC并不是什么神秘的東西去掉“存儲(chǔ)”這個(gè)屬性它跟普通嵌入式SoC沒(méi)有本質(zhì)區(qū)別照樣本有CPU核心、總線矩陣、外設(shè)接口。特殊的是它所有外設(shè)和加速器都圍繞同一個(gè)目標(biāo)把用戶數(shù)據(jù)在主機(jī)和NAND之間搬運(yùn)得又快又穩(wěn)。CPU核心以ARM Cortex-R系列為主流也有用自研RISC-V核的。CPU負(fù)責(zé)FTL邏輯、指令解析、壞塊管理、磨損均衡這些“決策類”工作但不直接參與大量數(shù)據(jù)拷貝。主機(jī)接口SATAAHCI協(xié)議或者PCIeNVMe協(xié)議負(fù)責(zé)跟PC、服務(wù)器通信。目前主流消費(fèi)級(jí)NVMe盤的PCIe Gen3 x4帶寬上限大約3500MB/sGen4 x4翻倍到7000MB/s。NAND閃存接口主控拉出若干條閃存通道常見(jiàn)8通道、12通道、16通道甚至更高每個(gè)通道掛多顆NAND die。通道越多閃存并行度越高這個(gè)并行度直接決定主控能跑多高帶寬。ECC/LDPC引擎硬件編解碼器寫的時(shí)候給數(shù)據(jù)加上校驗(yàn)冗余讀的時(shí)候把錯(cuò)誤糾回來(lái)。TLC/QLC時(shí)代LDPC軟解碼對(duì)主控算力要求極高這一塊做不好盤就會(huì)頻繁掉速。DMA引擎這是數(shù)據(jù)通路的真主力。DMA負(fù)責(zé)把數(shù)據(jù)從一個(gè)接口搬到另一個(gè)接口整個(gè)過(guò)程不需要CPU逐字節(jié)干預(yù)CPU只要事先配好描述符和目的地址就行。SRAM與DDR接口內(nèi)部SRAM快但容量很小通常幾十KB到幾MB外部DDR才是主存儲(chǔ)容量從幾十MB到1GB以上不等承擔(dān)絕大多數(shù)像映射表、數(shù)據(jù)緩沖這類需要大容量暫存的活兒??偩€矩陣內(nèi)部互聯(lián)容易被忽略但它和DDR子系統(tǒng)同樣關(guān)鍵。主控內(nèi)部常用AXI總線或者類似NoC的多平面互聯(lián)位寬從32位到64位頻率從幾百M(fèi)Hz到1GHz不等。如果你的內(nèi)部總線只有一個(gè)單出口主機(jī)數(shù)據(jù)、閃存數(shù)據(jù)、DDR訪問(wèn)、ECC編碼全部搶一條路那么外部DDR即使再快也會(huì)被“卡脖子”。很多FPGA做控制器原型驗(yàn)證的人會(huì)遇到“DDR帶寬明明夠但整機(jī)性能就是上不去”的情況一半的根因出在內(nèi)部總線仲裁而不是DDR本身。1.2 寫請(qǐng)求和讀請(qǐng)求在SoC內(nèi)部的完整旅程了解了模塊構(gòu)成就可以把一條真實(shí)的數(shù)據(jù)請(qǐng)求放進(jìn)通路里跑一遍。先看寫路徑主機(jī)通過(guò)NVMe/SATA協(xié)議發(fā)送寫命令伴隨數(shù)據(jù)包進(jìn)入主控的主機(jī)接口。DMA引擎把數(shù)據(jù)從主機(jī)側(cè)接收FIFO搬到內(nèi)部緩沖SRAM或DDR。此時(shí)數(shù)據(jù)已經(jīng)帶上了邏輯塊地址LBA。固件查詢FTL映射表決定這批數(shù)據(jù)該寫到哪些物理頁(yè)。注意這里FTL映射表通常就住在DDR里所以光“查表”這一步就已經(jīng)產(chǎn)生了一次DDR訪問(wèn)。決定物理地址后數(shù)據(jù)不會(huì)立刻落閃存。固件會(huì)依據(jù)磨損均衡、垃圾回收狀態(tài)和當(dāng)前NAND忙閑情況把數(shù)據(jù)先在DDR的寫緩沖區(qū)分組、合并。等到NAND通道空閑且聚合的數(shù)據(jù)量足夠固件才發(fā)起寫操作數(shù)據(jù)從DDR緩沖區(qū)流向LDPC編碼引擎加完校驗(yàn)后按通道和片選分配到對(duì)應(yīng)NAND顆粒。物理寫入完成后FTL映射表在DDR中更新。這部分更新的映射記錄還要定期固化到NAND的映射備份區(qū)否則斷電就會(huì)丟失。再看讀路徑讀路徑的邏輯稍微“輕”一點(diǎn)但同樣繞不開(kāi)DDR主機(jī)發(fā)出讀命令固件先查DDR里的映射表把LBA翻譯成物理頁(yè)地址。主控向?qū)?yīng)NAND通道發(fā)起讀命令從NAND讀回原始數(shù)據(jù)經(jīng)過(guò)LDPC譯碼獲取正確數(shù)據(jù)。由于NAND頁(yè)大小常見(jiàn)16KB或32KB和主機(jī)讀寫粒度典型4KB不對(duì)等主控經(jīng)常需要把若干段數(shù)據(jù)在DDR或SRAM里重新拼接湊成主機(jī)期望的邏輯塊再用DMA返回主機(jī)。一條數(shù)據(jù)從進(jìn)到出至少兩次經(jīng)過(guò)DDR。這個(gè)“至少”在隨機(jī)小寫、垃圾回收并發(fā)時(shí)會(huì)翻倍增長(zhǎng)。所以結(jié)論已經(jīng)很明顯了DDR子系統(tǒng)不是“可選配件”而是數(shù)據(jù)通路上的十字路口。2. DDR子系統(tǒng)在數(shù)據(jù)通路里的四種身份2.1 它是FTL映射表的常駐內(nèi)存FTLFlash Translation Layer是SSD的靈魂。它維護(hù)一張“邏輯地址到物理地址”的映射表。主機(jī)只認(rèn)邏輯塊地址LBA但閃存物理頁(yè)是不斷在磨損、回收、重寫的所以主控內(nèi)部必須有一張隨時(shí)能查的表。這張表有多大可以做一次很樸素的估算假設(shè)映射粒度為8KB即每8KB邏輯空間對(duì)應(yīng)一個(gè)映射條目單條映射信息打包壓縮后占用4字節(jié)。那么一塊512GB的盤映射表大小就是512GB÷8KB×4B算下來(lái)正好256MB。如果映射粒度更細(xì)4KB或條目更寬8字節(jié)512GB盤就可能需要512MB甚至1GB的DRAM來(lái)裝映射表。這里就能解釋很多產(chǎn)品現(xiàn)象為什么老款120GB/240GB固態(tài)盤只配64MB或128MB DDR而高端2TB盤要配512MB或1GB DDR。因?yàn)槿萘吭酱笥成浔碓酱驞DR不夠就裝不下足夠多的映射表熱數(shù)據(jù)。有了DDR常駐映射表主控處理一次讀命令時(shí)查表只需要一個(gè)短延時(shí)的內(nèi)存訪問(wèn)如果沒(méi)DDR或者DDR容量太小映射表就只能部分駐留查不到的部分要去NAND里讀這個(gè)開(kāi)銷是災(zāi)難級(jí)別的4K隨機(jī)性能會(huì)直接崩塌。2.2 它是讀寫合并時(shí)用的臨時(shí)堆場(chǎng)NAND閃存的工作方式跟機(jī)械硬盤完全不一樣它以頁(yè)為單位讀寫一個(gè)頁(yè)通常是16KB或32KB。但主機(jī)下發(fā)數(shù)據(jù)的粒度很靈活可能是極其瑣碎的4KB、8KB甚至更小。為了讓NAND寫效率更高主控不會(huì)來(lái)一條就寫一條而是把零碎的寫請(qǐng)求先在DDR緩沖里攢一攢湊成完整的NAND頁(yè)再寫入。這個(gè)過(guò)程在固件術(shù)語(yǔ)里叫“寫合并”或“批量組頁(yè)”。讀方向同樣需要合并。主機(jī)可能只讀一個(gè)頁(yè)里的前半部分但NAND讀出來(lái)的是整個(gè)物理頁(yè)。主控要么只保留有效部分要么把整頁(yè)數(shù)據(jù)放進(jìn)DDR緩存以便后續(xù)相鄰LBA的讀取直接命中。垃圾回收時(shí)更夸張GC要把一個(gè)塊里的有效數(shù)據(jù)先讀進(jìn)DDR再把它們跟正在寫的熱數(shù)據(jù)一起重新分配、重寫。這一進(jìn)一出DDR的帶寬壓力瞬間翻倍。所以有很多主控在順序?qū)懭霑r(shí)表現(xiàn)尚可一旦進(jìn)入“半盤以上空間被占滿”狀態(tài)性能會(huì)出現(xiàn)斷崖式下跌。除了NAND本身寫放大很大程度也源于DDR緩沖和固件GC策略在實(shí)際數(shù)據(jù)通路中調(diào)度不過(guò)來(lái)。2.3 它是固件自己的運(yùn)行內(nèi)存很多人只把DDR理解成“緩存”其實(shí)它同時(shí)也是固件的運(yùn)行內(nèi)存。SSD主控里跑的是一套完整的實(shí)時(shí)操作系統(tǒng)固件棧包括FTL模塊、命令調(diào)度、壞塊管理、磨損均衡、溫控策略還有各種后臺(tái)任務(wù)。這些模塊的代碼在運(yùn)行前會(huì)被從NAND或外掛NOR Flash加載到內(nèi)存里執(zhí)行。固件用到的數(shù)據(jù)結(jié)構(gòu)比如命令隊(duì)列、壞塊表、磨損計(jì)數(shù)、日志系統(tǒng)、上下文狀態(tài)全部需要一大塊可讀寫的RAM空間。內(nèi)部SRAM通常只有幾百KB撐不起這么多東西所以DDR才是固件的“主存”。如果DDR子系統(tǒng)不穩(wěn)定比如顆粒虛焊、供電紋波偏大、訓(xùn)練時(shí)序不對(duì)SSD最典型的表現(xiàn)就是“掉盤”——固件運(yùn)行過(guò)程中訪問(wèn)DDR出錯(cuò)觸發(fā)看門狗復(fù)位盤從系統(tǒng)里消失過(guò)一會(huì)又出現(xiàn)。這種案例在維修和開(kāi)卡圈子里非常常見(jiàn)很多人誤以為是固件bug其實(shí)根源在DDR。2.4 它是掉電保護(hù)時(shí)最后搶救的數(shù)據(jù)安全島DDR是易失性存儲(chǔ)一斷電數(shù)據(jù)就沒(méi)了。但恰恰因?yàn)镈DR里住著映射表和寫緩存SSD掉電時(shí)最怕的就是DDR內(nèi)容來(lái)不及保存。帶掉電保護(hù)PLP的企業(yè)級(jí)盤會(huì)在主板上焊一排大電容或鉭電容檢測(cè)到外部電源跌落時(shí)利用電容殘存電量繼續(xù)給主控、DDR和NAND供一小段時(shí)間的電。主控利用這段時(shí)間把DDR里的FTL映射表快照和新寫入但還沒(méi)來(lái)得及落盤的數(shù)據(jù)緊急寫進(jìn)NAND的臨時(shí)區(qū)域。消費(fèi)級(jí)盤大多沒(méi)有完整PLP靠的是固件定期把映射表持久化到NAND同時(shí)保證DDR里只保留可以重新推導(dǎo)或重建的數(shù)據(jù)。但無(wú)論哪一類DDR的角色都一致它是數(shù)據(jù)最集中、最新鮮的地方掉電保護(hù)的本質(zhì)就是在搶救DDR里的資產(chǎn)。這里也能看出DRAM-less方案的一個(gè)優(yōu)勢(shì)——少一個(gè)DDR掉電時(shí)需要搶救的數(shù)據(jù)量會(huì)小很多失效模型更簡(jiǎn)單。3. 從計(jì)算角度看DDR選型帶寬、容量、時(shí)序三個(gè)硬指標(biāo)3.1 DDR帶寬要多少才夠用在方案設(shè)計(jì)階段你要回答的第一個(gè)問(wèn)題不是“用多大容量DDR”而是“DDR帶寬夠不夠”。DDR在數(shù)據(jù)通路里要同時(shí)服務(wù)主機(jī)數(shù)據(jù)、NAND數(shù)據(jù)、FTL查詢、固件CPU讀寫所以它的總線帶寬必須留足余量。做一次粗略預(yù)算。假設(shè)做一塊PCIe Gen3 x4接口的NVMe盤主機(jī)接口理論帶寬約3500MB/s。為了達(dá)到這個(gè)上限NAND接口側(cè)必須同樣具備接近甚至超過(guò)3500MB/s的聚合帶寬而數(shù)據(jù)搬移過(guò)程中DDR常常要當(dāng)中間跳板。經(jīng)驗(yàn)做法是讓DDR可用帶寬達(dá)到主機(jī)接口理論帶寬的1.5到2倍以上才能保證順序大文件讀寫、隨機(jī)小寫和GC并發(fā)時(shí)不會(huì)被內(nèi)存訪問(wèn)卡住。舉個(gè)例子常見(jiàn)的DDR3-1600顆粒數(shù)據(jù)線寬16bit它的峰值帶寬是1600MT/s×2字節(jié)≈3200MB/s。這個(gè)值單看跟Gen3 x4接口差不多但實(shí)際包含了行激活、預(yù)充電、讀寫切換等開(kāi)銷可用帶寬會(huì)打折扣。所以稍微講究一點(diǎn)的控制器會(huì)選用DDR3/DDR4 1866/2133頻率或者把DDR數(shù)據(jù)線擴(kuò)展到32bit把峰值帶寬推到6.4GB/s以上。不做這一步順序?qū)懭牒蟀攵瓮鶗?huì)出現(xiàn)周期性掉速。我實(shí)際在FPGA原型上踩過(guò)這個(gè)坑DDR顆粒型號(hào)沒(méi)變只是把突發(fā)數(shù)據(jù)調(diào)度策略從“每筆請(qǐng)求獨(dú)立訪問(wèn)”改成“同Bank連續(xù)地址聚合訪問(wèn)”整機(jī)隨機(jī)寫性能就提升了約20%。這充分說(shuō)明DDR帶寬不止看顆粒規(guī)格更看控制器怎么組織和利用總線事務(wù)。這里順帶回答一個(gè)很多初學(xué)者會(huì)查的問(wèn)題DDR的burst length是什么意思DDR3/4顆粒默認(rèn)突發(fā)長(zhǎng)度BL8意味著一次突發(fā)連續(xù)傳輸8個(gè)數(shù)據(jù)字。以16bit位寬的顆粒為例一次BL8突發(fā)會(huì)傳輸16×8128bit數(shù)據(jù)對(duì)應(yīng)內(nèi)部預(yù)取8n位??刂破髦挥邪凑者B續(xù)地址、盡量集中在同一行Row Buffer Hit的方式組織訪問(wèn)才能把突發(fā)效率跑滿。如果你去讀DDR協(xié)議規(guī)范會(huì)發(fā)現(xiàn)ACT、READ、WRITE命令之間的時(shí)序約束tRCD、tRAS、tWR等非常嚴(yán)格這都是在為突發(fā)傳輸?shù)母咝史?wù)。3.2 DDR容量與NAND容量的換算關(guān)系容量問(wèn)題前面提到過(guò)這里給出可復(fù)用的公式映射表所需空間 ≈ (SSD用戶容量 ÷ 映射粒度) × 單條映射大小以512GB容量、8KB粒度、每條映射4字節(jié)為例512GB 536870912KB除以8KB得到67108864條映射再乘4字節(jié)等于256MB。所以不帶DDR的主控如果想保證映射表完整駐留至少配256MB內(nèi)存。實(shí)際工程中還要預(yù)留寫緩存和固件運(yùn)行空間512GB盤配256MB DDR其實(shí)已經(jīng)非常緊張很多設(shè)計(jì)會(huì)配到512MB。1TB往上要看映射粒度是否增大、映射條目壓縮是否激進(jìn)不然DDR成本會(huì)壓不住。從選型角度大家可以直接拿這個(gè)公式反推看到一塊盤的DRAM顆粒容量就能估算它主控的映射管理策略大概是什么等級(jí)從而判斷它在高負(fù)載下會(huì)不會(huì)出現(xiàn)映射抖動(dòng)。3.3 burst length、位寬與頻率如何組合很多主控規(guī)格表只寫“支持DDR3/DDR4”但不寫位寬。主控SoC的DDR控制器接口位寬通常有16bit和32bit兩種少見(jiàn)64bit。位寬直接決定同樣頻率下帶寬翻倍代價(jià)是SoC封裝引腳數(shù)和PCB布線面積顯著上升。DDR頻率選擇還要考慮跟主控內(nèi)部總線頻率的匹配。內(nèi)部AXI總線主頻假設(shè)是400MHz、64bit位寬理論帶寬也是3.2GB/s那么DDR3-1600 16bit的3.2GB/s正好匹配但余量不足。好的架構(gòu)設(shè)計(jì)會(huì)讓DDR接口帶寬略高于內(nèi)部總線帶寬而不是剛好卡在同一個(gè)數(shù)否則總線滿負(fù)載時(shí)會(huì)產(chǎn)生反壓導(dǎo)致主機(jī)接口出現(xiàn)額外延遲。時(shí)序?qū)用鍰DR3/DDR4顆粒的CL、tRCD、tRP這些參數(shù)同樣影響實(shí)際性能。顆粒頻率往上提CL值往往同步放大延遲反而沒(méi)降多少。SSD主控對(duì)延遲尤其敏感尤其是隨機(jī)4K讀每次查映射表的延遲都能直接影響IOPS。所以做SSD主控選DDR顆粒時(shí)別看峰值帶寬花眼還要關(guān)注在目標(biāo)頻率下的實(shí)際讀寫延遲。4. 帶外部DDR與DRAM-less的分叉口同為SSD內(nèi)部差著一個(gè)架構(gòu)時(shí)代4.1 帶DDR方案旗艦產(chǎn)品的穩(wěn)定器我們先說(shuō)經(jīng)典方案主控帶著一顆外置DDR顆粒。典型代表包括大家熟悉的慧榮SM2258注意不是XT版、SM2262/SM2263群聯(lián)E12/E16聯(lián)蕓MAP1202等。這些主控方案幾乎都外掛一顆DDR3L或DDR4顆粒容量從64MB到1GB不等。帶DDR方案的優(yōu)勢(shì)非常明顯FTL映射表完整駐留任意LBA查表都是固定低延遲。寫緩存空間充裕即使隨機(jī)小寫也能大量聚合大大減少NAND寫入次數(shù)降低寫放大。固件運(yùn)行空間富余可以做復(fù)雜的后臺(tái)GC、磨損均衡和熱冷數(shù)據(jù)分離。掉電保護(hù)只需要聚焦DDR和NAND之間的數(shù)據(jù)搬移邏輯相對(duì)清晰。缺點(diǎn)也直白成本高BOM里多一顆DDR顆粒多一個(gè)失效點(diǎn)DDR本體虛焊、老化、供電異常都會(huì)導(dǎo)致不開(kāi)卡或掉盤。不過(guò)對(duì)性能和穩(wěn)定性要求高的人來(lái)說(shuō)這些代價(jià)值得。4.2 DRAM-less HMB方案用主機(jī)內(nèi)存“蹭”出性能近幾年低價(jià)位NVMe盤大量采用DRAM-less主控比如慧榮SM2258XT、SM2263XT。這類方案在主控SoC上直接省掉DDR控制器外訪通路不焊外置DRAM顆粒成本大幅下降。但前面說(shuō)得很清楚沒(méi)有DDR映射表住哪兒寫緩存用什么解決辦法叫HMBHost Memory Buffer主機(jī)內(nèi)存緩沖。NVMe協(xié)議允許主控通過(guò)PCIe BAR空間去訪問(wèn)主機(jī)系統(tǒng)DDR的一段固定區(qū)域。也就是說(shuō)主控可以“借”一部分主機(jī)內(nèi)存來(lái)緩存FTL映射表和少量寫數(shù)據(jù)。HMB的妙處在于借用的是PC上性能極強(qiáng)的大容量?jī)?nèi)存而且延遲只比主控自帶DDR高一點(diǎn)點(diǎn)多了一次PCIe往返。對(duì)日常使用來(lái)說(shuō)HMB方案在讀寫大文件、跑分軟件里甚至能跟帶DDR方案打平。但實(shí)際體驗(yàn)中存在幾個(gè)不那么漂亮的地方老舊主板BIOS不支持HMB分配或PCIe ASPM省電策略太激進(jìn)導(dǎo)致主機(jī)內(nèi)存響應(yīng)不穩(wěn)定盤有時(shí)會(huì)卡成幻燈片。映射緩存放主機(jī)內(nèi)存每次查詢都要走PCIe鏈路雖然延遲不高但高隊(duì)列深度下并發(fā)沖突明顯隨機(jī)性能波動(dòng)比帶DDR方案大。寫緩存受限小文件寫入合并能力弱垃圾回收壓力會(huì)更早暴露。所以DRAM-less方案適合預(yù)算敏感、以順序讀寫為主的用戶如果重負(fù)載隨機(jī)寫、長(zhǎng)時(shí)間渲染或虛擬機(jī)多開(kāi)還是優(yōu)先考慮帶DDR方案。拆分這一點(diǎn)很多“為什么同容量盤價(jià)格差一半”的疑問(wèn)就解開(kāi)了。4.3 開(kāi)卡和量產(chǎn)時(shí)怎么判斷主控是否帶緩存如果你玩開(kāi)卡工具會(huì)在量產(chǎn)工具界面看到“Cache”“DDR”之類的選項(xiàng)。比如慧榮SM2258XT對(duì)應(yīng)的量產(chǎn)工具跟SM2258固件包往往不通用因?yàn)橐粋€(gè)是DRAM-less架構(gòu)一個(gè)是帶DDR外置架構(gòu)。開(kāi)卡前先看板子上有沒(méi)有獨(dú)立的DDR顆粒不要憑主控型號(hào)硬刷。很多開(kāi)卡失敗案例都源于糊涂地拿帶DDR固件往無(wú)緩存板子上刷。判斷方法很簡(jiǎn)單外觀上看主控旁邊有沒(méi)有一顆稍大的、引腳密集的顆粒更準(zhǔn)確的做法是查主控datasheet的封裝引腳表看有沒(méi)有完整DDR接口信號(hào)。像SM2258XT這種型號(hào)后綴帶XT的本身就是無(wú)緩存版本選錯(cuò)固件很容易報(bào)錯(cuò)。5. 固件與硬件配合中的DDR細(xì)節(jié)啟動(dòng)訓(xùn)練、掉電保護(hù)與排查經(jīng)驗(yàn)5.1 上電之后DDR是怎么被“喚醒”的這個(gè)環(huán)節(jié)做固件的人深有體會(huì)但普通玩家往往不知道。SSD上電后主控SoC并不是立刻就能用DDR的。此時(shí)DDR還沒(méi)有初始化內(nèi)部時(shí)序參數(shù)未知物理層信號(hào)對(duì)齊也沒(méi)建立。所以BootROM先靠?jī)?nèi)部SRAM運(yùn)行這段極早期的代碼只能用少量SRAM做基本硬件初始化鎖相環(huán)、時(shí)鐘、主機(jī)接口PHY、關(guān)鍵IO。完成基礎(chǔ)初始化后固件才進(jìn)入DDR初始化流程也就是常說(shuō)的DRAM Training。DDR控制器要在目標(biāo)頻率下對(duì)DQS/DQ信號(hào)做延遲掃描找到每個(gè)字節(jié)通道最可靠的采樣窗口然后寫入時(shí)序寄存器。這一步如果失敗盤的表現(xiàn)就是“主控不識(shí)別”“顆粒焊接沒(méi)問(wèn)題但依舊抓不到盤”實(shí)際顆粒本身往往是好的純粹是訓(xùn)練參數(shù)沒(méi)通過(guò)。我見(jiàn)過(guò)很多維修案例盤掉盤后重新開(kāi)卡又好了本質(zhì)就是重新上電后DRAM Training過(guò)了。但殘留問(wèn)題還在因?yàn)轭w?;蚬╇娨呀?jīng)老化訓(xùn)練余量極小跑幾天又會(huì)復(fù)現(xiàn)。這種情況建議直接更換DDR或降壓處理而不是反復(fù)刷機(jī)。5.2 掉電保護(hù)在固件層面的實(shí)現(xiàn)層次前面講過(guò)PLP的硬件基礎(chǔ)這里看固件怎么利用DDR做數(shù)據(jù)安全。第一級(jí)固件定期比如幾百毫秒或幾秒內(nèi)一次把DDR里的FTL映射表快照寫入NAND的映射備份區(qū)。每次完整寫映射表比較耗時(shí)所以通常只做“臟映射項(xiàng)”增量備份。第二級(jí)發(fā)生掉電時(shí)主控轉(zhuǎn)入緊急處理流程關(guān)閉主機(jī)接口禁止NAND新任務(wù)然后集中把DDR里的寫緩存數(shù)據(jù)和最新映射變更寫進(jìn)NAND臨時(shí)塊。等下次上電固件啟動(dòng)時(shí)先從臨時(shí)塊恢復(fù)現(xiàn)場(chǎng)。這里要注意DDR的容量越大掉電時(shí)需要搬移的數(shù)據(jù)也越多。如果DDR位寬窄、頻率低搬移時(shí)間就會(huì)拉長(zhǎng)對(duì)PLP電容的電量?jī)?chǔ)備要求就更高。這就是為什么有些大容量DDR方案的盤反而更容易在掉電中出問(wèn)題因?yàn)樗凹耶?dāng)”太多來(lái)不及搬完。在做產(chǎn)品定義時(shí)DDR容量不是越大越好還要評(píng)估在目標(biāo)掉電窗口內(nèi)能否完成數(shù)據(jù)固化。5.3 調(diào)試DDR常見(jiàn)問(wèn)題從“讀有效信號(hào)一直為低”說(shuō)起很多做FPGA原型驗(yàn)證或芯片驗(yàn)證的朋友會(huì)遇到一個(gè)問(wèn)題控制DDR時(shí)DDR的讀有效信號(hào)一直拉不高。這個(gè)現(xiàn)象可以拆出好幾個(gè)可能方向。第一檢查DDR控制器初始化狀態(tài)。控制器完成training并進(jìn)入正常態(tài)之前根本不會(huì)產(chǎn)生有效的讀數(shù)據(jù)返回讀有效信號(hào)保持低電平是正常的。不要一上來(lái)就懷疑讀時(shí)序先看控制器狀態(tài)寄存器是否從IDLE進(jìn)入ACTIVE。第二檢查命令是否真正發(fā)出。FPGA或膠邏輯里經(jīng)常犯的錯(cuò)是只配了地址沒(méi)有按DDR協(xié)議先發(fā)ACT命令打開(kāi)行就直接發(fā)READ命令或者REF自動(dòng)刷新沒(méi)有及時(shí)觸發(fā)。DDR要求先激活行再讀列命令次序錯(cuò)一個(gè)周期控制器就永遠(yuǎn)等不到有效數(shù)據(jù)。第三核對(duì)DFI接口的返回時(shí)序。控制器和PHY之間通常用DFI接口通信PHY讀回來(lái)的數(shù)據(jù)要經(jīng)過(guò)若干周期的內(nèi)部延遲才拉到DFI總線上。很多“讀有效一直為低”的case其實(shí)是PHY側(cè)返回路徑的采樣延遲沒(méi)配對(duì)控制器在錯(cuò)誤的時(shí)鐘沿采樣誤以為沒(méi)有有效數(shù)據(jù)。調(diào)試時(shí)可以沿著DFI總線把rddata_valid和rddata相對(duì)于dqs的相位打一拍、兩拍、三拍逐一觀察常常能找到正確窗口。第四用邏輯分析儀或示波器看物理DQS/DQ邊沿。如果命令、地址、時(shí)序寄存器都正常但DQS上根本沒(méi)出現(xiàn)讀前導(dǎo)信號(hào)read preamble優(yōu)先查時(shí)鐘穩(wěn)定性和PHY的訓(xùn)練結(jié)果。顆粒供電紋波大、參考電壓Vref偏了也會(huì)導(dǎo)致物理層眼圖閉合訓(xùn)練過(guò)程直接卡住。處理這類問(wèn)題經(jīng)驗(yàn)法則是“先狀態(tài)機(jī)后物理層再協(xié)議層”。把控制器狀態(tài)和DFI時(shí)序理清楚絕大多數(shù)“讀有效信號(hào)異?!倍寄芏ㄎ弧_@一套排查鏈路在SSD固件和芯片驗(yàn)證崗位面試?yán)镆步?jīng)常被拿出來(lái)問(wèn)可見(jiàn)它多么基礎(chǔ)又關(guān)鍵。DDR子系統(tǒng)在整個(gè)SSD主控SoC里的角色往小說(shuō)是內(nèi)存顆粒選型往大了說(shuō)其實(shí)是數(shù)據(jù)通路的調(diào)度中心。理解它之后再去看那些“帶緩存好還是無(wú)緩存好”“為什么掉盤”“為什么開(kāi)卡報(bào)錯(cuò)”的問(wèn)題思路會(huì)清晰很多。我自己做固件調(diào)優(yōu)時(shí)也養(yǎng)成一個(gè)習(xí)慣遇到性能或穩(wěn)定性問(wèn)題先看DDR控制器統(tǒng)計(jì)數(shù)據(jù)讀命中率、行命中率、寫合并命中率三個(gè)數(shù)一番組合下來(lái)往往比盲目調(diào)GC參數(shù)有效得多。希望這篇梳理能給你在選型、開(kāi)卡或調(diào)試的路上省下一點(diǎn)試錯(cuò)時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
看日韩黄片| 依人大香蕉| 美女啊啊啊啊啊| 欧美日韩中文视频播放| 思思热免费在线视频| www超碰| 久9久| 国产乱子伦一区二区三区在线观看| 波多野结衣AV无码一区| 日韩啪啪啪啪啪| 嫩草 人人网精品| 精品一区二区三区国产 | 久热69九色熟妇97| 97视频免费| 你懂得91| 9 1超碰九色| 热久久国产| 欧美午夜色妇色鬼| 亚洲在线欧美| 天天看少妇| 福利五区| 97超碰碰碰| 四虎精品亚洲| 欧美男人一区| 欧美天天综合网版| 天美传媒国产原创中文字幕亚洲欧美另类 | 久久视频少妇美女| 天天搞在线综合网| 校园春色欧美| 国内精品久久久久影院亚洲| 久久久久久少妇| 看一级特黄a大一片| 天天综合欧美综合| 在线毛片片免费观看| 理论久久婷婷网 8| 中文字幕日韩专区精品系列| 欧美变态激情网| 国产一级内射高清视频| 日日AV加勒比| 国产精品制服丝袜清纯唯美| 国内一级精品| 欧洲Au麻豆| 51久久夜色精品国产麻豆| 美日韩一卡二卡三卡免费人妻精品| 网友自拍第一页| 神马久久久久久久久久久久| 嗯嗯啊啊好大好爽| 一区二区娱乐网站| 日韩在线地址一| 91熟女综合| 日韩亚洲国产视频| 亚洲久9| 亚洲美乱| 欧美精品日韩久久久九| 偷拍导航视频网站| 中文伊人大香蕉视频| 大香蕉日亚洲日本亚大 | 99精彩视频| 香蕉99秘 一区精品蜜桃臀| 啊啊啊啊啊操我视频| 国产一区二区三区白丝| 大香蕉视频啪啪啪啪| 九九九久千久久激情蜜桃在线看| 日韩欧美一级特黄大片| 在线播放免费av福利片| 国产精品天堂| 欧美色交| 亚州欧美综合| 97 亚洲 日韩 欧美 在线| 少妇一级婬片免费放一级a性色.| 美女十八禁| 亚洲欧洲小说图片视频| 亚洲天堂无码| A级国产欧美激情在线| 久久綜合很很很| 欧美午夜视频免费观看| 天天肏夜夜肏| 成人久久久精品| 加勒比大香蕉视频在线| 18啪啪手机免费性爱| 欧美亚洲se91| 欧美久久草熟女| 嫩草影院性色| 台湾一区国产高清在线| 一区超碰一区| 欧美91精彩| 超踫中文字幕| 亚瑟国产精品久久无码| 精品对白久久不卡| 九九九国产精品| 撸撸成人在线视频| 久久本道| 麻豆天美国美国产| 亚洲日本加勒比在线| 久久久久久久国产a∨| 国产粉嫩蜜臀av一区二区三区 | 婷婷色导航| 在线观看无码三级少妇| 国产精品3| 中文字幕乱碼在线| 狠狠 91| 超碰av在线| 青娱乐福利99| 18禁止看精品中文字幕| A片A5445444| 日本幼女18+| 天天操人人操骚逼网站| 亚洲一区深夜| 精品无码一区二区| 人妻少妇视频在线播放| 久热99| 簧片免费看视频| 国产精品久久久久无码A√| 亚洲综合在线第一页| 校园春色中文字幕AV| 国产成人综合网| 国产做?爰片久久毛片?片美国| 亚洲成人日韩小说| 在线A日本| 久久久久久久久一区二区三区| 超碰社区97| 久久成人网站| 91情色在线| 青青久草| 东京热大香蕉| 青青色在线观看| 丰满人妻一区二区三区四区| 91狠狠综合网| 九九亚洲| 少妇厨房愉情理伦片bd在线观看| 午夜男女爽爽大片免费观看| 色翁荡息又大又硬又粗又爽| 成人性爱高清视频免费看| 第一高清av中文字幕| 天天躁日日躁xxxxx| AV和黑人在线播放| 亚洲最新Av| 一级性爱视频免费在线| 内射夫妻三片| 色狠狠 - 百度| 一级性爱视频免费观看| 超碰 欧美| 国内伊人久久久久久网站视频| 78超碰| 九七人妻在线| 中文字幕制服诱惑| 青草综合| 波多野42部激情无码喷潮| 欧美日韩午夜精品一区二区三区| 欧美一级特黄淫片在线观看| 8050午夜少妇无码| 一品道视频一区二区三区| 大香蕉综合| 岛国不卡超碰护士AV在线播放| 久热大香蕉网站| 欧美96交| 女欧美一区二三区| 立川理惠无码一区二区| 一区二区三区四区久久视1| 劲爆欧美人妖三区91| 黑丝制服中文字幕| 日韩小电影| 久久色网| A 天堂在线观看视频| 水野优香在线观看| 男人精品天堂一区| 91久久久视| 亚洲熟女一区| 国产精品com| 日韩亚洲国产视频| 久久精品一区二区三区不卡| 美女久久久久久久| 加勒比综合88| 精品一区二区综合熟妇| 久久久蜜桃一区二区三区| 真实高潮91| 日韩综合97P| 欧美日韩电影一区二区| 伊人网高清| www.伪伪| 日韩中字av一区| 少妇激情AV| 91bbbbbb| 亚洲少妇中文字幕网址| 亚洲激情综合| 91路www| 色综合一区二区三区| 国产探花精品在线| 在线 亚洲 网爆 自拍| 亚洲精品97p| 日本韩国国产精品一区| 日本人体九九九九九九| 欧亚成人在线视频| 日本免费人成视频播放120秒| 中文字幕 一区二区 亚洲无码| 加勒比少妇AV婷婷六月天超碰超碰| 久操精品| 美国日韩黄色片| 久久国产视频性吧 | 天天天干977| 亚洲 欧美 日韩 国产一区二区 | 无码人妻系列少妇| 免费看黄视频亚洲网站| 中文字幕日韩精品一区二区三区| 蜜臀99久久| 青娱乐国产精品| a久久| 97视频在线免费| 九月激情婷婷| 亚洲天天做日日做天天谢日日 | 欧美日韩性爱操大逼| 免费人人搞97| 啊啊啊好大好深| 1769精品一区二区三区| 高清孕妇孕交 交孕妇| 尤物网址| 青青伊人久久| 十八禁av无码免费网站APP| 日本不卡三级网在线播放| 天堂性色| 夜夜中出国产| 强奸乱伦AV一天堂网| 综合日本女人伊人| 久久久久亚洲Av无码专区老牛影视| 丁香五月婷婷啪啪| 加勒比中文av| 国产精品久久久视频| 蜜屁av| 98超碰欧美| 亚洲av影院在线观看| 偷拍综合亚洲| 伊人久久蜜月| 国产18精品亚洲精品| 在线播放中文字幕| 99久久久久| 亚洲资源站| 亚洲图片欧美在线视频| 天天干夜夜鈤| 一区二区 电影 亚洲| 亚洲 中文字幕 精品| 国产女上位好爽在线| 麻豆天美传媒毛片| 超碰久久精品| 五月丁香啪啪| 精品无码欧美三级| 极品五月天噜噜| 亭亭丁香激情| 中文字幕黄片在线| 亚洲麻豆18发?| 凹凸视频在线观看伊人| 91欧美情色| 婷婷亚洲中文字幕在线| 91亚洲色人| 欧美91久久久久| 午夜天堂啪啪| 性爱视频免费网址| 欧美综合中文| 一牛一区二区三区久久| 在线无码网站| 亚洲精品91| 中文字幕88av在线| 五月丁香成人网| 人人性爱视频免费| 18精品一二区| 97精品久久久久中文字幕| 五月天色图| 国产亚洲精品一区二区三区| 91少妇高潮| 久久一二三四五六七八九区区| 不卡免费av在线播放| 女沟厕偷窥piss小便| 2017天天透天天通天天擦| 国产第25页在线观看| 日日超碰亚洲| 999久久芭蕾| 97欧美精品综合| 久久人人爽人人爽人人片Ⅴ| 欧美亚洲一级在线观看| 新亚洲无码| 97网站在线观看| 干b在线性社区| 六月丁香五月婷婷| 欧美综合 站| 少妇二级| 丁香五月电影| 女同性恋久久| 草草影院最新网址| 99在线免费公开视频| 啊啊啊啊好爽好舒服一区二区易域| 日韩人妻精品中文字幕| 成人精品视频一区二区| 国产亚洲人妻综合日韩 久久| 一牛影视成人片免费| 9 7超碰在线免费观看| 99久久婷婷| 亚乱色| 国产多人在线观看视频| 久久黄黄黄| 校园春色家庭伦理欧美激情| 欧美78| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 欧美一区二区三区日韩| 中国东北熟女老太婆内谢| 欧美日韩国产成人高清| 91精品国产91久久福利| 黄片视频观看| 无码精品啪啪啪一区二区三区三州| 婷婷久久五月天| 色色色色网站| 综合色久| 操逼逼无码| 日韩成人大片一区二区| 大香蕉黄色一区| 欧美少妇色图| 欧美三级免费伊人| 九九99精品| 日韩欧美午夜一区二区| 日韩中文字幕宗合在线| 四虎影库国产精品免费| 成人黑料社久久| 眼镜人妻101.com| 欧美人妻少妇| 国产精品久久久久久久久AV大片| 欧美日韩亚洲一区二区在线观看| 久久久精品网| 99这里只有精品| 玖玖爱一区在线| 蜜臀少妇一区二区| 国产女人成人精品视频| 久久精品高清AV| 18禁看网站一区| 亚洲高清欧美总合| 4虎在线视频| 97超碰色屌| 色综合美国| 日韩中文字幕人妻视频| AAAA级日本片免费视频| 久久久91| 中文字幕一二三| 国产精品午夜福利| 亚洲性图91| 好好的日:com久久九九| 激情亚洲天堂| 97这里都是精品| 熟女啪啪视频| 91网站18在线观看| 口爆综合网| 伊人久久婷婷| 99精品热| 伊人久操| 久久草在线综合视频| 日本午夜操逼| 亚洲av影院在线观看| 911av网站免费观看| 国模私拍一区二区三区神乳| 熟女激情综合网| 国产一区二区成人av在线播放| 超碰免费97| 午夜精品久久一区二区| 日本操逼无码| 久久中文字幕不卡人妻| 久9re热视频这里只有精品| 久久久久久久综合,国产| 亚洲精品97中文字幕| 青草影院内射高潮| 麻豆国产成人精品| 欧美第五页| 亚洲青青草| 国产精品粉嫩福利在线| 精品人妻一区春色| 91精品91久久久久77777| 欧美午夜熟妇黑人精品91| 成人精品久久| 精品福利| 欧美综合综合| 在线观看中文字幕| 亚洲av无码国产精品字幕| 13小男生GAY自慰脱裤子| 激情综合网激情综合| 人人搞人人插人人操| 手机看片日韩人妻| 激情五月天社区| 大香蕉啪啪网| 影音先锋国产精品| 99re6久热只有精品6在线直播| 91在线视频免费中出| 狠狠躁天天躁日日躁| 美女黄码视频午夜| 欧美92| 亚洲精品一区二区日本| 成人精品一区二区91毛片不卡| 国产麻豆福利av在线播放| 精品-91人妻子系列| 97色伦欧美| 中文字幕久久精视频久久大全| 欧美 综合 亚洲| 国产精品丝袜在线| A一区片| 国产女生在线| 国产精品一区二区在钱播放| 神马久久久久久久久久久久| 熟女少妇视频| 国产精品 久久久精品一牛| 无码乱人伦中文视频| 亚洲熟女中文字幕在线| 毛片17S| 久插综合| 婷婷10月天青娱乐| 国产乱色国产精品免费视| 国产一区二区三区精品观看啪| 久久黄黄| 久热99999| 国产欧美在线观看免费观看| 精品黑人一区二区| 韩日男人的天堂| 日韩无码服务区| 亚洲国产成人7777| 大香蕉婷婷| 夜夜综合| 97超碰色色| 久久精品店| 综合色图亚洲欧美| 超碰到97情色| 久久69精品久久久久久久| 亚洲欧美精品91| 东京热熟女亚洲视频网站| 999综合网| 秋霞影音一区二区三区| 日韩精品9999| 欧美亚洲中文| 久久久久久日韩| 爱爱动态120秒| 久久天堂网| 日韩在线性爱免费视频| 欧美最婬乱婬爆婬性视频| 欧美美逼| 亚洲第一无码播放立川理惠| 裸体美女久久久| 99热婷婷一区二区三| 国产专区第一页| 97硬碰| 国产久久久久久| 国产一区在线观看无码AV| 国产suv精品一区二区四| 抽插亚洲无码| 久久久国产成人一区二区三区在线 | 男人 天堂 日 亚洲| 91超碰在线观看| 99re公开精品免费视频 | 五月天久久婷婷亚洲 | 日本免费中文一区二区三区四区 | 亚洲双插| 国产亚洲日本精品在线| 精品中文日韩字幕视频| gogogo免费高清看中国国语| 美女高潮视频91| 男人亚洲天堂| 久久久久久久少妇| 91久久国产精品| 国产人妖视频一区在线观看| 一区=区三区视频| 欧美天天综合网| 青草草免费网站av| 夜夜狠狠躁日日躁色视频| 亚洲一区中文精品| 妇女视频网站| 亚洲动态色图| 国产怡红院| 立川理惠被中出无码| 亚洲综合有玛| 成年人三级黄色片视频| 亚洲精品97中文字幕| 日欧亚洲二三区大片不卡| 99国产精品久久久在线播放| 国产欧美岛国精品一区| 久男人久久| 国产伦乱91| 日本一级不卡一二区| 亚洲中文字母在线播放| 国产精品伦理| 偷拍欧美激情| 日韩无码操逼片| 狠狠2050在线观看| 亚洲 小说 欧美 激情 另类| 91天天爱| 欧美精品1区2区3区| wuyechaopeng| 午夜精品久久久久久久99蜜桃一| 大香蕉 222| 乱伦a片视频| 欧美综合777| 亚洲图片欧美在线视频| 人人操人人93| 免费97视频| 婬女免费一二三区A片| 92久久| 九九英色视频| 亚洲操逼无码| 亲子敌伦对白在线播放| 日欧毛片久久| 天堂中文资源在线bt| 九九热精品视频六| 成人午夜无码视频| 国产无码精品久久久久久| 好看的久久不射无码影视影院| 凸凹视频在线观看| 精品熟女呻吟久久91| 久久仑合| www.久久久久| 日本性爱欧美性爱| 东京热av影院| 日夜干射色啊| 九九无码| av日韩国产一区二区| 欧美日本不卡在线| 中文在线久久字幕| 激情小说五月天| 可以免费看黄片的视频| 91日产桃蜜| 日韩精品99久久久久久中文字幕 | 美女黑人91神马| 99热综合| 乱欲一区二区| 白丝被操91| 人妻夜爽夜夜爽| 欧美色997| 黄色AAAAA欧美| 国产精品夜夜| 美女网站黄页| 国产青视频| 777奇米影视777四色| 免费成人在线观看91| 后入精品| 97天天爽| 一区二区三区激情在线观看| 日韩操逼性鲍| 国产成人久久精品蜜臀| 裸体美女久久久| 九九热视频在线观看| 久操凹凸视频| 精品国产Av无码久久久亚洲| 男人的天堂99| 自拍第一页| 亚洲涩涩| 欧美无圣光在线| 色婷婷电影网| 日本理论在线| 亚洲超碰AV| 操操操日本的逼| 日韩av性爱在线播放| 91熟女丨91老女人| 草B在线| 精品中文一区二区| 欧亚日韩三区| 九九久久国产精品| 人人手机欧洲亚洲国产人妻| 99亚洲精品| 婷婷亚洲综合| 伊人色综合网电影| 91操熟女| 一区二区高清视频| 亚洲风情在线观看| 欧美 亚洲 在线| 日韩有码中文字幕女同性恋| 无码久| 好屌色综合| 少妇三P| 久久久久久久久久久久久9999| 色爱综合网| www.色婷婷.com| 无码黑人精品一区二区三区三| 无码 黑人一区二区三区| 日韩激情电影中文字幕| 国产精品国产亚洲区艳妇糸列| 日韩91网站| 一区二区三区一亚洲中文字幕、综合区灬| 精品人妻一区二区蜜桃视频| 九九九久| 嗯嗯不要 视频| 久久久久极品| 午夜福利 成人 91| 亚洲天天精品| 欧美色图99| 精品人妻15区| 亚洲天堂男人天堂网| 中文字幕在线免费观看| 91狠狠综合网| 88xx成人精品视频| 精品成人无码| 操国产逼| 18禁精品网站在线看| 国产9 9在线 | 亚洲| 手机看片日韩人妻| 人人弄人人摸| 日韩精品免费高清视频在线| 懂色AV蜜臀无码精品APP| av片在线观看免费播放| 婷婷五月在线视频| 亚洲AV乱码专区国产噜噜亚洲| 色噜噜人妻丝袜AV资源| 欧美一区二区三区黄色影视| 黄页网站成人免费| 91在线视频国产网站| 国产传媒一区二区三区| 日本精品一级二级三级| 国产av波波国产精品| 国产精品蜜乳AV| 欧美日韩999| 东京热免费视频| 亚洲男人的天堂一区二区| 亚洲欧洲色情高清| 国产丁香精品露脸视频| 亚洲色图欧美一区二区不卡| 国产东北女人在线视频| 国产久久久久久久久一区二区| 久久国产精品一级二级三级| 美女AV一区二区| 日本男人插女人的逼黄色| 天天射天天操天天干天天吃2018| 中国和日本人色哪个不下载能放| 91黑丝在线| 美国一区二区三区视频| 成人性爱电影网| 久久精品免费| 你想操日本小逼吗| 熟妇人妻精品一区二区视频色欲| 116美女午夜| 精品视频久久区| 亚洲情欲| 国产h片在线观看视频| 黄色高清无码无码破解免费暗网| 久久久久久亚洲精品中文字幕人妻| 黄色不卡视频| 99热这里只有精品18| 91在线视频免费播放| 色综合99| 久久九操在线观看| 色吧5亚洲| 国产成人网址| 久久久久9999精品九九九| 久久精品黄色| 国产精品三级视频网站| 亚洲人妻熟妇三十三区| 欧美激情在线观看视频| 中文字幕奈奈美被公侵犯| 日产狠狠干| 亚洲999综合| 超碰在线人人射| 大香蕉丝袜一级片| 伊人伊人LD| 艳美熟妇先锋一二三区| 国产精品电| 国产亚洲精品无码三区| 殴美牲| 东京热,男人的天堂| 人人潮人人摸| 久艹伊人精品综合在线| 96精品久久| 第一高清av中文字幕| 九九九九九九九九九五码| 国产性爱强奸乱伦大全| 五月丁香激情啪啪| 天天干1区2区在线| 九九九久久久| 九九九九九九九精品视频| 五十路熟女在线不卡观看一区二区| www.亚洲成人一区| 精品射1999| 美女久久久久久久久久久| 无遮挡h肉动漫在线观看| 亚州综合AⅤ| 人妻9117c| 中文字幕 码精品视频网站| 性色av一区二区| 国产无码精品成人| 97硬碰| 超碰碰97资源站| 天天色播| 可乐操亚洲蜜911| 精品伊人久久久大香线蕉小说| 久久久久久久久久久久久久久久9| 久久精品国产亚洲妲己影视| 精品久久久久黄少妇| 女沟厕偷窥piss小便| 野狼激情网| 男人天堂欧美| 青青操97| 久久9精品视频| 欧美97av| 国产精品一区二区三区,亚洲综合| 亚州春色| 黑人嘿嘿嘿超爽免费视频| 超碰免费欧美7| 中文字幕一区二区三区字幕| 99九九久久| 国产操逼视频在线观看| 欧美精品 - 91爱爱| 先锋激情∨在线视频播放| 动漫区日韩区欧美区| 奇米四色影视777久久久| 亚洲城人男人的天堂| 乱伦熟妇一区二区| 狠狠躁AV| 欧美日韩啪啪电影| 久久久九97| 人人么人人操| 色大师网站www永久网站视频| 被男人添B超爽视频| 韩国三级三级BD在线| 亚洲一区二区三区中文字幕| 狠色婷婷久久一区二区三区_| 免费伦费视频在线观看| 久久AV色| 巨爆乳肉感一区二区三区竹菊影视| 超碰吊日色| 欧美另类色| 小视频国产| 欧美人妻熟女在线| 一区二区激情国产熟女| 免费AV中文网在线观看| 久久蜜桃综合网| 家庭乱伦性爱av| 97中文综合| 亚洲免费精品一区| 色狠狠综合噜一二三区| 波多野结衣一级视频| 97少妇人妻中文字幕久久| 色官网在线| 色婷婷一区二区三区久久| 色一射色一射| 93人人操人人| 易易A毛视频| 日韩99神马视频播放| 日本日逼高清| 天天狂操夜夜狂日| 99 国产丝袜在线| h无码动漫在线观看| 色网1| 亚洲另类在线观看| 东北女人无套内谢视频| 日影院久久婷婷夜夜网| 开心婷婷五月| 国产精品嫩草久久久久| 96精品久久久| 狠狠操一区二区| 久久9视频| 一个人免费视频观看在线WWW| 亚洲女人毛茸茸91| 欧美中文字幕男人天堂久久精品| 国产高清精品一区二区三区毛片 | 国产色产精品在线观看 | 国产精品日韩在线一区| 国产97色在线 | 亚洲| 精爱久久| 狠狠狠狠狠狠| 人妻81p| 丰满人妻区一区二区三| 亚洲欧美91√| 亚洲精品一区二区三区新线路| 日韩探花精品在线视频| 精品久操| 试看福利| 亚洲综合色男人网| 成人三级片无码| 97亚洲精品超碰| 蜜臀久久99'精品久久久| 亚洲欧美九九| 亚洲丁香花色| 无码人妻精品一区二区三区99不卡 | 国产综合久久久麻桃个 | 日韩欧美综合激情| 精精品人妻一区二区三区| 亚洲男人天堂2013| 玖玖爱综合| 婷婷成人五月天| 性色av网站| 超碰色男人操熟女| 狠久久| 日本不卡三级网在线播放| 精品国产www久久| 丁香九月 婷婷| 思思久热在线精品66| 美欧色综合| 91精品国产长腿丝袜美女| 国产精品一区二区三区在线密挑| 男人的天堂一区三区| 日韩成人性日韩成人性爱视频在线免费观看| 亚洲人妻久久久| 欧美丝袜激情| 96精品在线| 这里只有精品视频在线| 日本中文字幕在线电影| 久久无码成人| 久久亚洲欧美中文字幕国语| 亚洲人体视频在线观看| 久久区| 2017天天插| 99精品九九九九九九| 国产精品一二三| 国产精品亚洲一级av第二区| 亚洲无码超碰免费| 97香蕉网| 日本操逼无码| 欧洲性爱无码区| 91丝袜视频在线观看| 国产搭汕a级片| 日韩三级av片| 97这里有精品| 97综合国产| 亚洲欧美不卡线| 久久男人的天堂| 淫荡网址| 亚洲āv网址在线观看| 国产精品视频内谢女人| 日韩欧美亚欧在线视频| 国产粉嫩蜜臀av一区二区三区| 一摸二插三插| 人妻激情视频| 日本三级精品| 人妻熟女一区二区三区视频| 亚av顶级裸体一区二区三区四区五区 | 亚洲第一页综合在线| 亚洲熟女乱色| 99久久婷婷国产综合| 欧美一区二区三区入口| 欧美日韩在线小说 | 色偷偷综合91久久噜噜| 狠狠爱夜夜干| 99精品无码| 色香91| 亚洲不卡一| 国产9l 大屁股| 天天综合91| 日韩一二三区| 91天天| 91东京热男人的天堂| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 日韩免费福利在线观看| 激情五月天插| 国产强奸超碰AV| 超碰免费在线| 精品国产人成在线| 中文色综合| 亚洲av青草久久一区二区| 日本成人免费一区二区三区| 97精品一区二区视频在线观看| 蜜桃狠狠色伊人亚洲综合 | 国产高清亚洲日韩一区| 婷婷色色五月天福利| 色在线亚洲视频www| 天天精品| 日夜啪电影| 青青草视频导航官网| 色哟哟精品1精品2| 一区二区三区视频| 欧美大香蕉同搞| 丁香六月婷婷| 久久夜嗨| 亚洲资源吧| 欧美爱国产综合、| 人妻第一页| 日韩黄片影院| 黄页网站免费高清在线观看| 91丨九色丨熟女高潮| 草草影院在线视频| 亚洲综合贴图91| 97色综合中文网| 国产精品亚洲无码| 五月丁香色综合| 亚洲国产一区二区三区四区国产| 亚洲精品蜜桃久久久一区二区三区| 亚州色图欧美| 91人妻人人澡人人爽人人精品| av网站免费看| www色日本| 裸体美女久久久| 夜夜免费视频| 思思久热在线精品66| 日韩性爱毛片操骚逼| 在线日韩视频| 久久人爽| 91久操| 岛国在线一区二区三区| 中文字幕老熟妇黄色视频| 十八禁成人网站在线观看| 五月丁香六月激情| 久久曰曰| 9118禁| 免费看欧美美女黄色大片 | 国产精品无套内谢| 精品妇女一区二区三区| 欧美第二页午夜| 色臀av| 多乙久久久久久| 欧美制服网站美腿丝袜| 抽插一区二区视频| 日韩A优精品在线观看| 精品人妻二区三区| 人妻91少妇| 97这里有精品| 天堂8在线新版官网| 伊色综合天堂色97| 亚洲不卡一| 国产在线强奸视频| 97超碰色五月| 精久久久| 无遮挡男女激烈动态图| 免费视频无码| 啊啊啊 在线| 亚洲AV无线| 97爱b| 精品蜜乳AV免费观看| 亚洲另类综合欧美| AV天堂男人的天堂| 一级毛片电影免费看| 91热爆在线| 欧美综合狠| 激情干在线| 成人影 天天操 亚洲| 狠狠爱夜夜| 久久色人体| 精品无码产区一区二| 在线情色电影 91大| 97久久久久| 国产成人自拍视频视频| 殴美综合色88| 四虎国产精品永久在线囯在线| 国产刺激视频| 天天操天天干美女网址导航| 黄色免费网页无码| 97内射偷拍| 牛牛操视频逼| 天天舔九色婷婷| 国产精品盗摄 偷窥盗摄| 久久亚洲不卡一区二区三区| 久久精品国产精品一区 | 大香蕉黄色一级片免费看| 天天影视网综合少妇| 射久久| 久久天天摸| 亚洲一区中文精品| 亚洲国产一级中文综合久久天堂在线免费观看 | 日韩欧美~中文字| 国模精品一区二区三区苹果色戒| 超碰97人人乐| 亚洲激情四射| 91黄站| 艳美熟妇先锋一二三区| 无码不卡亚洲成?人片| 夜夜操av亚洲一区二区| 最新亚洲人成网站在线影院| 欧美日韩精品国产91| 97视频在线观看高清资源| 90后性网国产欧美| 人妻久久久久久久久久久久久久久| 九九热三级片| 九一性生活免费视频| 亚洲熟女乱色| 91久热| 国产操偷| 一级日本牲交大片好爽在线看| 欧美大色交| 中英熟女操女| 歐美一級亂黃99在綫精品| 蜜乳av一区二区| 亚州高清AV| 91色碰| 中文字暮97| 五十路三级片| 九九九草| 欧美|91色综合| 久久久久久99AV无码免费网站| 动漫av中文| 操91| A一区片| 亚洲综合99999| 插欧洲美女欧美精品| 啊啊啊啊啊啊在线| 成人网欧美风情| 九月丁香综合网| 久久熟女嫩草成人片免费| 超碰亚洲欧美日韩无| 国产日韩精品无码去免费专区国产| 2019亚洲男人天堂| 亚洲丝袜色| 久久人人爽爽人人爽人人片αV| 麻豆性爱视频在线播放| 久久久久久AV无码免费网站| 亚洲欧美999| 操逼999| 99热这里都是精品| 久久首页| 欧美精品黑人猛交高潮| 又摸又舔在线观看网站| 日本日逼视频网| 午夜a成v人电影| 久久亚洲一区女同性恋中文字幕| 色婷婷成人综合| 色婷网| 青青草大香蕉视频| 欧亚日韩一区在线| 久久国产性爱| 乱伦av麻豆| 日本色色色| 99国产在线绯色一区| 丝袜av一区二区三区| 韩国毛片一区二区三区| 天天天操天天天爱| 美女诱惑久久| 熟女乱伦二区| 在线综合网| 91老熟女91老女人| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 亚洲精品三区在线观看| 91青青在线| 麻豆久久久久久久久丝袜 | 中文字幕精品亚洲熟女| 91亚州欧美| 99久久com免费视频′| 无码不卡亚洲成?人片| 日本久久久精品电影| 成人一区二区三区四区| 日本九九久久99播| 小少妇| 自拍偷拍2025在线观看| 天天综合网日韩7799| 三男一女不戴套的A片| 欧美资源| 久操电影网| 久久中文字幕人妻熟av女蜜柚| 亚洲天堂日本| 97色涩| 精品久久无码午夜福利| 91日本在线观看| 玖玖久久久| 亚洲黄网在哪免费看| 欧美色图 人妻| 男人午夜天堂| 亚洲色偷偷色噜噜狠狠99网| 淫穴高潮色图| 97人人操人人摸人人爱| 欧美色图亚洲特色| 欧美综合制服在线| 操逼www.| 国产男女边吃边摸视频网站| 999久久久免费精品国产牛牛| 久久超碰com| 色777999综合| 综合大香蕉美。| 婷婷五月天色网| 四虎精品永久在线观看| 国产诱惑| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 91天美免费| 校园春色AV天堂| 久久黄人人爽视频| 东京太热男人的天堂久久久| 欧美性爱一区二区三区| 欧美 亚洲 在线| 97干97色| 老熟女91| 乱伦一二三区| 性色生活片久久毛片婬片免费放女人一级毛片| 午夜超爽| 99在线无码精品秘 入口黑人| 成人性爱美曰韩| 日本女人操逼| 欧美亚洲综合色| 久久久久日本视| 91国产大片| av 模特一区了| 伊人欧美大香蕉视频| 99re久久| 97无码视频在线播放| 欧美激情性爱视频网站| 五月天丁香婷婷综合网站| 日本三级R| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 中文字幕一区二区三区人妻不卡| 色婷婷丁香五月天| 99色热| 日韩av色图综合| 久久一二三四五六七八九区区| 亚洲日韩欧美一区二区| 欧美极品少妇| 欧美亚洲手机在线| 蜜乳中文字幕a在线| 天天看天天在线精品| 亚洲一区二区性爱电影| 素人播放一区| 亚洲中文电影| 久肏视频字幕| 69精品| 18禁美女裸体无遮挡啪啪| 9久久精品| 欧美狠狠弄| 国产视频97| 91中出| 精品一区二区综合熟妇| 欧美成人精品A片免费一区99| 97硬碰| 久久精品99| 97视频在线免费观看| 免费簧片在线观看| 一本道综合色图| 国精综合一二三区影视| 中日韩久久久免费看| 黄片视频观看| 在线啊v一区| 2025亚洲男人天堂| 亚洲欧美日韩中文久久自慰| 97视频在线看| 成人网站 免费观看| www四虎| 操逼内射干逼白丝91| 蜜臀中文无码午夜| 99re免费视频精品全部| 婷婷综合网站| 二三四区精品| 91n欧美| 永久免费发布性爱网| 亚洲熟妇自偷自拍另欧美| 极品粉嫩一区二区| 亚洲怡春院| 黄色无码高清黄色无码网站| 久久黄片国产一区二区| 亚洲精品亚洲人成人网| 91久久久视| 色妺妺AⅤ| 最新中文字幕在线亚洲| 青青草原人妻| 天天天天天天天天综合| 无码一区二区精品视频久久久春药| 久久久久久久久久久免费精品| 伊人黄色片| 99久久精品无码一区二区| 中文字幕永久在线| 91N欧美| 超碰碰激情97+久| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 丰满美女一级毛片在线播放| 91精品伊人久久久大香线蕉91| 亚洲精品色| 女同性恋一区二区三区精品视频| 久久久78| 欧美大香蕉专区网| 男人的天堂亚洲| 午夜操操操| 国产久久av| 亚洲欧美另类少妇精品| 精品免费一区| av在线资源| 色香综合天天影视综合 | 快点操死我| 日韩熟女视频二区| 老鸭窝成人免费毛片视频| 日韩性爱1级片视频| 男人天堂一区二区| 好涩综合| 少妇无码999|