亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux設(shè)備驅(qū)動(dòng)模型深度解析:從device到probe再到sysfs

Linux設(shè)備驅(qū)動(dòng)模型深度解析:從device到probe再到sysfs 寫明白一個(gè)底層機(jī)制往往比寫下十層業(yè)務(wù)邏輯更有價(jià)值。Linux 設(shè)備驅(qū)動(dòng)模型就是這樣一類東西它不像進(jìn)程調(diào)度、內(nèi)存管理那樣“顯眼”但無(wú)論是嵌入式開(kāi)發(fā)、內(nèi)核驅(qū)動(dòng)編寫還是系統(tǒng)穩(wěn)定性排查你繞不開(kāi)它。很多時(shí)候你覺(jué)得驅(qū)動(dòng)“莫名其妙”不工作或者設(shè)備節(jié)點(diǎn)時(shí)有時(shí)無(wú)根子都在設(shè)備模型這一層。這篇文章不堆概念我把我從看源碼到實(shí)際改驅(qū)動(dòng)、調(diào)硬件過(guò)程中對(duì)設(shè)備驅(qū)動(dòng)模型的理解從頭到尾拆一遍。如果你是想搞懂內(nèi)核底層的開(kāi)發(fā)者不管你是做嵌入式 Linux、內(nèi)核驅(qū)動(dòng)還是上層應(yīng)用想深入理解sysfs、uevent、設(shè)備熱插拔背后的原理這篇文章都值得你花點(diǎn)時(shí)間。設(shè)備模型不是一塊孤立的“知識(shí)”它是連接內(nèi)核各子系統(tǒng)、暴露硬件拓?fù)浣o用戶態(tài)的樞紐。1. 設(shè)備驅(qū)動(dòng)模型到底在解決什么問(wèn)題——三個(gè)關(guān)鍵詞講清楚很多人一上來(lái)就背struct device、struct device_driver、struct bus_type背完還是懵因?yàn)椴恢肋@些東西到底解決什么問(wèn)題。我們先退一步想想內(nèi)核在沒(méi)有這套模型之前是什么狀態(tài)。早期內(nèi)核里寫一個(gè)驅(qū)動(dòng)基本是“直接干活”驅(qū)動(dòng)初始化時(shí)申請(qǐng)中斷號(hào)、映射 IO 地址、注冊(cè)字符設(shè)備、建/dev節(jié)點(diǎn)。聽(tīng)起來(lái)也沒(méi)啥不行但系統(tǒng)一復(fù)雜就亂了。第一個(gè)關(guān)鍵詞資源沖突。同一個(gè)物理中斷號(hào)可不能被八個(gè)驅(qū)動(dòng)同時(shí)請(qǐng)求同一段 IO 地址你映射我也映射誰(shuí)來(lái)仲裁第二個(gè)關(guān)鍵詞熱插拔與動(dòng)態(tài)加載。USB、SD 卡這些設(shè)備都是中途插進(jìn)來(lái)的內(nèi)核怎么知道該把這個(gè)新設(shè)備交給哪個(gè)驅(qū)動(dòng)第三個(gè)關(guān)鍵詞用戶態(tài)視角。應(yīng)用層ls /sys/class/或者udevadm info為什么能查出設(shè)備的層級(jí)關(guān)系這背后總得有一個(gè)組織良好的對(duì)象模型。設(shè)備驅(qū)動(dòng)模型就是內(nèi)核為回答這三個(gè)問(wèn)題搭建的“中間層”和“調(diào)度室”。它不是某一個(gè)具體驅(qū)動(dòng)的功能而是驅(qū)動(dòng)框架的公共服務(wù)。你可以把它理解成一套“內(nèi)核內(nèi)部的登記與查詢系統(tǒng)”所有的設(shè)備、驅(qū)動(dòng)、總線都在這個(gè)系統(tǒng)里注冊(cè)、匹配、綁定然后向用戶態(tài)暴露統(tǒng)一接口。這套模型的核心對(duì)象就四個(gè)device設(shè)備、device_driver(驅(qū)動(dòng))、bus_type總線、class類。你記住一句話就夠了——總線上掛著設(shè)備和驅(qū)動(dòng)總線的職責(zé)是讓它們“配對(duì)”配對(duì)成功后驅(qū)動(dòng)負(fù)責(zé)操作設(shè)備設(shè)備通過(guò) class 向用戶態(tài)“拋頭露面”。2. device/driver/bus/class 四件套設(shè)備、驅(qū)動(dòng)、總線、類各自干啥這四件套是設(shè)備模型的骨架。我建議你從這四個(gè)結(jié)構(gòu)體本身入手去理解不要跳過(guò)struct的定義直接去看 API那樣永遠(yuǎn)是浮在表面。2.1 struct device一個(gè)設(shè)備在內(nèi)核里的“身份證”struct device是整個(gè)模型最底層的抽象它是“一個(gè)硬件設(shè)備”在內(nèi)核中的表示。這里要特別注意device只管“設(shè)備本身是什么”不管“怎么操作它”。struct device { struct device *parent; // 誰(shuí)生了我父設(shè)備 struct device_private *p; // 私有的、不對(duì)外的數(shù)據(jù) struct kobject kobj; // 所有 sysfs 表現(xiàn)的基礎(chǔ) const char *init_name; // 設(shè)備在 sysfs 里的名字 struct bus_type *bus; // 掛在哪個(gè)總線上 struct device_driver *driver; // 配對(duì)成功的驅(qū)動(dòng) void *platform_data; void *driver_data; // 驅(qū)動(dòng)自定義私有數(shù)據(jù)常用 dev_t devt; // 設(shè)備號(hào)用于創(chuàng)建設(shè)備節(jié)點(diǎn) ... }這個(gè)結(jié)構(gòu)體里最關(guān)鍵的幾個(gè)問(wèn)題parent表示設(shè)備在拓?fù)浣Y(jié)構(gòu)中的位置比如 USB 設(shè)備掛在 USB 控制器下面bus指向它所在的總線類型driver一旦被賦值就說(shuō)明這個(gè)設(shè)備已經(jīng)被“認(rèn)領(lǐng)”了devt是設(shè)備號(hào)有了設(shè)備號(hào)device_create()才能生成/dev節(jié)點(diǎn)。還有一個(gè)非常容易踩坑的點(diǎn)release回調(diào)函數(shù)。struct device里有個(gè)release函數(shù)指針?biāo)谠O(shè)備引用計(jì)數(shù)歸零時(shí)被調(diào)用用來(lái)釋放設(shè)備占用的內(nèi)存。如果你自己動(dòng)態(tài)kzalloc了一個(gè)device并device_register注冊(cè)它而沒(méi)有初始化release內(nèi)核在注銷時(shí)會(huì)直接報(bào)錯(cuò)并崩潰。這個(gè)我在第 8 章會(huì)再展開(kāi)。2.2 struct device_driver驅(qū)動(dòng)只是“能力的聲明”驅(qū)動(dòng)對(duì)象struct device_driver同樣掛在內(nèi)核的對(duì)象系統(tǒng)里但它本身不包含“操作函數(shù)”它的核心是聲明自己能匹配哪些設(shè)備以及匹配成功后如何初始化/釋放。struct device_driver { const char *name; struct bus_type *bus; const struct of_device_id *of_match_table; int (*probe)(struct device *dev); // 匹配成功后被調(diào)用 void (*remove)(struct device *dev); // 設(shè)備被移除時(shí)調(diào)用 const struct dev_pm_ops *pm; // 電源管理 ... }驅(qū)動(dòng)本身不干活真正干活的是probe函數(shù)。所謂“寫驅(qū)動(dòng)”本質(zhì)上是填好probe和remove在probe里把硬件初始化、注冊(cè)中斷、建立數(shù)據(jù)通路然后把操作接口暴露給用戶態(tài)。你可能會(huì)問(wèn)那讀寫函數(shù)read/write呢那不叫device_driver那是file_operations是字符設(shè)備層的事。設(shè)備驅(qū)動(dòng)模型管的是“設(shè)備與驅(qū)動(dòng)匹配”這件事數(shù)據(jù)通路是匹配成功之后注冊(cè)到具體子系統(tǒng)里的。先有匹配后有業(yè)務(wù)。2.3 struct bus_type總線不是物理線是“匹配中介”這是最容易誤解的地方。bus_type不是指 PCB 上的線而是內(nèi)核定義的一種“聚合與匹配規(guī)則”。struct bus_type { const char *name; int (*match)(struct device *dev, struct device_driver *drv); int (*probe)(struct device *dev); int (*remove)(struct device *dev); struct device_attribute *dev_attrs; ... }內(nèi)核里最典型的就是platform_bus_type這是一個(gè)虛擬總線叫platform。它專門用來(lái)掛載那些不依附于 USB、PCI、I2C 等物理總線的設(shè)備——比如 SoC 內(nèi)部的 UART、GPIO 控制器、以太網(wǎng) MAC。你會(huì)發(fā)現(xiàn)在/sys/bus/platform/devices/下面躺著大量 SoC 內(nèi)部外設(shè)這就是虛擬總線把所有“板級(jí)設(shè)備”統(tǒng)一管理起來(lái)的實(shí)例。總線的match函數(shù)是配對(duì)規(guī)則的裁判。platform_bus的配對(duì)順序我在下一章詳細(xì)拆這里你先記住設(shè)備想要被驅(qū)動(dòng)找到必須先掛到總線上驅(qū)動(dòng)想找設(shè)備也得先注冊(cè)到同一個(gè)總線上。兩頭缺一頭永遠(yuǎn)配不上。2.4 struct class給設(shè)備“分類”讓用戶態(tài)看得懂class解決的是“用戶態(tài)視角”問(wèn)題。一個(gè)設(shè)備硬件上在某個(gè)總線上但從應(yīng)用層的角度看你更關(guān)心它是一個(gè)輸入設(shè)備、一個(gè)網(wǎng)絡(luò)設(shè)備還是一個(gè) LED而不是它掛在哪條總線上。struct class { const char *name; struct module *owner; ... }class_create()會(huì)在/sys/class/下創(chuàng)建一個(gè)以類名命名的目錄device_create()則在這個(gè)類目錄下創(chuàng)建一個(gè)設(shè)備子目錄并生成/dev節(jié)點(diǎn)。比如你寫一個(gè) GPIO LED 驅(qū)動(dòng)通常會(huì)class_create(led_class)然后device_create(led_class, ...)于是/dev/led出現(xiàn)應(yīng)用層直接 open/write。這就是設(shè)備模型向用戶態(tài)“拋頭露面”的標(biāo)準(zhǔn)路徑。很多驅(qū)動(dòng)開(kāi)發(fā)者把class僅僅當(dāng)成“創(chuàng)建設(shè)備節(jié)點(diǎn)的工具”這么理解不算錯(cuò)但要知道它本質(zhì)是設(shè)備模型的一部分是用戶態(tài) sidecar。3. 設(shè)備與驅(qū)動(dòng)怎么“配對(duì)”match 機(jī)制與匹配優(yōu)先級(jí)設(shè)備模型的核心操作就是“配對(duì)”。每一次device_register()或driver_register()的發(fā)生內(nèi)核都會(huì)觸發(fā)一次總線掃描看新來(lái)的這個(gè)家伙能不能和已有對(duì)象配對(duì)成功。以platform總線為例platform_match()是配對(duì)的實(shí)際執(zhí)行者。它按下面的順序依次嘗試誰(shuí)先命中算誰(shuí)的設(shè)備樹(shù)匹配of_driver_match_device()。它會(huì)比較設(shè)備樹(shù)節(jié)點(diǎn)里的compatible字符串和驅(qū)動(dòng)的of_match_table中的.compatible。這是現(xiàn)代 ARM/ARM64/RISC-V 平臺(tái)最主流的匹配方式。ACPI 匹配acpi_driver_match_device()。在 x86 和某些服務(wù)器平臺(tái)上固件用 ACPI 表描述硬件匹配邏輯走的是 ACPI 路徑。ID 表匹配driver_match_device()會(huì)查找驅(qū)動(dòng)里的id_table。比如 I2C 驅(qū)動(dòng)有i2c_device_idSPI 驅(qū)動(dòng)有spi_device_id。對(duì)于 platform 驅(qū)動(dòng)platform_driver中也有id_table里面保存的是設(shè)備的name。設(shè)備名/驅(qū)動(dòng)名匹配platform_match_id()如果都沒(méi)命中內(nèi)核會(huì)直接比較driver-driver.name和platform_device-name是否一致。很多早期 platform 驅(qū)動(dòng)就是這么干的現(xiàn)在仍然兼容。這個(gè)順序非常重要。你在調(diào)試時(shí)如果發(fā)現(xiàn)“明明 compatible 不一致驅(qū)動(dòng)還是 probe 了”很可能就是第 4 步的 name 匹配兜底了反過(guò)來(lái)你要想確認(rèn)設(shè)備是通過(guò)哪種方式匹配上的可以在probe里打印dev-driver或者用ls /sys/bus/platform/devices/.../driver看驅(qū)動(dòng)符號(hào)鏈接是否存在。我當(dāng)初調(diào)一個(gè)傳感器驅(qū)動(dòng)DTS 里的compatible寫成了vendor,sensor-v1驅(qū)動(dòng)of_match_table里寫的是vendor,sensor-v2。按我的預(yù)期是匹配失敗結(jié)果驅(qū)動(dòng)照樣 probe。查了很久才發(fā)現(xiàn)驅(qū)動(dòng)內(nèi)嵌的 platform_driver 的.name和 platform_device 的name恰好一致走了第 4 步。你以為的設(shè)備樹(shù)匹配實(shí)際是 name 兜底匹配。這不算 bug但確實(shí)容易讓人誤判。還有一個(gè)概念叫-EPROBE_DEFER全稱是 probe defer推遲探測(cè)。當(dāng)一個(gè)設(shè)備的 probe 依賴另一個(gè)設(shè)備比如依賴某個(gè) regulator、某個(gè)時(shí)鐘或者某個(gè) GPIO 控制器而依賴對(duì)象還沒(méi)就緒時(shí)驅(qū)動(dòng)返回-EPROBE_DEFER內(nèi)核不會(huì)報(bào)錯(cuò)而是把這個(gè)設(shè)備扔回隊(duì)列等下次有驅(qū)動(dòng)注冊(cè)時(shí)再嘗試。這是設(shè)備模型里最優(yōu)雅的機(jī)制之一。沒(méi)有它你要自己寫依賴排序麻煩得多。static int my_probe(struct platform_device *pdev) { struct clk *clk devm_clk_get(pdev-dev, axi); if (IS_ERR(clk)) { if (PTR_ERR(clk) -EPROBE_DEFER) return -EPROBE_DEFER; // 告訴內(nèi)核我再等等 return PTR_ERR(clk); } ... }4. probe 之后的資源生命周期內(nèi)核對(duì)設(shè)備的“全生命周期管理”配對(duì)成功之后probe被調(diào)用驅(qū)動(dòng)和設(shè)備正式“綁定”。但設(shè)備模型的故事并沒(méi)有結(jié)束它最強(qiáng)大的地方在于對(duì)設(shè)備資源生命周期的統(tǒng)一管理。我見(jiàn)過(guò)不少開(kāi)發(fā)者寫的驅(qū)動(dòng)probe里kzalloc分配內(nèi)存request_irq注冊(cè)中斷ioremap映射 IO然后在remove里一步步手動(dòng)釋放。這樣做本身沒(méi)錯(cuò)但效率低而且容易泄漏。設(shè)備模型提供了一套devmmanaged device resourcesAPI讓你的資源自動(dòng)綁定到設(shè)備生命周期上。struct my_dev { void __iomem *base; int irq; }; static int my_probe(struct platform_device *pdev) { struct resource *res; struct my_dev *mdev; int irq, ret; mdev devm_kzalloc(pdev-dev, sizeof(*mdev), GFP_KERNEL); if (!mdev) return -ENOMEM; res platform_get_resource(pdev, IORESOURCE_MEM, 0); mdev-base devm_ioremap_resource(pdev-dev, res); if (IS_ERR(mdev-base)) return PTR_ERR(mdev-base); irq platform_get_irq(pdev, 0); if (irq 0) return irq; ret devm_request_irq(pdev-dev, irq, my_isr, 0, mydev, mdev); if (ret) return ret; platform_set_drvdata(pdev, mdev); return 0; }注意devm_kzalloc、devm_ioremap_resource、devm_request_irq全程看不到一次手動(dòng)釋放。這就是devm的威力——當(dāng)設(shè)備被移除remove被調(diào)用或者驅(qū)動(dòng)從總線上解綁之后內(nèi)核會(huì)按照“后注冊(cè)的資源先釋放”的順序自動(dòng)把內(nèi)存、IO 映射、中斷請(qǐng)求、時(shí)鐘、GPIO 等全部清理干凈。devm_系列 API 幾乎是所有現(xiàn)代內(nèi)核驅(qū)動(dòng)的默認(rèn)選擇。它省下來(lái)的不僅是代碼量更是一整類“誰(shuí)負(fù)責(zé)釋放、什么時(shí)候釋放”的 bug。我甚至見(jiàn)過(guò)一個(gè)驅(qū)動(dòng)因?yàn)槭謩?dòng)kfree順序?qū)懛磳?dǎo)致use-after-free崩潰的案例。用devm_之后這類問(wèn)題從根上消失了。當(dāng)然devm_不是萬(wàn)能藥。如果資源生命周期和設(shè)備生命周期不一致——比如你要保留一塊內(nèi)存供另一個(gè)驅(qū)動(dòng)使用——你就需要手動(dòng)管理不能用devm_kzalloc。所以理解devm_的本質(zhì)比記住函數(shù)名更重要devm_就是把這個(gè)資源登記到設(shè)備上讓設(shè)備替你做善后工作。設(shè)備模型的另一個(gè)重要生命周期節(jié)點(diǎn)是uevent。當(dāng)設(shè)備注冊(cè)或注銷時(shí)內(nèi)核會(huì)向用戶態(tài)發(fā)送uevent事件udev或者mdev、eudev收到事件后在用戶態(tài)完成設(shè)備節(jié)點(diǎn)的創(chuàng)建、權(quán)限設(shè)置、固件加載等動(dòng)作。內(nèi)核創(chuàng)建設(shè)備、用戶態(tài)生成節(jié)點(diǎn)這解釋了一個(gè)現(xiàn)象嵌入式板子上如果沒(méi)跑udev即使驅(qū)動(dòng) probe 成功/dev下也不會(huì)有節(jié)點(diǎn)。你需要手動(dòng)mknod或者直接在驅(qū)動(dòng)里用device_create時(shí)配合devtmpfs來(lái)自動(dòng)生成。5. kobject 與 sysfs看不見(jiàn)的底層架構(gòu)如何變成你能摸到的文件說(shuō)到/sys就得把設(shè)備模型的底層地基翻出來(lái)——kobject和kset組成的“內(nèi)核對(duì)象系統(tǒng)”。你可以把kobject理解成一塊“標(biāo)簽”任何想納入設(shè)備模型管理的對(duì)象都要內(nèi)嵌一個(gè)kobject。設(shè)備有struct device里的kobj驅(qū)動(dòng)有kobj總線也有kobj。kobject負(fù)責(zé)三件事引用計(jì)數(shù)生命周期、父子關(guān)系拓?fù)?、sysfs 入口可視化。kset則是同一類kobject的集合你可以把它理解成一個(gè)分組容器。設(shè)備模型里的bus、class、subsystem本質(zhì)上就是kset或者由kset擴(kuò)展開(kāi)來(lái)的。sysfs 是這個(gè)對(duì)象系統(tǒng)在用戶態(tài)的一面鏡子。你在終端里看到的一切都是kobject樹(shù)在內(nèi)存中的投影/sys/devices/以物理拓?fù)浞绞浇M織的所有設(shè)備這是最真實(shí)的視圖/sys/bus/按總線分組每個(gè)bus下有devices/和drivers/兩個(gè)目錄/sys/class/按功能類型分組比如net、input、gpio、leds方便應(yīng)用層掃描/sys/block/塊設(shè)備專用視圖你打開(kāi)一個(gè)設(shè)備目錄里面會(huì)有大量屬性文件。這些文件背后就是device_attribute或者driver_attribute在驅(qū)動(dòng)里對(duì)應(yīng)的show()和store()函數(shù)。在 sysfs 里cat一個(gè)文件等于內(nèi)核執(zhí)行了一次show()函數(shù)echo 1 file等于內(nèi)核調(diào)用了一次store()函數(shù)。舉個(gè)例子如果你想在 sysfs 里暴露一個(gè)可讀寫的寄存器static ssize_t reg_show(struct device *dev, struct device_attribute *attr, char *buf) { struct my_dev *mdev dev_get_drvdata(dev); u32 val readl(mdev-base REG_OFFSET); return sysfs_emit(buf, 0x%08x\n, val); } static ssize_t reg_store(struct device *dev, struct device_attribute *attr, const char *buf, size_t count) { struct my_dev *mdev dev_get_drvdata(dev); u32 val; if (kstrtou32(buf, 0, val)) return -EINVAL; writel(val, mdev-base REG_OFFSET); return count; } static DEVICE_ATTR_RO(reg_show); static DEVICE_ATTR_WO(reg_store);然后在probe里用device_create_file()注冊(cè)屬性文件或者在驅(qū)動(dòng)里用一個(gè)宏表一次性創(chuàng)建多個(gè)屬性文件。對(duì)于底層調(diào)試來(lái)說(shuō)這是最直接的“人機(jī)接口”——不用寫應(yīng)用層工具直接 shell 里讀寫寄存器非常方便。還有一個(gè)細(xì)節(jié)值得提/sys/bus/platform/drivers/xxx/下面有一個(gè)bind和一個(gè)unbind文件。你可以手動(dòng)把一個(gè)設(shè)備從驅(qū)動(dòng)上解綁或者強(qiáng)制綁定另一個(gè)驅(qū)動(dòng)。這在調(diào)試階段極其有用比如某個(gè)驅(qū)動(dòng)probe時(shí)中斷申請(qǐng)失敗你可以echo device-name /sys/bus/platform/drivers/xxx/unbind修改參數(shù)后再 bind 回去不用反復(fù)卸載加載模塊。ls /sys/bus/platform/drivers/mydev/ echo mydev.0 /sys/bus/platform/drivers/mydev/unbind echo mydev.0 /sys/bus/platform/drivers/mydev/bind這套“對(duì)象系統(tǒng) 文件系統(tǒng)”的配合讓內(nèi)核里最復(fù)雜的結(jié)構(gòu)在你面前變成了一棵可以自由瀏覽、操作的目錄樹(shù)??梢哉f(shuō) sysfs 是開(kāi)發(fā)者理解設(shè)備模型最趁手的地圖。6. 設(shè)備樹(shù)入局后驅(qū)動(dòng)模型發(fā)生了什么變化聊設(shè)備模型不可能繞開(kāi)設(shè)備樹(shù)。設(shè)備樹(shù)Device TreeDT對(duì)于驅(qū)動(dòng)模型來(lái)說(shuō)最大的變化是設(shè)備的描述從 C 語(yǔ)言代碼里挪到了 DTS 文件里。在設(shè)備樹(shù)之前內(nèi)核里每個(gè)板子都會(huì)寫一堆platform_device靜態(tài)定義來(lái)描述板載硬件代碼冗余、依賴硬編碼地址、不同板子無(wú)法復(fù)用。設(shè)備樹(shù)引入后硬件信息變成數(shù)據(jù)——compatible、reg、interrupts、clocks、gpios等屬性在 DTS 里聲明內(nèi)核啟動(dòng)時(shí)把這些節(jié)點(diǎn)解析成platform_device或者i2c_client、spi_device等具體總線設(shè)備。這就引出了驅(qū)動(dòng)開(kāi)發(fā)者要掌握的另一個(gè)匹配表——of_match_tablestatic const struct of_device_id my_of_match[] { { .compatible vendor,mydev-v2, }, { .compatible vendor,mydev-v1, }, { /* sentinel */ } }; MODULE_DEVICE_TABLE(of, my_of_match); static struct platform_driver my_driver { .probe my_probe, .remove my_remove, .driver { .name mydev, .of_match_table my_of_match, }, }; module_platform_driver(my_driver);大概在compatible這塊有三個(gè)容易出問(wèn)題的點(diǎn)一個(gè)是of_match_table結(jié)尾必須要有哨兵條目也就是{ /* sentinel */ }。很多人抄代碼漏掉這個(gè)空條目導(dǎo)致驅(qū)動(dòng)加載時(shí)越界讀取probe莫名異常甚至內(nèi)核 panic。另一個(gè)是MODULE_DEVICE_TABLE。這個(gè)宏的作用是讓modinfo能查看驅(qū)動(dòng)支持的 compatible 列表同時(shí)讓內(nèi)核在模塊熱插拔時(shí)能根據(jù)設(shè)備樹(shù)節(jié)點(diǎn)自動(dòng)加載對(duì)應(yīng)模塊。不寫這個(gè)宏如果驅(qū)動(dòng)是編譯成模塊的很容易出現(xiàn)“設(shè)備樹(shù)節(jié)點(diǎn)在驅(qū)動(dòng)也在卻沒(méi)人 probe”的現(xiàn)象——因?yàn)轵?qū)動(dòng)壓根沒(méi)被自動(dòng)加載。你手動(dòng)modprobe才有效但一重啟又不行了。還有一個(gè)是compatible的命名規(guī)范一般建議使用廠商名,設(shè)備型號(hào)的形式比如fsl,imx6ull-uart。如果你在 DTS 里寫的是全小寫字母在驅(qū)動(dòng)里寫的是帶大寫字母字符匹配失敗probe不執(zhí)行但 dmesg 里往往沒(méi)有明確報(bào)錯(cuò)。排查這類問(wèn)題要靠of_device_is_compatible()或直接在probe前打印調(diào)試信息。設(shè)備樹(shù)還引入了reg和interrupts的屬性解析方式。對(duì)于一個(gè) platform 設(shè)備platform_get_resource()會(huì)根據(jù)索引獲取內(nèi)存區(qū)域或中斷號(hào)而不需要像老式驅(qū)動(dòng)那樣從靜態(tài)定義里硬讀地址。資源分離讓同一份驅(qū)動(dòng)源碼支持多個(gè)不同基地址的設(shè)備節(jié)點(diǎn)這正是設(shè)備樹(shù)設(shè)計(jì)的初衷——驅(qū)動(dòng)程序只關(guān)心“這個(gè)我適配的設(shè)備”不關(guān)心“它具體在哪個(gè)地址”。我想特別強(qiáng)調(diào)一點(diǎn)設(shè)備樹(shù)并不是只有 ARM 在用RISC-V、x86ACPI 不可用或缺失時(shí)也會(huì)用扁平設(shè)備樹(shù)。設(shè)備樹(shù)本身就是設(shè)備模型在這類嵌入式平臺(tái)上的“描述組織方式”。理解了設(shè)備和驅(qū)動(dòng)模型再看 DTS 里那些uart1 { status okay; };的片段你就知道那其實(shí)是在修改一個(gè)device節(jié)點(diǎn)的一些屬性最終影響的是設(shè)備能否被創(chuàng)建、能否被匹配。7. 手寫一個(gè) platform 驅(qū)動(dòng)從零看完整鏈路理論說(shuō)再多不如手寫一遍。我準(zhǔn)備用一個(gè)最小的 platform 設(shè)備驅(qū)動(dòng)走通“DTS 描述 → 設(shè)備創(chuàng)建 → 總線匹配 → probe → sysfs 暴露 → 用戶態(tài)訪問(wèn)”這條完整鏈路。第一步DTS 中描述設(shè)備// arch/arm/boot/dts/myboard.dts iomuxc { mydev { compatible vendor,mydev; reg 0x02200000 0x1000; interrupts GIC_SPI 42 IRQ_TYPE_LEVEL_HIGH; }; };這段描述告訴內(nèi)核在某個(gè)總線上掛了一個(gè)設(shè)備廠商是vendor型號(hào)是mydev它的寄存器基地址在0x02200000長(zhǎng)度是0x1000中斷號(hào)是GIC_SPI 42在 ARM GIC 中斷控制器上。第二步寫驅(qū)動(dòng)骨架#include linux/module.h #include linux/platform_device.h #include linux/of.h #include linux/interrupt.h #include linux/io.h #define REG_DATA 0x00 struct mydev_data { void __iomem *base; unsigned int irq; }; static irqreturn_t mydev_isr(int irq, void *dev_id) { struct mydev_data *data dev_id; u32 status readl(data-base REG_DATA); pr_info(mydev: interrupt, status0x%08x\n, status); return IRQ_HANDLED; } static int mydev_probe(struct platform_device *pdev) { struct resource *res; struct mydev_data *data; int ret; data devm_kzalloc(pdev-dev, sizeof(*data), GFP_KERNEL); if (!data) return -ENOMEM; res platform_get_resource(pdev, IORESOURCE_MEM, 0); >insmod mydev.ko ls /sys/bus/platform/devices/ | grep mydev ls /sys/bus/platform/drivers/mydev/ cat /proc/interrupts | grep mydev如果一切正常你會(huì)看到設(shè)備枚舉成功中斷號(hào)被分配。這里我要特別推薦module_platform_driver()這個(gè)宏它本質(zhì)上是module_init(mydev_driver_init); module_exit(mydev_driver_exit);自動(dòng)幫你生成了platform_driver_register/platform_driver_unregister的包裹函數(shù)。這樣寫出來(lái)的驅(qū)動(dòng)結(jié)構(gòu)極其清晰probe做初始化remove做清理剩下的是匹配表信息。在這個(gè)基礎(chǔ)上你還可以利用DEVICE_ATTR加幾個(gè)屬性文件然后在 shell 里直接讀寫寄存器驗(yàn)證硬件。從設(shè)備模型的角度看一個(gè)驅(qū)動(dòng)做完 probe、注冊(cè)好資源、暴露 sysfs 屬性就已經(jīng)是一個(gè)“合格”的驅(qū)動(dòng)了。至于字符設(shè)備、網(wǎng)絡(luò)子系統(tǒng)、輸入子系統(tǒng)之類的業(yè)務(wù)層都是在 probe 之后往具體框架里注冊(cè)的結(jié)果。8. 調(diào)試設(shè)備模型時(shí)我踩過(guò)的坑與排查路徑最后一部分我寫點(diǎn)實(shí)戰(zhàn)里最常遇到的問(wèn)題。設(shè)備模型的好處是高度結(jié)構(gòu)化所以排查問(wèn)題的路徑也比較固定??右或?qū)動(dòng)加載了probe 卻不執(zhí)行這是最典型的“設(shè)備模型問(wèn)題”。排查時(shí)按下面的鏈路走先確認(rèn)設(shè)備確實(shí)被枚舉出來(lái)了ls /sys/bus/platform/devices/ | grep xxx。沒(méi)有設(shè)備說(shuō)明 DTS 沒(méi)生效檢查 DTS 語(yǔ)法、編譯的 dtb 是否真的加載了compatible字符串有沒(méi)有拼錯(cuò)。確認(rèn)驅(qū)動(dòng)注冊(cè)成功ls /sys/bus/platform/drivers/xxx/。沒(méi)有驅(qū)動(dòng)目錄檢查模塊是否加載成功platform_driver_register是否真的執(zhí)行。確認(rèn)匹配條件滿足cat /sys/bus/platform/devices/xxx/uevent看OF_NAME、OF_COMPATIBLE和驅(qū)動(dòng)modinfo顯示的匹配表是否一致。dmesg里搜platform或者驅(qū)動(dòng)的名字。如果設(shè)備確實(shí)嘗試過(guò)匹配但驅(qū)動(dòng)返回了-EPROBE_DEFER你不會(huì)看到錯(cuò)誤只能看到probe defer的信息??佣O(shè)備節(jié)點(diǎn)時(shí)有時(shí)無(wú)如果你沒(méi)有跑udev或者跑的是精簡(jiǎn)版mdev經(jīng)常遇到內(nèi)核明明已經(jīng)注冊(cè)了設(shè)備但/dev下沒(méi)節(jié)點(diǎn)。排查思路是看/sys/class/你的類名/下面有沒(méi)有對(duì)應(yīng)的設(shè)備目錄。有目錄但/dev沒(méi)有那是devtmpfs或udev的問(wèn)題連/sys/class下都沒(méi)有那是你的class_createdevice_create沒(méi)調(diào)用成功??尤齬elease回調(diào)沒(méi)實(shí)現(xiàn)導(dǎo)致 panic前面提過(guò)這里展開(kāi)講。如果你自己kzalloc了一個(gè)struct device然后注冊(cè)到總線最后注銷時(shí)內(nèi)核會(huì)調(diào)用device-release來(lái)釋放這塊內(nèi)存。平臺(tái)總線上的平臺(tái)設(shè)備一般由內(nèi)核框架統(tǒng)一管理但你自己device_register一個(gè)裸的device時(shí)必須初始化releasestatic void mydev_release(struct device *dev) { kfree(dev); } static int create_my_device(void) { struct device *dev kzalloc(sizeof(*dev), GFP_KERNEL); dev-release mydev_release; dev-bus platform_bus_type; dev_set_name(dev, mydev.0); return device_register(dev); }我當(dāng)初第一次寫類似代碼時(shí)忘了給release賦值device_unregister時(shí)內(nèi)核直接報(bào)BUG: unable to handle kernel NULL pointer dereference然后整個(gè)系統(tǒng) panic。這一坑在中級(jí)內(nèi)核開(kāi)發(fā)者中極其常見(jiàn)。坑四屬性文件的讀寫返回值問(wèn)題show()函數(shù)返回的值必須是你實(shí)際寫入buf的字節(jié)數(shù)不能多不能少。echo時(shí)store()返回count。如果你在store()里做了一次strncmp匹配后忘記return countshell 會(huì)一直報(bào)echo: write error。新版內(nèi)核還提供了sysfs_emit()之類的安全接口推薦優(yōu)先使用??游錺robe里用了msleep()慢啟動(dòng)設(shè)備模型的匹配和 probe 是在內(nèi)核線程里串行執(zhí)行的。如果你在probe里加了一個(gè)大延時(shí)系統(tǒng)啟動(dòng)時(shí)間會(huì)肉眼可見(jiàn)地變長(zhǎng)。排查慢啟動(dòng)時(shí)initcall_debug是個(gè)好幫手打開(kāi)后能打印每個(gè) initcall 的耗時(shí)但 platform 驅(qū)動(dòng)的 probe 發(fā)生得更早你可以用ftrace的probe事件追蹤。echo 1 /sys/kernel/debug/tracing/events/initcall/enable cat /sys/kernel/debug/tracing/trace坑六驅(qū)動(dòng)編成模塊但沒(méi)自動(dòng)加載很多板子把驅(qū)動(dòng)編成.ko放在根文件系統(tǒng)里但沒(méi)有跑depmod沒(méi)有把模塊路徑加到/etc/modules-load.d/也沒(méi)有配置modprobe的別名。設(shè)備樹(shù)里明明有兼容節(jié)點(diǎn)驅(qū)動(dòng)模塊就是不被自動(dòng)加載。如果你用的 buildroot建議在 rootfs 的/etc/modules里加模塊名或者干脆把驅(qū)動(dòng)編進(jìn)內(nèi)核——對(duì)產(chǎn)品發(fā)布來(lái)說(shuō)編進(jìn)內(nèi)核更省心更新也少。設(shè)備模型這個(gè)抽象層強(qiáng)就強(qiáng)在它把“設(shè)備發(fā)現(xiàn)”“驅(qū)動(dòng)匹配”“資源生命周期”“用戶態(tài)可視化”全部統(tǒng)一到一個(gè)框架里?;〞r(shí)間把device、device_driver、bus_type、class這四件事想透再看具體子系統(tǒng)的驅(qū)動(dòng)代碼你會(huì)發(fā)現(xiàn)所有套路基本一致總線上有設(shè)備有驅(qū)動(dòng)匹配之后probe然后注冊(cè)業(yè)務(wù)接口。這個(gè)過(guò)程熟悉之后內(nèi)核那些看似復(fù)雜的子系統(tǒng)源碼你讀起來(lái)會(huì)輕松太多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
爱媛媛久久国产福利| 久久中文字幕一区不卡| 日本天天色| 伊香蕉综合久久久久久久噜噜噜| 久久九九99| 91岛国动作片| 1204金沙人妻懂旧版免费| AV网站高清无码在线观看| 91视频综合在线| 五月香婷婷| 一二三区操逼国产91| 国内操逼视频二区| 亚洲综合五月天| 久久97| 久久ww| 亚洲国产91精品一区二区久久| 欧亚第一综合网| 男男H黄动漫啪啪无遮挡网站| 91处女视频在线观看| 亚洲一级性爱视频免费看| 91黑丝操| 日本最新1区2区3区| 欧日韩不卡视.频| 亚洲第一精品在线视频| 精品综合久久久久久五月天| 国产无套粉嫩白浆在| 伊人久大| 熟女视频久久| 超碰国产在线| 欧美色图片欧美色图| 91AV入口| 人妻精品综合中文字幕在线| av久日| 亚洲成aⅴ人片不卡无码| 午夜精品一区二区三区三上悠亚| 成人资源中文字幕在线观看| 另类亚洲一区二区三区| 中文字幕一区二区三区四区在线视频| 色青青久久影视| 国产内射爽爽大片| 日韩AV无码中文一区二区| www.99视频| 天天综合网~91综合网| 青青青艹在线视频| 亚洲小说视频| 青青久久手机线视频| www超碰| 翔田千里AⅤHD无码| 亚洲 欧美 另类 综合 偷拍| 男人把坤坤插入女人的下体| 富女玩鸭子一级毛片| 大香蕉78| 欧美一区二区三区互相| 乱伦图一区| 性做久久久久久久| 国产亚洲 中文欧美久久| 白嫩国模丰满一二三区| 成人八戒网站| 中文啪啪视频| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 外国免费性情大片| 97爱爱爱| 亚洲码专区| 色哟哟的毛片| 久久久久久裸体| JuliaAnn丝袜熟女系列| 草草网站影院白丝内射| 熟女在线视频| 毛片99-全集电影手机免费观看完整-B029AV | 久久久精品电影| 中文字幕亚洲在线一区| 久久av网| 激情欧美97| 操逼不卡中文字幕| 婷婷激情一区二区三区俺也去| 台湾佬中文娱乐网久久久久久久久久com | 3级毛片一二| 98人妻精品一区二区色欲| 偷拍自拍在线视频观看| 熟妇高潮精品一区二区三区下载| 三久久久四久久久久| 国产 无码 一区二区| 九九热免费国产视频婷婷伊人五月| 亚洲国内精品成人不卡| 亚洲精品乱码线路中文字幕| 人妻美腿丝袜制服诱惑综合天堂-| 男女香蕉一区二区| 午夜男人一级A片7777| 亚洲一本色码中文字幕| 欧美一区二区日韩三区| 久久欧洲| 国精精品无码一二三区水多多| 婷婷国产精品九区| WWW操逼| 天天摸夜夜摸| 91高清无码下载| 欧美最大综合网| 婷婷激情五月天小说网| 91美女高潮| 看一级黄色视频| 欧美日韩妖精91com| 麻豆激情综合| 久肏视频字幕| 夜夜爽妓女| 欧美亚洲另类在线蜜桃| 老司机老司机午夜影院| 国产九九九九九九九九| 久久九九综合| 伊人久久亚洲中文字幕| 久久久久久91香蕉国产| 欧美 亚洲 91| 精品中文一区二区| 欧美成97爱| a级免费在线观看| 午夜福利精品| 亚洲色五月| 欧美 日韩 婷婷 五月| 天天在线91| 亚洲情欲| 国产女人成人精品视频| 18一区二区三区| 欧美极品色| 国产精品国产亚洲区艳妇糸列| 国产第25页在线观看| 在线啊啊啊啊| 亚洲清纯综合| 欧美精品xxxwww| 人妻久久久久久久久久久久久久久| 操b网站亚洲无码| 97亚洲欧美| 国产麻豆91欧美一区二区久久婷婷国产精品 | 99www.bibizy香蕉资源国产一区二区三区高清 | 亚洲成人贴图| 天天色怡春院| 91操人| 久久精品99| 免费一级欧美片片线观看| 夜夜嗨TV| 精品国产乱码久久久久久久久1 | 91成人亚洲色图| 国产精品成人久久一区二区三区 | 9久久精品| 欧美97在线欧| 亚洲砖码砖专无区2023| 丰满少妇人妻久久久久久| 爽爽淫人网| 久久久久久久久久久久黄色| 密臀在线视频| 黄色网址在线免费观看| 久久国产三区| 日本高清一本二本免费不卡| 日本媚薬中文字幕在线| 黄片色区软件| 综合激情五月丁香| 后入式在线免费观看60秒| 小电影欧美91| 尤物黄色在线观看网站| 岛国小电影| 另类图片五月天| 国产精品嫩草久久久久| 骚乳在线| 一本久道久久综合狠狠爱一密臀精 | 性夜影院爽黄A爽免费动漫| 性欧美另类高清| 国产亲戚伦亲在线| 美女AV一区二区| 性爱视频免费网址| 99www.bibizy香蕉资源国产一区二区三区高清 | 亚洲综合在线高清| 亚洲午夜免费狠狠干| 97免费免费视频网| 精品国产人成在线| 老鸭窝成人| 欧美精品黑人猛交高潮| 精品国产丝袜一区二区三区乱码| 吻戏激情性巴克| 欧美精品三区| 欧洲亚洲国产综合在线| 国产综合色精品在线观看| 亚洲久草AV色图| 久久久久免费少妇| 人干人人人操人人摸| 东北熟女91| 亚洲图片偷拍欧美| 夜夜福利| av情色影音| 思思热免费在线视频| 91狠狠色丁香婷婷综合久久| 东京成人一区| 蜜臀久久在线视频| 亚洲色综网| 蜜乳av一区二区| 精品免费视频国产一区| 五月天亚洲网| 中文字幕免费看| 久久精品国产99国产精品亚洲| 日韩久久三区| 国产伦精品一区二区三区在线观 | 超碰色男人操熟女| 男女无套 免费网站| 自拍啪啪视频| 超碰这里有精品| 试看福利| 日本精品性生活久久久| 欧美熟妇乱码在线一区| 日韩国语字幕| 国产一区二区三区中文字幕| 日韩精品区二区三区不卡| 蜜乳AV色欲AVAV无码| 在线观看无码三级少妇| 日韩欧美视频青青| 四虎视频在线观看| 欧美性后入| 色优久久| 激情五月天综合网| 九九九九九九九精品视频| 91精品啪在线观看国产城中村| 日韩欧美成人性爱在线| 乱伦图一区| 青青操综合网| 日本一级黄色电影| 91 手机在线播放 绯色| 天天日日日射| 亚洲资源网| 久久久男人的天堂| 综合天天。| 妇女乱色二区| 精品久久97观看在线视频| 小电影欧美91| 色视频蜜乳| 亚洲一区二区三区中文字幕| 人人插人人搞人人操| 天天躁日日躁AAA片李宗瑞| 夜夜高潮夜夜爽夜夜爱爱一区| 女人香蕉久久毛毛片精品| 91亚洲网站| 免费岛国一级片| 老子午夜伦不卡影院| 一二三四视频中文字幕在线看| 中文字幕,人妻,日韩| 人人摸人人添人人操 | 美女操逼福利视频| 丝袜美腿诱惑亚洲欧美视频在线观看| 日韩欧美麻豆大片| 精品美女久久一二三| 日本高清一本二本免费不卡| 午夜爽爽爽| 国产曰批免费观看久久久| 中日韩欧美精品无码AⅤ一区二区| 中文字幕jul-617人妻熟女| 久碰视频| 先锋音影AV| 亚洲高清综合网| 亚洲无码成人精品| 九九热九九热| 亚洲大色鬼| 秋霞Av理论一级在线| 日本国产高清色www视频在线| 五月天综合网| 欧美精品久久| 国产真实子伦对白| 国产女性无套 免费观看| 欧美制服另类丝袜| 18+91网站| 天天日天天搞天天干| 99免费在线视频| 天天综合麻豆视频| 欧美探花网| 日韩午夜啪啪视频| 午夜精品人妻二区三区| 久久有码视频| 艹比视频国产精品| 中 文字幕一区二区三四 五 区日 日 骚| 情色五月天就去干| 大香网站| 97资源免费视频| 日韩视频中文字幕| 激情自拍 校园春色| 91女优在线观看| 国产av激情无码久久天堂| 91福利网在线观看| 日韩AV电影网站| 97久久超碰亚洲| 91成人久久| 婷婷五月天成人网| 干b网| 另类TS人妖一区二区三区| 婷婷五月天激情小说| 中文字幕av丝袜| 日韩免费高清大片在线| 骚乳在线| 91无码西班牙视频在线| 97人人射| 四虎在线视频| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 日韩99精品视频综合区| 久久99热这里只频精品6学生| 香蕉免费一区二区三区不读| 国产乱伦搜索结果91P| 亚洲超碰在线| 999国产精品999久久久久久| 欧美日韩免费性爱| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 欧美成人精品一区二区男人蜜臀| 97丝袜亚洲在线播放| 色原狠狠天天天| 97精品一区二区视频| 少妇二级| 啊啊啊啊操死我| 五月丁香综合啪啪| 熟人人妻少妇精品久久| www99热| 久久久久久无码人妻中文字幕| 熟女五十路一区二区三| 欧美熟女丝袜| 熟女字幕| 9精品久久久久| 亚洲国产日韩欧美熟妇在线| 香蕉精品二区二区| 综合色图,成人综合网| 97超碰超| 天天享受天天看| 欧美gv在线观看| 色噜噜人妻丝袜AV资源| 美国一区二区三区视频| 人妻第一页| 免费观看欧美日韩操逼视频| 9Ⅰ老熟女| 91丨熟女丨丰满熟女| 九九人妻| 91美女中出| 97爱爱| 欧美在线伊人色| 欧美精品一区二区少妇免费A片 | 爆操无码| 欧姜老司机| 大香蕉在线视频15| 一区二区视频在线播放| 黄骗免费网站| 久久精品视频一区三区小泽玛利亚| 日韩不卡在线一区二区| 色爱亚洲| 久久久久久免费电影| 久久婷婷五月| 乱伦a片视频| 国产又粗又长视频| 国产女人9999| 精品国产乱码久久久久A| 亚洲电影中字一区二区| 天天色综合影视网| 97免费免费视频网| 色五月婷婷在线| 久久久久久亚洲Av无码| 密臀在线视频| 九九九精品色乱九九九| 国产一区麻豆免费观看| 国产精品久久伊人| 夜夜操青青草| 操一对老熟妇爽上天视频| 国产传媒美日韩av| 香蕉久久国产AV一区二区| 国产真乱mangent| 欧美激情久| 人妻AV 中文字幕的| 韩国黄片aaaa| 日语五十路和六十路亚洲国产精品| 久久一区二区加油站| 欧美亚洲玖玖玖| 狠狠干91| 91色欧美| 久久99久久99精品天美传媒棢·纸:. | 97欧美日韩中文| 女同在线视频一区| 日韩中文字幕二区| 天天射天天操天天干天天吃2018 | 国产AV线| 亚拍在线| 色眯眯av| 人妻素股| 日本97久久| 亚洲综合贴图91| 少妇国产不卡| 国产黄a三级三级三级av在线看| 欧美黄片欧美黄片xxx| 欧美亚洲手机在线| 色97欧美| 加勒比99999| 91热色| 天天插天天操天天摸天天射天天看| 99性爱| 色婷婷丁香五月| 国产精品一区二区黄片| 人人天天干干| 国产成人自拍视频在线| 中文字幕精品区先锋资源| 九色精品视频导航1| 在线毛片片免费观看| 欧州91高潮| 夜夜操夜夜高潮夜夜爽国产精品区| 亚洲欧美setu| 欧美久久久| 九九九九免费视频| 欧美日韩精品久久久久东北老熟妇| 久热大香蕉网站| 欧美性爱一区二区三区四区 | 中文字幕黑人大片| 天天综合网一91网| 久久人妻四季| 蜜臀亚洲中文| 色www精品视频在线观看| 九九九久久久久| 干B| 四虎884a| 少妇熟女视频一区二区三区| 久久丝袜| 国产日韩精品suv| 日韩av不卡在线看| 亚洲综合中文字幕有码| 91在线页| 麻豆精品天美| 欧美亚洲丝袜人妻制服中文99| www.91视频网| 亚洲无无码αⅴ每日更新| 澳门黄片一香蕉视频| 亚洲色婷婷久久91| 国产小视频91| 欧美嗯啊……在线观看视频免费| 欧美日韩大陆黑人少妇99| 99re在线观看| 国产精品一区二区麻豆| 午夜亚洲| 色色香蕉| 五月综合婷婷久久网站| 亚州伊人色综台| 成人综合网 欧美| 亚洲性感丝袜诱惑在线观看| 国内伊人久久久久久网站视频| 国产粉嫩蜜臀av一区二区三区| 国产精品视频麻豆入口| 色墦五月丁香| 天天综合网1| 亚洲毛片久久| 性爱视频无打码在线观看| 欧美熟女操屄| 91色综合激情| 丝袜AV一区二区三区| 性暴力欧美猛交在线直播| 日韩国产不卡在线视频| 97亚洲一区| 亚洲国产精品久久久久婷婷老年 | 丝袜剧情| 麻豆AV一区二区| 精品久久久一本一道| 放黄片放3级黄片没穿衣服| 亚洲1区2区三区高清中文字幕| 五月天综合| 日本超碰色精品| 草草草视频在线免费看| 中文字幕在线观看丝袜| 国产精品一区二区在钱播放| 丝袜美腿丝袜| 天天日天天干天天整| 2001天天操| 96麻豆精品一区二区三区| 自拍偷拍 高清无码| 日韩精品人妻系列无码天堂| 欧美综合自拍亚洲综合图| henhen91| 五月丁香激情啪啪| 亚洲熟妇AV日韩熟妇在线| 眼镜人妻101.com| 在线观看AV不卡| 91欧美情色| 一区二区三区亚洲| 日韩av熟女一区二区三区成人| 强乱老妇中文字幕| 无套内射性感少妇视频| 亚洲加勒比色图| 欧美成人四级在线播放| 欧美 熟女 日韩| 一区不卡在线观看av| 国产精品乱码久久久久久久久久久久| 中国和日本人色哪个不下载能放| 日韩一级片在线看| 久久久久久久综合,国产| 欧美日韩激情无码专区| 久久久9品一区二区三区| 78精品| 99精品无码| 漂亮人妻被强中文字幕hd| 乱伦图一区| 欧美大色交| 思思热影视| 91性生活久久久| 亚洲啪啪综合?v一区综合精品区| 精品.99999| 狠狠操,使劲操| 久久亚洲不卡一区二区三区| 人人操人人操人人操人人操人人操人人人11.CM | 91日韩网站| 久久婷婷视频| 亚洲影视高清三级-草1024榴社区入口-品爱AV| AV电影在线播放| 欧美色另类| 深夜操逼网| 日韩欧美性爱电影在线观看| 黄色不卡视频| av天堂5| 中文久久久| 成人日韩中文字幕| 日韩一级成人毛片免费观看 | 99这里有精品| 日韩簧片免费看| 久草久日| 蜜桃成人1区2区3区| 欧美不卡在线一区二区| 东北操逼| 日韩女优在线| 夜夜影视四色| 啊啊啊啊免费视频| 美腿丝袜偷拍亚洲欧美| 在线观看精品国产免费| 国产9区| 久久爱超碰网| 天天舔天天 | 伦在线97| 色色99| 色色网91| 九九亚洲| 精品999日本| 深爱五月婷婷| 国内精品a| 日韩人妻丝袜美腿中文| 天美麻豆精品视频99| 操国产高清| 91欧美巨乳| 无码一区二区三区四区五区六区七区八区九区十区视频 | 超碰美女97| 男人把坤坤插入女人的下体| 夜夜嗨一区二区| 377p欧洲日本亚洲大胆| 国产强奸乱伦第1页| 综合网亚洲1| 探花一区在线| 日本欧美一区二区三区免费| 日韩欧美女求操每天更新| 99re在线观看| 久久最新免费视频23| 中文字幕av亚洲在线| 99热在线播放| 日本高清视频在线观看黄已三辽| 超碰人妻中文在线| 青娱乐亚洲热| 91综合在线| 最新中文字幕在线亚洲| 在线欧美69V免费观看视频| 2017大香蕉| 美女性91| 蜜臀在线看片| 精品小视频在线| 久久久久亚洲Aⅴ无码| 美国精品国产精品| 在线观看不卡一区二区三区| 羞涩视频| 欧美一级在线观看成人| 午夜精品久久久久久久久久久久久 | 亚洲激情网一二三四区| 深田咏美亚洲精品福利社 | 日本一片一区| 91色图片| 大吊色| 好看的91视频| 色综合美国| 99热这里只有精品99| 色婷亚洲五月在线观看| 操一区| 欧美久热| 蜜臀久久99精品久久久老,,| 99色悠悠| 玖玖爱综合| 啊啊好多水| 日本五十路在线| 国产情色第一第二页在线观看| 天美传媒AV国产在线| 欧美影音在线| 久久后入制服| 91色香| 中国AAAAAA黄色片| 乱伦a片视频| 日韩午夜精品一区二区三区电影| 一区二区三区黄片免费观看| 黄色性爱网网| 日韩啪啪啪啪啪| 亚洲中文字幕妇伦久久| 另类av天堂| 色偷偷超碰亚洲| 日日摸日日弄日日拍| 97精品一区二区三区免费| 啊啊啊啊操死我| 人妻少妇久久中文字幕一区二区 麻豆 | 精品美女少妇一区二区三区| 中文在线视频| 2020中文字幕在线观看| 久久 国产 无码| 91福利网在线观看| 国产三级中文有码在线视频| 大香网伊人久久综合| 欧美成人9797| 蜜臀AV成人精品蜜臀| 91无摭挡| 97爱爱| av网页一区二区三区| 国产原创剧情在线丝袜| 国产有码一区| 精品久久久一本一道| 清纯唯美综合| jk白丝没脱就开始啪啪| 美女被艹尤物视频| 夜夜操夜夜爽夜夜高潮| 肉丝中文无码高清| 超碰97人妻免费在线| 美女一区二区国产精品| 亚洲综合中文字幕有码| 欧洲中文字幕| 天天操福利视频综合网站| 91P0RNY大屁股人妻| 国产无码一二三区| 亚洲精品一二三四区| 国产精品大屁股999| 国产粉嫩蜜臀av一区二区三区| 思思热影视| 色99色| 久操九九九九| 久操免费电影| a v网站在线播放| 日韩美女久久一区二区三区| 国产91丝袜 在线播放| 中文字幕奈奈美被公侵犯| 超碰97起碰| 99精品综合久久久久五月天| 狠狠爱综合网| 色婷婷成人| 青青草日逼视频| 熟妇女伦乱视频| 日韩一级免费性爱| 91人妻视频| 美女黄页网站| 午夜福利成人免费视频| 97超碰超欧美。| 久久国产成人精品国产成人亚洲| 91色婷婷综合久久中文字幕二区| 久久成人午夜狠狠| 国产网红精品| 久久啊啊啊视频| 国内精品久久人妻性色av| 麻豆精品久久久久久久| 男人的天堂免费| 91久热| 97超碰精品图片| 日本性爱少妇| 福利天天都操| 色婷网| 久久视频,这里只有精品 | 日韩中文字幕熟妇人妻| 人人操,人人液| 啊啊啊好爽快点啊啊啊嗯嗯| 国产女人91精品嗷嗷嗷嗷| 一区在线精品中文字幕| 国产日韩怡红院| 狠狠综合网| 噜噜噜噜天天狠狠| 91粉嫩萝控精品福利网站_精品影音先锋国 | 思思热一热婷婷热一热| 精品九九九九| 91色黑人少妇| 波多野结衣一级视频| 天天看高清麻豆| 久久大黄片| 91久久久视| 思思热免费在线视频| 91美女看B| 男男H黄动漫啪啪无遮挡网站| 日韩精品电影| 久久久久久久九九九九九九| 国产后入精品| 日韩内| 麻豆精品久久久久久久| 日本一区二区亚洲综合| 久久綜合很很很| 国产偷拍自拍在线视频| 老熟女阿 国产91| 九九色婷婷| 97在线视频免费观看| 精品十三区| 亚洲熟女中文字幕在线| 97干在线| 日日噜噜夜夜久久亚洲一区二区| 1024日韩| 浓厚中出中文字幕在线| 欧美亚洲高清晰| 偷拍 精品另类 凸凹了四区| 成人小说视频在线精品欧美| 人人摸人人舔一区二区| 国产精品交换一区二区| 国内偷自视频区视频综合| 97网址97| 亚洲人精| 在线观看日韩av不卡| 91老熟女| 亚洲人精品午夜不卡| 欧美少妇熟女| 操逼操逼逼操操逼91| 国产精品白丝| 97草草| 欧美日本久久精品一区 | 97亚洲资源| 黄片www.| 日韩精品色呦呦| 丁香九月婷婷| 夫妻AV网站| 蜜臀少妇一区二区| 久操热线| 久草视频在线视频在线视频在线观看| 91在线综合网| 国产成人精品日本亚洲语言| 伊人网免费视频| 野狼福利社区| 亚洲人精品久久久| 神马久久69| 亚洲色图a| 吻戏激情性巴克| 日本高清有码网址视频| 高清国产精品无码| 91亚洲综合| 欧美综色欧| 亚州大图综合色图| 国产熟妇一区二区| 亚洲国产一级精品毛一级精品看免费视频 | 成年女人18级毛片毛片免费观看| 99老司机精品视频在线观看 | 久久国产在线一区二区| 色情亚洲日本成人| 亚洲不卡不卡中文字幕不卡| 91精品国产高清久久久久久,亚洲成人 | 射欧美综合| 色哟哟-国产专区| 碰碰在线视频| 狠狠狠狠狠| 九月婷婷综合| 色色色欧美| 97最新在线播放视频| 乱伦av麻豆| 亚洲āv网址在线观看| 99少妇内射| 亚洲丝袜在线观看| 中文字幕激情小说| 99re28在线观看| 九久久九九久视频| 福利大香蕉| 老女人91| 日韩青久久| 亚洲欧洲日韩中文字幕一区| 欧美色老汉| 91国产丝袜白虎| 欧美中日韩XXXX| 九九草| 国产色产精品在线观看| 密臀在线一区尤物| 视频不卡中文字幕| 一区在线精品中文字幕| 精品无码一区二区三区| 免费一级性爱久久| 午夜福利精品| 91黑人无码激情在线| 18啪啪手机免费性爱| 欧美激情另类一区二区| 国产精品激情久久久久久久| 操比国产| 在线看免费无码AV天堂的| 欧美老妇曰批的视频| 黄色av片三级三级三级免费看| 欧美一区二区一级岛国大片| 97精品熟女少妇一区| 日本精品高清一二区一本到| 九九人人操| 一区久久久二区| 欧美久久人妻少妇一区二区| 国产日韩中文字幕欧美| 国产精品播放| 男女激烈网站最新| 日韩乱插| 91在线综合网| 亚洲熟女偷拍在线观看| 色哟哟精品1精品2| 97欧美精品| 青青操网| 亚洲高清无码免费观看视频| 啊啊啊啊啊啊在线看| 日本久操视频| 久久综合久色欧美综合狠狠| 99精品九九九九九九| 色综合一本| 免费国产电影一区二区| 日韩精品一区的| 艾草av| 加勒比无码毛片| 被窝影院午夜看片无码| 欧美成人性爱视频大全| 成年男人的天堂| 五月天人妻综合| 精品久久无码午夜福利| 国产成人+综合亚洲+天堂| 97欧美精品综合| 色噜噜人妻av中文字幕| 啊啊啊想要| 91伊人久| 伊人五月天| 97 亚洲 日韩 欧美 在线| 日日骚 av| 亚洲97在线| 韩国一级做A片免费的| 日韩激情视频| 男人在线天堂| 五月香婷婷| 精品国产一区二区三区久久久蜜臀 | 伊人久久青青草| …中文字幕亚洲乱,97人妻无码费视… | 色99视频| 日韩av情韩国爱禁区av一区二区| 啊啊啊啊啊舒服| 美女操逼A A| 久久久五月天| 精品人妻一区二区乱码一区二区| 亚洲九九九| 91九九| 日韩色图 一区二区| 看免费的黄片| 久久精品亚洲婷婷| 国产97色在线| 99精品在线播放| 9久9久| 欧美性爱1080p| 欧美日韩精品久久| 国产又粗又长又大的视频| 人、人、摸,人、人、草| 97丝袜亚洲在线播放| 亚洲成人在线高清| 欧美老妇综合网| 亚洲春色一区二区三区| 日本不卡高清免v欧美日韩在线观看| 99少妇内射| 青青操综合网| 九热大香蕉| 亚洲熟女乱色一区二区三区| 国产a级精品| 国产极品粉嫩馒头一线天av| 一级啊性爱在线视频| 天天影视网色欲色香| 亚洲国产精品无码AV在线| 亚av顶级裸体一区二区三区四区五区 | 欧美丰满少妇交换91欧美精品| 亚洲97久久精品亚洲| 9久精品视频在线观看| 国产狂喷潮在线精品| 麻豆精品A片免费观看| 91东京热男人的天堂| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 日韩内射视频| 女性喷水高潮在线观看| 天美传媒一二三区永久网站| 日韩97P| 岛国AV一区二区电影| 亚洲国产欧美一区二区潘金莲| 久久久久久久久久久久黄色 | 日本999精品| 高清成年美女黄网站免费大全| 亚洲日韩乱码中文无码蜜桃臀网站| 国产高清免费不卡av| 96AV久久久| 欧美系列在线一区二区| 在线视频资源| 日韩亚洲美州欧洲综三区一品在线| 黄色无码高清黄色无码网站| 五月天色图| 久久成人国产| 亚洲色阁| 超碰无码五月97| 五月开心网| 波多野42部无码喷潮在线观看| 蜜桃狠狠色伊人亚洲综合| 日韩国语字幕| 国产精品国产自产高清AV | 亚洲一卡2卡3卡4卡乱码网站 | 日本幼女18+| 国产不卡精品91| 曰本人妻人人澡人人夹| 日本天天干天天日一区| 天天弄天天操| 欧美精品久久久久久久丰满| 物业黑人 AV一区| 午夜国产成人福利视频| 欧洲久久一二线| 亚洲另类久操网| 欧美传媒| 草伊人高潮喷水超碰| 在线观看国产黄色| 男人的天堂久久久| 韩日精品福利视频一区不卡在线免| 99九九久久| 人妻丰满熟妇一区二区三| 国产精品农村妇女精品| 欧美午夜色妇色鬼| 亚洲激情AV| 国产欧美精选激情视频| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 欧美综合色综合| 夜夜夜久久| 久久精品国产亚洲妲己影视| 亚洲干B| 天天综合香 ld视频| 一区二区偷拍拍视频| 国产一级不卡在线观看| 97天天摸天天爽| 色综合1991| 亚洲区限制级| 99999久久久久9国产精品| 天天色综合天天操| 99老司机精品视频在线观看| 欧美色图91| 超碰97日韩| 欧美骚少妇| 欧美日韩另类字幕中文| 91伊人影视综合| 婷婷五月天基地| 激情干在线| 911av网站免费观看| 中文字幕一区二区无码成人| 防屏蔽在线视频| 亚洲精品国产精品乱码不卡| 欧美碰碰综合色| 六月丁香久久| 综合色一区三区二区| 二级久久网| 久久久91福利姬| 久九九九九九九热| 久久精品国产亚洲AV高级北京| 日韩av乱伦| 麻豆人妻偷人精品无码视频| 九九九久千久久激情蜜桃在线看 | 国产AV人人夜夜澡人人爽麻豆| 男人的天堂2018.| 98一区二区精品| 激情六月天| 睡产熟女乱伦| 8050午夜少妇无码| 亚欧毛片基地国产毛片基地| 欧洲性爱无码区| 被窝影院午夜看片无码| 午夜福利国产欧美日韩夜夜| 亚洲春色一区二区三区| 综合久久久久久久久91| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 精品久| 天天综合97| 欧美日韩插逼视频| 久久久久久69国产一区二区| 国产乱伦亚洲| 久艾草在线精品视频在线观看| 蜜屁av| 亚洲动态色图| 国产无码精品久久久久久| 黄色免费一级在线毛片| ji熟女.com| 日本国产高清色www视频在线| 青娱乐福利99| 黄色免费网| 国产成人无码啪| 图片区小说区| 欧美精品自慰系列寂寞少妇| 五月天婷婷基地| 久久9亚洲| 成人十八禁日韩欧美一二三| 伊人在线大香蕉视频久久| 亚洲性感丝袜诱惑在线观看| 亚洲女人毛茸茸91| 欧美第五页| 97色网| 色欲久久久久综合网| 久久社区一区二区三区| 人人妻人人狠人人| 欧美视频在线第3页| 日本A级视频| 97视频免费在线| 97天堂| 蜜乳Av成人片网站| 免费一级视频特黄色大片| 久久久啊啊| 91亚洲影院综合| 久久是精品| 国产精品白领在线观看 | 国产AV久久野战精品| 国产激情久久久| 色诱avtt| 天天干人人乐| 99国产在线 精品 视频| 激情综合五月| 粉嫩AV输入| 99久草| 十八岁啪啪视频免费看| 日本超碰在线国产一区| 欧美亚洲se91| 亚洲欧美999| 日本Xx性爱| 久久手机视直播| 五月天AV资源| 欧美黄色大片在线观看 | 亚洲欧洲无码97久久精品| 久久有码视频| 天天摸夜夜添无码小视频| 人妻丝袜无 码视频专区| 亚洲大胆人体av| 日韩欧无码一区二区三区免费不卡| 色久桃花影院在线观看| 日本青青草在线| 国产一线二线三线av| 欧美亚洲素人制服精品| 99精品久久| 欧美综合亚洲| 亚洲欧美精品国产一区二区| 涩涩五月天| 欧美在线干| www.99中文字幕| 国产视频一区二区三区久久亚洲天堂 | 日本免费二区三区| A级毛片在线看免费| 五月婷婷丁香六月| 欧美手机在线综合| 国产高清26uuu| 亚洲图片欧美制度| 人妻少妇精品| 国产在线观看91精品一区| 色97| 97精品一区| 黑人狂躁日本妞一区二区三区| 久久超碰爱| 国语精品对白| 久久老子无码午夜伦不卡| 亚洲图片在线| 午夜操逼不卡| 国产久久一区二区三区野外在线| 日韩成人性日韩成人性爱视频在线免费观看| 另类 日韩 熟女| 中出后入| 岛国艾薇凹凸视频天堂| 欧美日韩美女精品久草一区二区三区| 韩国三级色呦呦| 黑操B| 91美女在线观看| 天天摸,夜夜摸| 少妇天堂| 婷婷日韩一区二区三区中文字幕在线| 神马麻豆福利院| 日韩乱伦视频| 啊啊啊慢点| 天天看综合网| 麻豆a'v电影| 日韩人妻一区二区精品| 久久夜精品一区二区三区| 精品午夜福利国产一区二区在线观看 | 欧洲人妻视频| 欧美性猛交美女自慰91| 精品人妻视频入口| 色欧美天天| 日本乱人伦片中文三区| 久久內射| 日本色色色视频| 后入式五六区| 天天操天天插| 无遮挡一级毛片视频免费的| 和协影院中文字幕三区| 家庭乱伦网站国产| 91蜜臀人妻中文字幕在线| 六月激情网| 97色网| 9久精品视频在线观看| 国产一区在线免费播放| 精品人妻久久久| 中文字幕黑人大片| 午夜一区| 狠狠搞 亚洲91| 午夜寂寞欧美| 麻豆精品三区视频| 色婷视频| 欧美日韩在线视频网站| 97天天弄| 日本狂喷奶水在线播放212| AV色五月| 人妻久热在线| 亚洲中文日韩欧美大香蕉视频| 黑丝制服中文字幕| 久久久激情| 欧美不卡在线一区二区| 伊人丝袜美腿高跟在线观看高清 | 欧美人妻一区| 国产熟女无套内射| m欧洲一级午老| 综合欧美激情网| 天天92av| 日本加靬比网站发布页| 粉嫩绯色AV一区二区在线| 日本综合色图| 91麻豆天美传媒HD| 91|九色|国产熟女| 肏逼视频日本| 中文字幕av一区二区三区人妻少妇| 天天综合~91入口| 日熟女| 久操国产在线| 亚洲第91页| 96精品在线| 精品毛片久久久精品毛片| 欧美组图日韩亚洲中文字幕| 亚洲天堂电影网| 91老司机在线视频免费观看| 久久精品中文字幕无码l| 中文字幕一二三av| av婷婷色网| 91操碰| 亚洲 无码 偷拍| 欧美碰碰综合色| 亚洲天天精品| 色九九九九| 亚洲精品久久久久久久久豆丁网| 1769精品一区二区三区| 高潮毛片无遮挡高清免费| 91啪啪| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | a片亚洲一本通视频| 久久久噜噜噜久久久| 无码伊人久久大杳蕉中文无码| 最新av网站在线观看| 白丝AV| 欧美天天综合网版| 美美91成人国产精品欧美精品久久久久久久 | 大香蕉欧美国产日韩高潮| 少妇69中文| 九九玖玖精品| 嗯嗯啊操我| 激情五月综合网| 欧美日韩黄片精品在线| 天天看天天日天天操| 91色插| 综合亚洲欧美| 亚洲天天自拍| 蜜区区视频79 | 在线小视频| 欧美激情色婷婷花野真衣一区二区| 超碰精品| 亚洲色香| 97操在线|