亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制 先把話說在前面如果你只是裸機(jī)單任務(wù)跑 picolibc這文章你看了會(huì)打瞌睡但只要你把程序搬到 RTOS 上兩個(gè)任務(wù)同時(shí)開始 printf 和 malloc你很快就能體會(huì)到 locking support 到底在解決什么。picolibc 的 locking support說人話就是給 C 標(biāo)準(zhǔn)庫內(nèi)部的共享資源堆、標(biāo)準(zhǔn) I/O、errno 等補(bǔ)上“多線程安全”的鎖機(jī)制。它解決的是嵌入式領(lǐng)域里最隱蔽也最致命的一類 bug不崩潰、不亂碼、但時(shí)不時(shí)出現(xiàn)內(nèi)存被踩、任務(wù)卡死、錯(cuò)誤碼莫名變化。這篇文章適合正在用 picolibc FreeRTOS、RT-Thread、Zephyr 或者自研 RTOS 的開發(fā)者尤其是從裸機(jī)剛轉(zhuǎn)過來、還沒意識到 libc 線程安全是個(gè)問題的朋友。我要講的不是“怎么開一個(gè)配置宏”這么簡單而是把 picolibc 鎖支持的前因后果、底層函數(shù)設(shè)計(jì)、移植實(shí)現(xiàn)以及我踩過的大大小小的坑一次性講透。1. 為什么嵌入式 C 庫需要鎖支持1.1 裸機(jī)時(shí)代的“單線程假設(shè)”C 標(biāo)準(zhǔn)庫誕生的時(shí)候根本沒人考慮多線程。標(biāo)準(zhǔn)庫內(nèi)部大量使用全局狀態(tài)strtok 用靜態(tài)指針保存剩余字符串rand 用全局種子errno 是全局變量malloc 的堆管理結(jié)構(gòu)也是全局鏈表。這些設(shè)計(jì)在單任務(wù)裸機(jī)下沒有任何問題因?yàn)槟阒挥幸粋€(gè)執(zhí)行流所有資源天然“同步”??梢坏┥狭?RTOS多個(gè)任務(wù)分時(shí)復(fù)用 CPU這幾個(gè)全局狀態(tài)就成了最危險(xiǎn)的共享資源。很多剛接觸 RTOS 的開發(fā)者會(huì)有一種錯(cuò)覺只要我不在中斷里調(diào)用 printf多個(gè)任務(wù)各調(diào)各的 printf 就沒事。真不是這樣。picolibc 的 stdio 內(nèi)部有緩沖區(qū)兩個(gè)任務(wù)同時(shí)寫 stdout 時(shí)先寫一半再被調(diào)度走另一個(gè)任務(wù)接著寫最終輸出就是亂碼。更嚴(yán)重的是 malloc堆管理鏈表被兩個(gè)任務(wù)同時(shí)操作輕則內(nèi)存分配異常重則堆結(jié)構(gòu)被破壞直接硬件異常。picolibc 作為面向嵌入式場景的 libc 替代品設(shè)計(jì)上保留了 C 標(biāo)準(zhǔn)庫的可移植性同時(shí)也保留了標(biāo)準(zhǔn)庫的“單線程假設(shè)”。所以它才需要 locking support 來彌補(bǔ)這個(gè)缺陷。鎖支持并不是 picolibc 獨(dú)有的概念newlib、musl、glibc 都有類似機(jī)制只是嵌入式場景里資源受限實(shí)現(xiàn)方式更加精簡。1.2 多線程下的三個(gè)典型事故現(xiàn)場我自己踩過一次特別經(jīng)典的坑。有一個(gè)跑在 STM32F4 上的 FreeRTOS 項(xiàng)目四個(gè)任務(wù)分別采集傳感器、刷 OLED、處理串口命令、上報(bào)日志。一開始裸機(jī)單任務(wù)跑得好好的上了 FreeRTOS 之后每隔幾分鐘 OLED 顯示就花一次串口日志偶爾出現(xiàn)一行被截?cái)嗟膩y碼。當(dāng)時(shí)第一反應(yīng)是驅(qū)動(dòng)問題調(diào)了 SPI 時(shí)序加了 DMA 超時(shí)重試折騰了兩天最后才發(fā)現(xiàn)根因是 printf 在多個(gè)任務(wù)間競爭 stdout 緩沖區(qū)。第二個(gè)事故現(xiàn)場是 malloc。系統(tǒng)跑了幾小時(shí)后隨機(jī)會(huì)進(jìn)入 HardFault看調(diào)用棧發(fā)現(xiàn)是 free 函數(shù)里面崩了。追查發(fā)現(xiàn)兩個(gè)任務(wù)都在做動(dòng)態(tài)內(nèi)存申請釋放其中一個(gè)任務(wù)在 free 的瞬間被高優(yōu)先級任務(wù)搶占新任務(wù)也調(diào)了 free堆鏈表就被改壞了。這類錯(cuò)誤在嵌入式里特別難查因?yàn)樗驼{(diào)度時(shí)序強(qiáng)相關(guān)不是每次都能復(fù)現(xiàn)等抓到現(xiàn)場往往已經(jīng)晚了。第三個(gè)是 errno 污染。我在一個(gè)文件系統(tǒng)相關(guān)任務(wù)里調(diào)用底層接口失敗后打印 errno結(jié)果打出來的錯(cuò)誤碼是另一個(gè)任務(wù)的。原因很簡單兩個(gè)任務(wù)共享同一個(gè) errno 全局變量后寫的人把先寫的人的值覆蓋了。排查這種問題極費(fèi)時(shí)間因?yàn)殄e(cuò)誤碼本身沒有規(guī)律只有加鎖或者改成 TLS 才能根治。1.3 picolibc 的兩種線程模型picolibc 處理線程安全和我之前用過的 newlib 不太一樣它支持兩套模型。老模型是struct _reent每個(gè)線程維護(hù)一份獨(dú)立的 errno、緩沖區(qū)狀態(tài)通過線程局部數(shù)據(jù)指針找到自己的 reent 結(jié)構(gòu)新模型則是直接使用 TLS線程局部存儲(chǔ)編譯器會(huì)為每個(gè)線程分配獨(dú)立的 errno 副本不存在共享問題。老模型最大的問題是代碼復(fù)雜每個(gè)函數(shù)都要先取 reent 指針再訪問內(nèi)部字段函數(shù)體積和調(diào)用路徑都變長。TLS 模型則簡潔得多尤其是在 ARM Cortex-M 這類硬件上picolibc 對 TLS 做了專門的編譯期支持加載 TLS 基址的指令開銷很小。理解了這一點(diǎn)你就能明白鎖支持的邊界errno 這類“每個(gè)線程各有一份”的東西TLS 能解決但 malloc 的堆、printf 的 stdout 緩沖區(qū)這類“物理上只有一份”的資源TLS 解決不了必須靠鎖。這也解釋了為什么很多嵌入式工程師以為開了編譯器 TLS 選項(xiàng)就萬事大吉結(jié)果 malloc 還是崩——因?yàn)閮蓚€(gè)問題的本質(zhì)不一樣。2. picolibc 鎖支持的底層設(shè)計(jì)拆解2.1 鎖函數(shù)家族__lock_init 到 __lock_releasepicolibc 的鎖支持其實(shí)是一組很精簡的函數(shù)接口定義在sys/lock.h里。我在實(shí)際使用中把這組函數(shù)分成三類生命周期管理、普通鎖操作、遞歸鎖操作。生命周期管理包括__lock_init和__lock_close前者在 libc 內(nèi)部初始化某個(gè)全局資源時(shí)被調(diào)用后者在資源銷毀時(shí)調(diào)用。普通鎖操作是__lock_acquire和__lock_release分別對應(yīng)“上鎖”和“解鎖”。遞歸鎖操作則是__lock_acquire_recursive和__lock_release_recursive對應(yīng)支持遞歸持有的鎖。為什么會(huì)需要遞歸鎖考慮 malloc 的實(shí)現(xiàn)堆分配器在拿到鎖之后如果分配失敗可能觸發(fā)系統(tǒng)調(diào)用系統(tǒng)調(diào)用內(nèi)部為了記賬又要訪問同一個(gè)堆控制塊這就是典型的“同一線程重復(fù)獲取同一把鎖”的場景。如果鎖不支持遞歸第二次獲取就會(huì)死鎖。還有一個(gè)__lock_try_acquire非阻塞嘗試獲取鎖用于一些不想被阻塞的路徑。嵌入式環(huán)境里這個(gè)函數(shù)使用率不高但移植時(shí)最好一并實(shí)現(xiàn)因?yàn)?picolibc 內(nèi)部某些代碼路徑會(huì)在條件編譯下引用它。函數(shù)原型作用注意事項(xiàng)void __lock_init(_LOCK_T *lock)初始化鎖在 libc 內(nèi)部資源首次使用時(shí)調(diào)用void __lock_close(_LOCK_T *lock)銷毀鎖釋放底層互斥量句柄void __lock_acquire(_LOCK_T *lock)獲取鎖阻塞式等不到就一直等void __lock_release(_LOCK_T *lock)釋放鎖必須與 acquire 成對int __lock_try_acquire(_LOCK_T *lock)嘗試獲取鎖返回 0 表示成功void __lock_acquire_recursive(_LOCK_T *lock)遞歸獲取鎖同一線程可重復(fù)獲取void __lock_release_recursive(_LOCK_T *lock)遞歸釋放鎖需要配對 count2.2 弱符號機(jī)制你的覆蓋點(diǎn)在哪里我最開始接觸 picolibc 鎖支持時(shí)有個(gè)困惑這些函數(shù)到底是誰實(shí)現(xiàn)的后來看鏈接 map 文件才搞明白picolibc 在構(gòu)建時(shí)把這些鎖函數(shù)默認(rèn)編譯成了弱符號weak symbol。也就是說如果你在工程里沒有定義自己的__lock_acquire鏈接器就會(huì)使用 picolibc 自帶的弱引用空實(shí)現(xiàn)直接返回不上鎖。一旦你在某個(gè) C 文件里定義了同名的強(qiáng)符號鏈接器的符號解析規(guī)則會(huì)優(yōu)先選擇強(qiáng)符號你的實(shí)現(xiàn)就會(huì)“無縫接管”libc 內(nèi)部的鎖調(diào)用。這個(gè)設(shè)計(jì)非常巧妙。它意味著你不需要重新編譯 picolibc不需要修改庫源碼只要在應(yīng)用層提供一個(gè)適配文件就能把鎖的底層實(shí)現(xiàn)完全替換成目標(biāo) RTOS 的互斥量。對于裸機(jī)工程弱符號默認(rèn)空實(shí)現(xiàn)也不會(huì)帶來任何代碼膨脹零開銷。但這里有個(gè)坑弱符號的優(yōu)先級只比“未定義”高。如果你在多個(gè)源文件里都定義了強(qiáng)符號__lock_acquire鏈接器直接報(bào)多重定義錯(cuò)誤。另外picolibc 版本升級后鎖函數(shù)簽名如果有變動(dòng)你的移植層代碼沒有跟著改鏈接時(shí)不會(huì)報(bào)錯(cuò)但運(yùn)行時(shí)會(huì)因?yàn)榻Y(jié)構(gòu)體大小不匹配產(chǎn)生內(nèi)存越界。我建議在移植文件里加上編譯期_Static_assert至少把結(jié)構(gòu)體大小校驗(yàn)住。2.3 構(gòu)建開關(guān)newlib-multithread 與相關(guān)選項(xiàng)雖然弱符號機(jī)制讓你可以在應(yīng)用層覆蓋鎖實(shí)現(xiàn)但前提是 picolibc 庫本身編譯時(shí)啟用了鎖相關(guān)代碼路徑。picolibc 使用 meson 作為構(gòu)建系統(tǒng)其中有一個(gè)關(guān)鍵配置項(xiàng)叫newlib-multithread。這個(gè)選項(xiàng)默認(rèn)關(guān)閉關(guān)閉狀態(tài)下picolibc 內(nèi)部的 malloc、stdio 代碼根本不會(huì)調(diào)用__lock_acquire你在應(yīng)用層實(shí)現(xiàn)了鎖函數(shù)也無濟(jì)于事。啟用方式是在 picolibc 源碼目錄下執(zhí)行 meson 配置時(shí)傳參meson setup build --cross-file cross-arm-none-eabi.txt -Dnewlib-multithreadtrue ninja -C buildcross-arm-none-eabi.txt是你自己的交叉編譯工具鏈描述文件名字按實(shí)際工程來。啟用后構(gòu)建系統(tǒng)會(huì)定義_HAVE_LOCK宏libc 內(nèi)部的多線程安全代碼路徑才會(huì)被編譯進(jìn)去。和鎖支持經(jīng)常一起提的還有兩個(gè)選項(xiàng)newlib-tls和newlib-global-errno。newlib-tls控制是否使用線程局部存儲(chǔ)模型建議開啟newlib-global-errno控制是否把所有線程的 errno 合并成一個(gè)全局變量這個(gè)強(qiáng)烈建議關(guān)閉否則 errno 又會(huì)退化成共享資源失去 TLS 的意義。我見過有人圖省事把 global-errno 打開結(jié)果兩個(gè)任務(wù)跑著跑著錯(cuò)誤碼互相污染排查半天。3. 實(shí)操在 FreeRTOS 上為 picolibc 實(shí)現(xiàn) locking support3.1 前置確認(rèn)你的 picolibc 是否啟用了鎖工程實(shí)踐里第一步不是寫代碼而是確認(rèn)你的 picolibc 是不是已經(jīng)編譯成帶鎖的版本。最笨也最可靠的方法是看編譯生成的 map 文件。搜索__lock_acquire如果出現(xiàn)的是 picolibc 庫內(nèi)部的弱符號說明鎖支持已經(jīng)啟用如果整個(gè)符號都沒出現(xiàn)說明newlib-multithread沒開或者庫內(nèi)部代碼路徑?jīng)]有引用鎖。還有一個(gè)快速判斷方法寫一個(gè)多任務(wù)壓測程序兩個(gè)任務(wù)各自循環(huán)malloc和free跑十分鐘。如果程序穩(wěn)定不崩說明鎖是生效的如果崩得快基本可以確定鎖沒啟用或者移植有問題。但這種方法有概率性不適合作為唯一判斷依據(jù)我建議以 map 文件為準(zhǔn)。另一個(gè)容易忽略的點(diǎn)如果你是自己編譯 picolibc需要確認(rèn) Thread Local Storage 相關(guān)的鏈接腳本和啟動(dòng)文件是否正確。TLS 需要鏈接器分配.tdata、.tbss段工具鏈和鏈接腳本缺一不可。用現(xiàn)成的 picolibc 發(fā)行版時(shí)一般沒問題但如果你是從源碼自定義構(gòu)建或者手工改了鏈接腳本就要留意這個(gè)。3.2 實(shí)現(xiàn) _lock* 函數(shù)一份可用的 FreeRTOS 移植代碼下面是我在 Cortex-M 平臺(tái)上驗(yàn)證過的 FreeRTOS 移植實(shí)現(xiàn)。核心思路是把 picolibc 的_LOCK_T類型直接映射成 FreeRTOS 的SemaphoreHandle_t鎖函數(shù)內(nèi)部操作 FreeRTOS 信號量。/* picolibc_lock_port.c */ #include sys/lock.h #include FreeRTOS.h #include semphr.h typedef SemaphoreHandle_t _LOCK_T; void __lock_init(_LOCK_T *lock) { *lock xSemaphoreCreateRecursiveMutex(); configASSERT(*lock ! NULL); } void __lock_close(_LOCK_T *lock) { if (*lock ! NULL) { vSemaphoreDelete(*lock); *lock NULL; } } void __lock_acquire(_LOCK_T *lock) { /* 遞歸互斥鎖防止 malloc/free 內(nèi)部遞歸路徑死鎖 */ xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); } int __lock_try_acquire(_LOCK_T *lock) { return (xSemaphoreTakeRecursive(*lock, 0) pdTRUE) ? 0 : 1; } void __lock_acquire_recursive(_LOCK_T *lock) { xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release_recursive(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); }這里用了遞歸互斥鎖而不是普通互斥鎖原因前面說了malloc 內(nèi)部存在同一線程重復(fù)獲取鎖的路徑。如果一個(gè)任務(wù)在持有鎖期間被更高優(yōu)先級任務(wù)搶占而高優(yōu)先級任務(wù)也調(diào)用了 lock 相關(guān)的 libc 函數(shù)非遞歸鎖會(huì)直接導(dǎo)致死鎖。遞歸互斥鎖雖然比非遞歸鎖慢一點(diǎn)點(diǎn)但在這個(gè)場景下是必需的安全設(shè)計(jì)。有一點(diǎn)要單獨(dú)提醒上面的typedef SemaphoreHandle_t _LOCK_T;是假設(shè)你的 picolibc 允許自定義_LOCK_T類型。實(shí)際工程中_LOCK_T的定義位置可能在 picolibc 提供的sys/lock.h里也可能被某些版本固定為結(jié)構(gòu)體類型。你需要先打開 picolibc 源碼里的sys/lock.h確認(rèn)一下。如果它已經(jīng)定義成類似struct _lock_t { void *handle; }的結(jié)構(gòu)體那代碼就要改成往lock-handle里塞句柄。核心邏輯不變變的是類型賦值方式。3.3 編譯鏈接與驗(yàn)證移植完成后把picolibc_lock_port.c加入工程重編整個(gè)固件。鏈接階段重點(diǎn)看有沒有重復(fù)定義錯(cuò)誤因?yàn)?picolibc 自帶的弱符號鎖函數(shù)如果沒被排除你的強(qiáng)符號會(huì)和它共存正常情況下弱符號會(huì)被忽略不會(huì)沖突。如果你同時(shí)引用了啟動(dòng)文件里的其它弱符號也不要慌鏈接器對弱符號的處理規(guī)則是“強(qiáng)符號優(yōu)先弱符號墊底”不會(huì)報(bào)錯(cuò)。驗(yàn)證程序我建議分成兩級。第一級是功能驗(yàn)證兩個(gè)任務(wù)一個(gè)瘋狂printf一個(gè)瘋狂malloc/free系統(tǒng)跑不崩輸出不亂碼初步判斷鎖生效。第二級是壓力驗(yàn)證把任務(wù)優(yōu)先級故意設(shè)置為相同的加滿調(diào)度抖動(dòng)讓臨界區(qū)競爭更激烈連續(xù)跑 24 小時(shí)以上觀察有沒有卡死或者硬件異常。這兩個(gè)驗(yàn)證通過移植物才算合格。我實(shí)際測試過這個(gè)移植層在 Cortex-M4 168MHz 上每次__lock_acquire/__lock_release的完整開銷大約 1 到 3 微秒。這個(gè)數(shù)字受 FreeRTOS 內(nèi)核配置影響如果開了configUSE_TRACE_FACILITY或者調(diào)試鉤子開銷會(huì)更高。對大部分外設(shè)交互類應(yīng)用來說這個(gè)成本可以接受。3.4 性能開銷與優(yōu)化方向如果壓測發(fā)現(xiàn)鎖開銷成為瓶頸有幾個(gè)優(yōu)化方向。第一個(gè)是縮小臨界區(qū)最容易做也最有效。picolibc 的鎖是加在 malloc 入口和 printf 出口的臨界區(qū)長度由內(nèi)部算法決定這個(gè)我們改不了但我們可以減少調(diào)用次數(shù)比如把分散的小 printf 拼接成一條大 printf把頻繁的單對象 malloc 改成批處理內(nèi)存池。第二個(gè)優(yōu)化方向是權(quán)衡是否真的需要全局鎖。比如你的系統(tǒng)里只有任務(wù) A 會(huì) malloc其他任務(wù)從來不碰堆那就完全可以把newlib-multithread關(guān)掉省掉鎖的開銷。Picolibc 的鎖是全局的它判斷不了“誰會(huì)用堆”只會(huì)無差別保護(hù)。如果你能確認(rèn)“只有一個(gè)任務(wù)觸碰共享資源”關(guān)閉鎖支持就是最徹底的優(yōu)化。第三個(gè)方向是研究configUSE_MUTEX_ATTRIBUTES和 FreeRTOS 的優(yōu)先級繼承。普通互斥鎖有優(yōu)先級反轉(zhuǎn)問題低優(yōu)先級任務(wù)持鎖高優(yōu)先級任務(wù)等鎖中優(yōu)先級任務(wù)搶占低優(yōu)先級任務(wù)導(dǎo)致高優(yōu)先級任務(wù)被間接卡住。FreeRTOS 的互斥鎖內(nèi)置優(yōu)先級繼承機(jī)制但遞歸互斥鎖的行為略有不同。在強(qiáng)實(shí)時(shí)場景下你需要評估鎖的持有時(shí)間盡量把持鎖操作縮短到微秒級別。4. 常見問題與排查技巧實(shí)錄4.1 問題速查表我整理了鎖支持移植和運(yùn)行中最常見的幾類問題做成速查表。這些問題分散在論壇和 issue 里我匯總成一張表方便你對照排查?,F(xiàn)象可能原因排查方法解決方案鏈接錯(cuò)誤undefined reference to__lock_acquirepicolibc 編譯時(shí)未啟鎖支持看構(gòu)建配置確認(rèn)newlib-multithread是否開啟重新編譯 picolibc開啟多線程鎖選項(xiàng)多重定義錯(cuò)誤多個(gè)強(qiáng)符號__lock_acquire移植文件被重復(fù)加入工程檢查編譯日志里的文件列表只保留一個(gè)移植源文件malloc 頻繁崩潰HardFault 在 free 函數(shù)鎖未生效堆鏈表競爭查 map 文件中鎖符號來源確認(rèn)庫版本帶鎖移植正確實(shí)現(xiàn)printf 輸出亂碼、截?cái)鄐tdout 緩沖競爭兩個(gè)任務(wù)同時(shí) printf 壓測實(shí)現(xiàn)鎖函數(shù)或任務(wù)內(nèi)串行化輸出系統(tǒng)跑一段時(shí)間后死鎖鎖實(shí)現(xiàn)用了非遞歸鎖在死鎖現(xiàn)場查看任務(wù)棧換成遞歸互斥鎖中斷里調(diào)用 printf 導(dǎo)致系統(tǒng)掛起鎖在中斷上下文阻塞檢查中斷是否調(diào)用了 libc 函數(shù)中斷里禁用帶鎖的 libc 調(diào)用4.2 死鎖排查從 printf 卡死到優(yōu)先級反轉(zhuǎn)有一次我們的設(shè)備在現(xiàn)場升級時(shí)死機(jī)了復(fù)位后抓取調(diào)試信息發(fā)現(xiàn)卡死在__lock_acquire里。當(dāng)時(shí)第一個(gè)反應(yīng)是鎖沒有釋放但用調(diào)試器把任務(wù)列表打出來發(fā)現(xiàn)占用鎖的任務(wù)處于阻塞狀態(tài)而且它阻塞的原因不是在等這把鎖而是在等一個(gè)串口發(fā)送信號量。這就觸發(fā)了典型的優(yōu)先級反轉(zhuǎn)嵌套死鎖任務(wù) A 持有 malloc 的鎖調(diào)用串口發(fā)送等待串口信號量任務(wù) B 在串口中斷服務(wù)里觸發(fā)了一個(gè)快速 malloc嘗試獲取 malloc 的鎖但拿不到而串口信號量恰恰需要任務(wù) B 釋放于是形成了 A 等 B、B 等鎖的循環(huán)。這個(gè)案例讓我意識到只實(shí)現(xiàn)鎖函數(shù)是不夠的還要確保鎖的持有路徑上不要再次等待其他任務(wù)持有的資源。排查死鎖的常規(guī)思路是記錄鎖的持有者和等待鏈。我在工程里加了一個(gè)簡單跟蹤每次__lock_acquire進(jìn)入時(shí)記錄當(dāng)前任務(wù)句柄和調(diào)用 PC放在一個(gè)環(huán)形緩沖區(qū)里每次__lock_release清掉記錄。死鎖發(fā)生后用調(diào)試器查看緩沖區(qū)直接看到誰在持鎖、誰在等鎖問題定位效率提升很多。這些小工具平時(shí)看著多余關(guān)鍵時(shí)刻能救命。4.3 性能陷阱鎖函數(shù)實(shí)現(xiàn)不當(dāng)導(dǎo)致系統(tǒng)吞吐驟降還有一類問題不是崩潰而是“慢”。日志任務(wù)本來每秒能刷幾百條記錄加了鎖支持之后掉到三四十條。一開始懷疑是鎖本身開銷太大后來測出來根本不是是鎖函數(shù)里用了不該阻塞的調(diào)用路徑。我在移植實(shí)現(xiàn)里一開始用的是普通信號量xSemaphoreTake這個(gè)函數(shù)在鎖被占用時(shí)會(huì)觸發(fā)任務(wù)切換和調(diào)度器操作頻繁競爭時(shí)開銷被放大。后來改成xSemaphoreTakeRecursive并且確認(rèn)在持有鎖期間不會(huì)主動(dòng)讓出 CPU吞吐才恢復(fù)正常。本質(zhì)上不是函數(shù)多了幾行而是臨界區(qū)里不能做任何可能阻塞的調(diào)用否則整個(gè)系統(tǒng)的調(diào)度水位會(huì)迅速惡化。另一個(gè)性能相關(guān)的問題是中斷環(huán)境。FreeRTOS 的互斥信號量不能在中斷服務(wù)程序里使用因?yàn)閜ortMAX_DELAY這類阻塞參數(shù)在中斷上下文是無效的。如果你在中斷里調(diào)用了 printf并且 printf 背后走了帶鎖的 stdio 路徑系統(tǒng)行為就會(huì)變得非常詭異有時(shí)候返回錯(cuò)誤有時(shí)候直接卡死。我后來在中斷處理里統(tǒng)一改成寫無鎖環(huán)形緩沖區(qū)中斷外再做格式化輸出徹底繞開了這個(gè)坑。再補(bǔ)一個(gè)經(jīng)驗(yàn)如果你的工程同時(shí)使用多個(gè) RTOS 組件比如 lwIP 或者文件系統(tǒng)棧它們的鎖機(jī)制和 picolibc 鎖是完全獨(dú)立的兩套東西。picolibc locking support 只管 C 標(biāo)準(zhǔn)庫內(nèi)部網(wǎng)絡(luò)協(xié)議棧的內(nèi)存池、文件系統(tǒng)緩存都有自己的保護(hù)機(jī)制不要混為一談。我見過有的開發(fā)者以為“開了 picolibc 鎖整個(gè)系統(tǒng)就線程安全了”這是誤解。每層資源需要各自的鎖策略。4.4 一個(gè)隱藏已久的坑TLS 變量的初始化時(shí)機(jī)最后說一個(gè)比較冷門但影響很大的坑。TLS 模型下errno 是每個(gè)線程的線程局部變量但它的初始化依賴 RTOS 創(chuàng)建任務(wù)時(shí)為任務(wù)棧預(yù)留的 TLS 空間。如果 FreeRTOS 的configTLS_BLOCK_SIZE配置不對或者任務(wù)創(chuàng)建函數(shù)沒有正確地向任務(wù) TCB 注冊 TLS 塊那線程訪問 errno 時(shí)會(huì)讀到未初始化的內(nèi)存可能是一個(gè)隨機(jī)值也可能是別的任務(wù)寫過的殘留數(shù)據(jù)。這個(gè)問題不會(huì)像崩潰那么明顯它表現(xiàn)為某個(gè)任務(wù)偶爾拿到錯(cuò)誤的 errno且錯(cuò)誤碼和實(shí)際錯(cuò)誤毫不相關(guān)看起來完全是隨機(jī)的。排查時(shí)很容易懷疑是業(yè)務(wù)邏輯 bug反復(fù)看代碼也找不到問題。我最后是在一個(gè) FAE 的提示下檢查了任務(wù)創(chuàng)建時(shí) TLS 塊的大小和 picolibc 預(yù)期的 TLS 大小是否匹配才定位到根因。具體做法是在鏈接腳本里記錄.tdata和.tbss的總大小然后把這個(gè)值配置到configTLS_BLOCK_SIZE中。你在移植 picolibc 到 FreeRTOS 時(shí)這一步千萬不要漏。5. 我的移植經(jīng)驗(yàn)與收尾建議說實(shí)話picolibc 的 locking support 并不復(fù)雜真正的復(fù)雜度在于理解 libc 內(nèi)部的共享資源到底有多少以及你的 RTOS 調(diào)度行為和鎖之間的相互作用。每次換一個(gè) RTOS、換一塊硬件平臺(tái)我都建議重新走一遍完整的移植和壓測流程不要想當(dāng)然地拿上一版代碼直接拷過去。就我自己的經(jīng)驗(yàn)而言有一個(gè)比較穩(wěn)的組合配置TLS 保持開啟global-errno 關(guān)閉newlib-multithread開啟鎖底層使用 FreeRTOS 遞歸互斥鎖并且移植文件里只做鎖的獲取和釋放不做任何日志、不做調(diào)試打印。這樣既保證了線程安全又把移植層的不可控因素降到最低。如果你在移植過程中遇到特別怪異的現(xiàn)場優(yōu)先懷疑鎖的持有路徑其次懷疑 TLS 初始化最后再懷疑工具鏈鏈接腳本。這三步走完絕大多數(shù)問題都能水落石出。最后再分享一個(gè)我個(gè)人的小習(xí)慣在項(xiàng)目早期就把 lock 壓測代碼放進(jìn)自動(dòng)化構(gòu)建流程里每次 BSP 變更后跑一遍。這種問題一旦藏在系統(tǒng)深處越晚發(fā)現(xiàn)代價(jià)越大早發(fā)現(xiàn)反而最省時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中日无幕一二三四区| 亚洲精品天堂久久A∨51成人漫| 天天综合日韩网| 人妻色偷色噜| 密臀AV在线| 久久人人爽爽人人爽人人片αV| 麻豆国产成人精品| 久色网| 青娱乐91| 青青草精玖玖69精品| 美女尤物人人操| 黄色香蕉视频网站一区| 久热热| 91亚洲色人| 久久日本熟女精品一区| 精品一区二区人妖| 亚洲网站一区二区在线| 无卡一区=区| 色五月综合| 亚洲无码超碰免费| 怡红院久久老司机| 欧美亚洲涩涩| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 日操粉逼逼| 少妇无码999| 97香蕉人人乳| 日韩久久激情精品| 无码国产精品久久久久| 久久精品国产亚洲AV清纯| 成人三一级一片aaa| 麻豆av一区二区| 日韩欧美丝袜诱惑| 九九英色视频| 韩国女主播青草福利视频| 精品久久人妻成人网| 97超碰欧美| 啊啊啊啊啊好舒服视频| 日韩无码一级黄色av片| 日本2020一区二区| 中文字幕精品专区搜索结果91| 日本一区二区三区精品| 小草精彩毛片| 国产精品一区人妻精品阁在线| 另类一区| 狠狠操天天干| 在线播放免费av福利片| 国产路线专区| 午夜天堂精品久久| 粉嫩国产精品久久粉嫩| 九九热超碰| 丰满的三级少妇欧美久久久| 九色 蝌蚪 熟女自| 色踪合AV| 人妻少妇无码| 久久久久成人网| 果冻传媒一区二区三区| 亚洲脚交| 大鸡巴久久| 国产日韩美女小穴视频网站不卡| 99久久网站| 色人久久| 国产蜜臀精品一区免费尤物| 成人影 天天操 亚洲| 色婷婷aV一区二区三区麻豆综合 | 97久久免费| 97亚洲资源| 日韩性爱人人爱人人操| 粉嫩粉嫩一区性色AV片| 欧美 亚洲 偷拍自拍| 久久九九网| 欧美综合站| 狠狠干狠狠干| 日韩天天本| 超碰偷拍| 婷婷伊人五月| 在线免费观看日韩一区| 五月丁香激情综合网| 久操视频这里只有精品| 精品人妻一区二区三区在| 欧美视频一| 中文字幕黄片在线| 亚洲国产欧美中文永久| 人妻精品一区二区全免费| 澳门特级毛片免费观看| 九九九九久久久| 久久国产对白激情浪潮 | 久久国产精品91| 亚洲 图片 欧美 色图| 我想要啊 啊 啊| 中文字幕一区二区视频在线观看| 国产毛片久久久久久久| 91爱| 少妇高潮特黄A片| 久久久久久久久久久六六| 青青草玖玖爱| 日韩精品 资源| a人欧美综合天堂麻豆| 亚洲中文sv| 看大黄色大片原件| 一区二区偷拍拍视频| 色天堂综合| 国产路线专区| 亚洲图片欧美另类综合免费视频大大香| 97射欧美| 综合操逼| 狠日操| 北京美女一区二区| 午夜一区| 97人妻碰碰中文无码久热丝袜| 少妇500双飞99| 精品国产乱码久久久久久蜜臀| 人人操人人狠狠操| 性欧美| 国产综合操逼高清| 青青草一区二区三区四| 色网1| 国产精品女生av| 日本三级日本三级三级人妇四虎| 美女久久久久久久久久久| 自拍视频大全亚洲专媒视频/一区二区三区| 国产福利精品最新在线| 大香蕉综合| 超碰色图| 啊啊啊爽爽| a在线观看| 久久久天美| 国产精品亚洲免费| 91性情| 亚洲不卡AV在线| 国产9区| 少妇超碰在线| 日韩性爱一级片| 偷拍网站久久男女男| 久草婷婷| 午夜国产乱伦视频| 久久偷偷色综合蜜桃| 亚洲福利中文字幕在线| 女人久久久| 成人精品一区二区三区| 亚洲无吗在线视频| 狠狠爱夜夜| 99国产精品人妻人伦| 乱伦熟女论坛| 日韩大香蕉精品在线视频| 精品超碰国产| 熟女乱3伦999| 久久久精| 91国产大片| 人妻人人做人人澡人人爽欧美一区| 久热99999| 色噜噜狠狠色综合日日| 男女日B国产| 51一区二区三区| 草久在线| 亚洲精品一卡二卡三卡福利视频网站| 日本狠狠干| 久久大黄片| 国产女主播视频在线观看| 久久婷婷六月综合| 九九九精品成人免费视频小说| 超碰伊人在线| 欧美久久婷婷| 亚洲蜜臀懂色| 亚洲国男人的天堂| 成人性爱美曰韩| 少妇综合| 91亚洲综合| 久久影视二区三区行押| 天天操人人操骚逼网站| 收看日本人日bb| 精品视频久久| 天天综合站| 打av高清| 日韩中文字幕熟妇人妻| 五月婷婷激情网| 人妻色情天天操| 97人人中文网| 动漫片子网站3黄| 亚洲麻豆精品二区三区| 91精品国产高清久久久久久,亚洲成人 | 亚洲另类综合欧美| 中文字幕jul-617人妻熟女| 久久黄色性爱视频| 日韩精品99久久久久久中文字幕| 快点操死我| 性爱综合网| 亚洲欧美中文日韩视频中国语| 自拍偷拍草一草| 无码国产精品96久久久久孕妇| 极品美女嘿咻| 老熟女91| 国产美女自拍AV| 韩国一级做a久久久久| 亚洲a色| 国产乱码久久| 日日夜夜干| 色丁香五月婷婷| 久久综合五月天| 亚洲人成网www| 青青草在线成人视频| 2011国产精品| 久操91视频| 试看60秒 爽| 日本淫乱女一区二区三区视频| 人妻熟女字幕一区二区| 欧美亚洲日韩人妻在线观看| 九九热九九热| 国产中文福利| 精品一区二区2| 欧美日韩1234| 国产91精品福利在线| 色色色欧美| 国产女上位好爽在线| 粘花网06av视频| 呻吟 欧美 日本 中出| 这里只有97精品| 久久亚洲一区女同性恋中文字幕 | 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 女人被添高潮免费视频| 国产超碰国产97| 日日AV加勒比| 一本久久久精品| 亚洲国产综合视频| 天天综合站| 亚洲一区二区三区不卡国产欧美| 亚洲情色1区| 久久亚洲色图中文字幕| 91亚洲欧洲| 亚洲精品白浆高清久久久久久 | 强奸a片网| 在线天堂999| 青青草无码视频| 超碰在线人妻中文字幕| 五月婷婷丁香| 亚洲天堂日本| 日韩精品一区二区高清| 日日夜夜狠狠| 男人天堂久久精品不卡| 99re免费视频精品全部| 99日精品欧美国产| 色九九综合AV| www.伪伪| 四虎国产成人精品免费一女五男| 欧洲精品一级二级精品综合视频综合| 在线观看亚洲专区| 久久天天摸| 欧美欧美少妇| 婷婷五月天成人网| 天堂综合| 久久精品噜噜噜成人看免欧美大片| 91人妻在线视频| 亚洲国产一级精品毛一级精品看免费视频 | 日韩猛交| 国产蜜臀精品一区二区尤物| 国产综合久久久鬼色| 九九色精品| 黄久在线| 97色色婷婷| 少妇专区一二三四五| 少妇久久久| 日韩乱码av| 超碰超碰欧美| 欧美 亚洲 第一页| 欧美少妇大量自拍视频在线观看| 天美传媒精品一区二区| 91丝袜美女| 亚洲精品97| 欧美日日网| 91欧美网| 婷婷五月天社区| 熟女人妻精品一区二区视频| 殴美综合色88| 欧美精品久久久久久久久88| 日本2020一区二区| 久久五月婷| 麻豆一区二区三区在线看| 国产精品秘 福利姬在线观看| 日韩精品一区,二区 九九...老司机| 色婷婷丁香五月| 日本免费不卡二区| 欧美日韩大香蕉| 欧美黄色片在线播放| 日韩欧美麻豆大片| 亚洲国产91精品一区二区久久| 韩国三级三级BD在线| 国产最新小视频在线播放下载 | 麻豆蜜桃视频在线观看| 蜜乳AV免费观看| 天天在线91| 男人亚洲91首页在线| 中文字幕三四区| 日韩AV熟女乱伦| 亚洲一区二区三区婷婷| 97资源免费视频| 97超碰国产亚洲精品资源| 91春色| 色天堂在线观看| 六十路日本| 国产精品毛片?v一区二区三区| 91高清欧美| 97这里都是精品| 久久riav中文精品| 久久久久久久少妇| 久久人人爽人人爽人人片Ⅴ| 亚洲欧美在线观看无码| 丝袜美腿91| 五月综合视频| 欧美极度丰满熟妇hd| 亚洲综合首页| 黑人干亚洲| 久久透逼视频| 免费观看一区| 欧美成人精品一区二区男人蜜臀 | 中文字幕一区二区三区高清| 100啪啪视频大全| 欧美色乱| 夜夜爽夜夜| 亚洲天堂加勒比| 久久久91福利姬| 国产成人无码a| 欧美91精品国产自产| 极品少妇久久久| 长久操视频| 久久久av爱| 夜夜狼人妻| 99精品在线观看| 日本国产高清色www视频在线| 大香蕉天天看妹子| 欧美专利1区2区3区4区5区免费| 国产精品懂色tv影视免费观看| 久久夜夜夜夜| 色偷偷色偷偷欧美日韩| 97超碰色屌| 亚洲图片欧美制度| 亚洲第一色页夜| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 天天综合色| 亚洲区小说| 狠狠色五月亚洲91| 操国产逼| 99国产在线 精品 视频| 欧美精品久久久久久久久88| 天天干美少妇一区| 91在线免费观看处女| 日韩三级网址| 97色涩| aV中文麻| 成人免费看吃奶视频网站| 性在久久久久久| 深夜激情无码| 欧美亚洲综合色| 日韩啪啪啪啪啪| 日本五十路熟女一区二区| 色偷综合| 九九九九九精品视频| 偷拍盗拍亚洲色图图片| 大香蕉乱级| 脫衣舞一区二区三区| 亚洲国产日韩欧美熟妇在线| 蜜桃久久久久久| 96国产污污污丝袜| 亚洲nv男人的天堂网| 爽 好舒服 无码刺激久久| 婷婷九月色| 亚洲色图 欧美| 在线A日本| 国产按摩一区二区三区| 日韩亚洲97| 日韩十八禁| 无码137片内射在线影院| 欧美黑人精品一区二区| 国产夫妻一区二区| 天天射日日干| www.人人cao| av在线浏览| www.男人天堂| 亚洲一区二区在线观看91| 国产无马视频| 亚欧美天堂在线| 日本男人天堂| www超碰| 欲色啪| 自怕偷自怕亚洲精品| 综合第一页| 国产男人又猛又粗又爽| 日韩欧美丝袜诱惑| 黄人人操人人操| 五月丁香激情综合网| 蜜桃在线观看一区二区三区| 东北女人性交| 日欧操屄| 久久精品欧美一区蜜桃| 久久中文字幕在线观看| 成人网址在线观看| 久久风骚城市| 无码免费精品高清| 国产精品在线一区二区| 国内亚洲精彩视频在线| 青草园大香蕉| 欧美综合区| 亚洲成人ab| 久久久久久国产手机AV| 熟妇激情| 加勒比久久综合网高清| 97视频www| 干日本人少妇午夜寂寞影院| 中国小夫妻勾搭露脸淫荡对白| 婷婷在线视频在线观看| 日本东京热大香蕉a片| 日韩精品在线视频在线观看| 91欧美性| 超91综合网| 欧美成熟性爱精品| 欧美丝袜美女电影一二三四区| 色官网在线| 99re热| 日欧操屄视频| 亚洲欧美人妻| 黄色在线网站| 天天影视综合色| 激情综合亚洲| 免费A片三p视频| 久久久久78| 色成人Www精品永久观看| 亚欧操逼片在线观看 | 91精片| 极品白嫩福利在线| 色官网色综合| 91伊人| 青青草精玖玖69精品| 国内毛片无遮挡国产| 中文字幕十五区| 91 刺激在线| 草草影院最新网址| 国产馆极品诱惑| 这里只有精品视频| 91网九色蝌蚪操熟女| 97资源超碰| WWW黄片COM| 日韩三级在线观看网站| 亚洲色图 91| 亚洲成人精品久久久| 日本123区操B视频| 亚洲综合999| 99精品在线| 日韩有码 一区二区三区| 亚洲不卡AV在线| 久久一区二区高清免费| 天美传媒婬乱在| WWW美腿丝袜香蕉中文| 成功精品影院| 新版天堂中文资源8在线| 国产精品久久久九九九| 久久久久久性爱片| 婷婷成人五月天| 色网亚洲人| 97天天爽| 91蜜臀在线久久久久| gogogo免费高清看中国国语| 久九色| 丝袜视频网国产90| 91九色丰满高潮| 午夜无码熟妇丰满人妻| 97视频www| 5252色欧美在线| 日本亚洲vr欧美不卡高清专区| 涩涩这里只有精品视频| 欧美成人色| 春色校园综合网| 91人妻超碰| 国模精品一区二区三区苹果色戒| 中国女人内射6XXXXX| 劲爆欧美人妖三区91| 青青草日韩免费观看高清在线| 午夜精品久久久99热蜜桃的功能特点| 99热婷婷| 中文字幕老熟妇黄色视频| 99亚亚热| 2024黄色视频| 91观看 国产白丝| 自拍偷拍2025在线观看| 国产内射爽爽大片| 国产亚洲精品久久久久小| 日本三级一区二区 在线| 天天躁日日躁成人字幕aⅴ| 嗯嗯嗯好爽| 大香网伊人久久综合网eew| 久久大香蕉97| 黑人精品成人一区二区三区| 91精品成人| 国产有码一区| 婷婷久久综合| 欧美一区二区情色| 成人精品一区二区91毛片不卡| 成人aⅴ一区二区三区| 国产三区免费在线观看| 性爱综合网| 青青草色情网站视频| 色五月激情AV在线| 9久热这里只有精品| 欧美影音在线| 欧美在线|亚洲| 日曰骚久久精品| 亚洲自拍97| 欧美日韩岛国大片在线观看| 人人 操人人 操人人| 人人看人人摸人人色| 久久亚洲骚逼综合| 91在线美女| 中文字幕日韩人妻视频一区二区三区 | 久久99精品九九久久久婷婷| 国产精品丝袜在线| 欧美aaaaaaa| 免费农村成人少妇人妻Aa一区二区视频 | 日本视频一区二区三区| 96AV精品| 97超碰大| 婷婷激情五月综合| 9 1超碰九色| 国产人妖视频一区在线观看| 蜜臀久久精品久久久久视频| 操淫穴亚洲五月丁香 | 亚码激情| 亚洲女人91| 国产精品国产拍高清AV| 久久综合久色欧美综合狠狠| 无码精品久久| 2019天天操天天爽天天拍| 中文字幕av片| 秋霞曰韩R级| 夜夜骑操视频| 免费亚洲黄色视频在线观看| 2017大香蕉| 日韩色欲久久一二三四区| 97天天操天天干| 久久高潮妇女视频| 久久婷五月天| 国产又粗又长视频| 3p国产色噜噜一区| 天天操人人操骚逼网站| 亚洲欧美第一页| 天美麻豆精品视频99| 亚洲黄色AV电影| 久草福利在线资源站| 999久久芭蕾| 精品亚洲国产成人AV制服丝袜| 97视频在线视频| 热热热热日日漂亮永久永久国产日| 东京热一区二区中文字幕| 久久超碰爱| 久99在线免费观看视频| 激情五月婷婷综合| 蜜臀99久久| 91亚洲欧美色图| 亚洲天堂AV在线播放| 2020中文字幕在线| 欧美日本不卡在线| 色牛牛AV| 美女被啪到深处抽搐视频| 曰本熟女视频| 日本成人电影资源网| 国产精品3| 六月丁香网| 亚洲色图尤物视频| 久久久天美| 天天综合网久久ww| 偷看洗澡一二三区美女| 欧美高清无码免费视频高清版| 不卡中文字幕aⅴ在线| 91老熟女老女人国产老太| 久久一区二区高清免费| 变态综合色| 国产久久男人天堂| 亚洲一区二区三区久久 亚洲一区二区| 色屁屁影院www国产| 99久久综合| www久久99| 亚洲无无码αⅴ每日更新| 97操碰| 北京美女一区二区| 国产久久一区二区午夜| 一级黄色牲爱A级片| 精品人妻免费观看| 黄色工厂这里只有精品| 超碰久久精品| 国产精品女aA片爽爽视频| 超碰97资源大奶| 91精品久久久久久综合五月天| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 亚洲精品乱码线路中文字幕 | 蜜桃久久久久久久久久久久| 无码又爽又硬又激情免费视频| 涩涩这里只有精品视频| 粉嫩av平台| 91美女中出| 亚洲九月丁香| 日本精品五区| 亚洲天堂一区| 国产久久一区二区三区野外在线| 人妻密肉在线观看| 欧美亚洲高清不卡| 色噜噜人妻av中文字幕| 久久东京热久久| 国产三级资源在线观看| 国产92麻豆天美精品色欲5| 日本三级黄页| 久久久久久久久久精| 日比av无码| 日韩av一级黄片| 天天综合精品| 翔田千里AⅤHD无码| 久艾草在线精品视频在线观看| 自拍大香蕉乱插| 一区二区娱乐网站| 亚洲自拍偷拍视频在线| 97爱| 91N综合网| 日日夜夜模| 国产精品熟妇一区二区三| 日韩图区| 国产9熟妇视频网站| 天天综合网~91| 91人妻人人澡人人爽人人精品| 97精品网| 曰韩操B| 中文字幕在线观看丝袜| 妇女视频网站| 精彩视频日韩| 国产性刺激| 淫荡网址| 久久久久久久久久久久黄色 | 亚洲色图欧美| 亚洲欧美综合| 亚洲成人性爱网站在线播放| 美女操逼福利视频| 激情99| 色爱综合网欧美| 日韩成人精品中文字幕| 亚欧免费| 亚洲av强奸乱伦| 久久久久国产亚洲一区欧美色图日韩| 久偷拍| 国产精品农村妇女精品| 色av中文字| 天天天天做夜夜夜夜做| 日日骚网站| 久久久亚洲高清不打码| 簧片免费看视频| 91麻豆天美国产| 超碰欧美COM| 国产午夜精品在线观看| 蜜乳AV一区二区三区四| 精品国产网站| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 欧美激情亚洲| 三级精品三级在线观看| 国产青青美女玩逼视频| 91日韩网站| 亚洲欧洲综合成人av一区| 九九九九九九九精品视频| 裸体1区| 激情小说图片亚洲首页| 在线观看黄色电话| 精品人妻一区春色| 久久久99免费| 欧美久久草熟女| 亚洲图片91| 欧美婷婷五月天| 日韩中文9| 九九九精品成人免费视频小说| 天天综合网站| 老司机午夜精品福利视频一区二区| 乱色视频中文字幕| 国产盗摄美女如厕大神作品在线观看| 欧美 亚洲| 欧美一级A片不卡视频。| 日本免费中文一区二区三区四区| 亚州欧美在线| 国产av强奸美女| 欲色影视综合吧| 大香蕉色欲AV| 欧美αv.com| 2000亚洲男人天堂| 日本羞羞的视频在线播放| 黄色污污污污污污网站| 骚货人妻偷情自拍在线视频| 91色夜| 亚洲夜色在线| 欧美亚州综合网图片| 无色无码| 蜜汁欧美| 超碰三级秋霞| 亚洲欧美一区二区网址| 粉嫩小泬久久久一区二区| 91在线视频观看国产| 国产精品3| www色色色com| 97在线免费观看视频| 动漫片子网站3黄| 久久综合亚洲色1080p| 欧美激情欧美精品| 国产精品无码av嫩草| 日韩中文字幕二区| 欧美色院| 久久久久久久久久黄色网| 亚洲精品乱码线路中文字幕| 懂色av中文字幕一区二区三区天美| 白嫩少妇| 色九月综合| 91精品伊人久久久大香线蕉91| 国产精品伦理| 99视频这有这里有精品| 日本97久久久精品| 91chinese在线| 国产福利电影| 中文字幕人妻丝袜乱一区三区| 天天透伊人| 欧美午夜一区二区三区| 久久久亚洲熟妇熟女| 91九久| 亚洲欧美精品福利在线| 麻豆国产97在线| 久久婷婷一区| 精品久久久久久久久久久久 | 秋霞Av理论一级在线| 99999久久久久9国产精品| 欧美精品一区二区少妇免费A片| 中文字幕综合人妻| 乱精品一区字幕二区| 欧美日综合| 视频二区美腿制服人妻欧美| 污到发麻的视频 国产| 任我爽视频在线观看| 欧美少妇第一页| 久久夜夜| 亚洲激情久久久伊人综合| 操逼精品视频| 久久婷婷欧美| 无码人妻毛片丰满熟妇精品区| 精品少妇人妻一区二区三区| 天美久久久久| 玖草在线视频| 诱惑人妻欧美一区在线播放| 国产精品久久久久久久毛片1| 日韩精品 视频一区二区| 人人摸人人叼| 婷婷爽人人婷婷爽视频| 亚洲色交| 亚洲第一免费视频| www.色综合| 欧美亚综合色图| 我中文字幕6区| 春色91| 亚洲春色欧美激情自拍| 国产精品自在线发布| 国产 日韩 欧美 人妻 熟女 中文| juliaann精品熟女一区| 欧美综合 站| 97综合国产| 操逼www.| 亚洲图片欧美91N| 久久视频少妇美女| 欧美天天综合网版| 国产性感在线观看| 精品视频久久区| 又大又大又大又粗爽高潮观看| 亚洲一级性爱视频免费看| AV大香蕉| 97超碰免费生活| 亚洲欧美情色| 亚乱色| 99精品无码| 亚洲精品蜜桃久久久久久久| 伊人九九九| 国产黄片在线免费观看| 青青草视频爽一爽| 麻豆熟妇乱妇熟色A片在线看| 国内偷自视频区视频综合| 激情网五月天| 国产五码丝袜屁眼| 国产成人亚洲精品无| 一级免费啪啪片| 色五月激情AV在线| 日韩操逼HD| 十八禁视频一区二区| 国产亚洲中文不卡二区| 26uuu最新| 亚洲操操操| 欧美一级A一级a爱片久久| 国产一区免费午夜视频| 免费啪啪啪网站18岁| 先锋精品av色鲁| 久久久内射良家| 天天综合麻豆视频| 破苞ⅩXXX性无码动漫无码| 天天干人人乐| 一区AV| 开心激情婷婷| 日本 免费 一区二区三区 久久香蕉| 亚洲欧美日韩有码| 久久99热这里只频精品6学生| 亚洲高清无码免费观看视频| 97色色色| 有码人妻系列| 欧美后入式| 岛国片在线播放| 丁香激情网| 精品一区二区三区四区外站 | 操人妻逼91| 夜夜春夜夜操| 黄色电影观看久久9| 六月天婷婷| 目产99999久久999| 亚洲自拍小说| 美女露胸露奶头| jiujiujiujingpin| 男女啪啪啪18禁网站| 91国产精品在线看| 久久久久久九| 欧美日韩国产传媒在线精品| 97啪啪| 色97综合中文字幕| 国产呦精品一区二区三区下载 | 99热精品在线观看| 欧美久久草熟女| 69一区二区三区| 色噜噜国产在线| 国产在线综合网| 色婷婷综合久久中文字幕雪峰| w w w.久久精品| 中文字幕片| 91久久精品中文字幕| 330dv亚洲成年视频网| 五月婷婷丁香中文字幕| 男人天堂网址| 中出欧美| JULIA一区二区三区在线播放| 免费看日产一区二区三区| 国产精品一区在线播放| 久久国产99精品72福利| 国产日韩手机视频在线| 超碰97欧美日韩| 亚洲熟妇自偷自拍另欧美| 久久9精品| 艳尻美人妻| 亚洲乱熟女一区二区三区大香蕉| av激情亚洲五月天| 成人片视频| 人人操AV| 国产精品亚洲无码| 精品人妻少妇| 高跟伊人julia ann| 一区二区三区精品视频| 襙一襙| 99ri精品| 夜夜狼人妻| 亚洲色图日韩精品| 欧美色青| 欧美亚州综合网图片| 大香蕉啪啪啪啪在线| 高潮内射在线| 啪啪视频mP4| 五月丁香六月婷| 日韩性爱一级片| 综合亚洲欧美| 久久偷偷色综合蜜桃| 亚洲欧美另类激情小说| 亚洲精品国产拍免费91在线| 91国产美女丝袜足交精品视频 | 精品国模无码| 综合亚洲网| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 性爱动态120秒| 久久久久久中文| 欧美少妇内射| 一区二区三区 丝袜 高跟 美腿| 人人射人人操人人摸| 热99这里有精品综合久久| 久久亚洲天堂| 浓厚中出中文字幕在线| 亚洲春色欧美| 久9综合在线| 久久一本大香蕉 | 无码日韩网站| 人妻精品视频一区二区三区| 蜜臀久久99精品| 亚洲精品国产无码高清| 97色综合中文网| 学生妹天天看| 久久久久久91香蕉国产| 最新AVzaixian| 色91综合网| 亚州综合图片| 日本97久久| 欧美天天综合| 中亚黄色三级大片| 91日产欧美| 亚洲熟妇无码一区二区三区| 日本一区三级韩国| 亚洲中文字幕网| 日本3级一区二区免费| 99re在线观看| 熟女自慰久久久| 久久↗↗| 欧美v日韩v亚洲v最新在线| 人妻一区二区三区视频| 久久极品一区二区| 欧美黄色手机在线观看| 99色婷婷中文字幕乱色| 偷拍盗拍亚洲色图图片| 熟妇艹鸡八| 久久久少妇诱惑精品视频| 亚洲福利影院一区久久| 视频二区美腿制服人妻欧美| 91 国产丝袜在线放观看| 日本无码1| 男同专区一区二区三区在线| 最新日本中文字幕| 欧美色www亚洲国产阿娇要播| 久久激情视频| 1204金沙人妻懂旧版免费| 天天操天天干一区二区| av在线一区二区三区| 国产一级特黄大片处女| 美女操逼福利视频| 日韩精品视频在线观看一卡二卡| 操操啪| 留下AⅤ黄色片| 欧美色婷婷| 91在线综合网| 亚洲涩涩| 欧美日韩小说| 精品熟女呻吟久久91| 亚洲成人贴图| 黄色不卡视频| 96久久久精品| 91人人操| 国内毛片欧美香蕉精品| 秋霞成人一级在线观看| 无码伊人久久大杳蕉中文无码| 麻豆视频test| 国产精品电| 欧美性爱18观看| 亚洲色图尤物视频| 久久欲| 2019天天操天天爽天天拍| 91天天日| 国产亚洲精品美女| 97久久久| 天天操人人操骚逼网站| 综合av社区| 女人香蕉久久毛毛片精品| 欧美成人综合| 97人人干| 国产av波波国产精品| 91操熟妇| 日日骚AV| 无码人妻丰满热妇又大又粗| 少妇被玩视频二三区| 中文字幕无码不卡啪啪| 伊人五月天婷婷| 色噜噜综合在线| 神马久久啊啊| 大肥女高潮bbwbbwhd视频| 日本色色色色色视频| 亚洲中文字幕乱码无码一区二区| 67914在线兔费成人视频| 亚洲 自拍偷拍 欧美| 六九九九| 亚洲黄色AV电影| 老司机深夜影院18未满| 一区二区三区国产精产| 超碰97男女| 超碰成人国产| 新精精品久久精品| 欧美综合色,www| 九九久久九九久久| 成人区人妻精品一| 国语对白在线播放视频| 超碰这里有精品| 国产亚洲中文不卡二区| 一线黄色免费性爱片| 九九综合久久| 大茄子熟女AV导航| 九九毛片这里只有精品| 天天干天天狼在线视频| AV老汉| 色色色综合| 五月综合激情网| 福利操逼| 人人模人人看| 99中文字幕| 91亚洲在线| 97超碰9| 色姑娘综合网| 国产精品九九| 国产又粗又长又爽又色| 国产女人操逼视频| 99在线无码精品秘 入口黑人| 久久精品国产亚洲AV高清演员表| 日韩免费三级黄片电影| 99久久精品无码一区二区毛片免费| 国产精品诱惑| 嗯嗯啊啊操我| 大JI巴好深好爽又大又粗视频| 操逼网站网站| 国产中文字幕在线点播| 肉动漫无遮挡h在线观看| 啊啊啊骚| 校园春色 亚洲| 亚洲男人天堂2017| 黄页| 伊人天天久久动态图| 欧美精品精品一区二区| 青青免费在线视频一区| 性爱Av免费| 国产色精品午夜大片| 中文人妻av高清一区| 五月天婷婷在线看| 日本不卡一区| 人人操人人摸人人骑| 人妻精品一区二区| 欧美性色欧美| 肥佬影院91| 国产精品ww久久| 1级午夜影院费免区| 东北丰满熟女国产一区| 天天操天天干一区二区 | av网站在线看| 日本人妻中文字幕精品| 婷婷激情五月天小说网| 影音先锋中文字幕日本好一区二区| 一级免费啪啪片| 精品一区二区三区蜜桃臀赵总| 日韩av三四区| 亚洲欧美中日韩| 一区二区三区色综合| 国产麻豆91欧美一区二区久久婷婷国产精品 | 老熟女乱伦片| 蜜桃视频成a人v在线| 欧美做爰无码A片视频| 五月婷婷久久综合| 蜜臀精品1区2区| 精品视频97| chaopen97久久| 17c嫩草51久久91嫩草| 一牛影视成人片免费| 免费观看的av| 欧美色图成人网一区二区| 蜜臀在线看片| 亚洲www91| 国产日韩怡红院| 370p日韩欧美亚洲精品| 成人三级片无码| 色蜜AV| 久久亚洲色图中文字幕| 热热色91| 操逼不卡中文字幕| 91N欧美| 久久夜嗨| 97色97好| 国产精品久久久午夜夜伦鲁鲁| 99re在线视频这里只有精品| 碰碰97| 中文字幕在线观看二区三区| 日韩99神马视频播放片在线播放| 男人的天堂日本东京热| 欧美黄业| 五月丁香啪啪啪| 人妻啊啊人妻啊| 涩涩久久精品| 91亚洲网站| 欧美精品三级黄片| 黑人精品XXX一区一二区| 国产亚洲综合欧美一区| 在线国产福利网址导航| 人妻少妇被猛烈进入中| 91精品微拍福利| 欧美性爱91| 2018天天日天天日| 免费啪啪av| 天天做日日做| 国产精品视频白浆免费| 久久精品视频久久久| 色狠狠综合噜一二三区| 91欧美少妇| 国产一区二区三三视频| 男人的天堂不卡一区二区 | 亚洲做性| 国产精品农村妇女| 日本道不卡| 99老司机精品视频在线观看| 国产AV毛片| 成人精品在线观看| 久久久久久久 九九九九九九九| 欧美日韩资源在线| 久草精品一区| 麻豆av一区二区| 日韩中文字幕精品一区在线| 国产av强奸美女| 日本三级日本三级99| 激情自拍 校园春色| 青青草啪啪网| 久久9视频| 色色福利| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 国产毛片在线| 日天天九九天堂666| 在线观看高清AV| 欧美专利1区2区3区4区5区免费| 这里都是精品| 女人高潮抽搐喷水视频网站| 97视频在线视频| 国产亚洲精品美女久久久| 午夜免费视频1000| 亚洲AV不卡在线观看| 亚洲精美粉嫩嫩泬在线观看| a在线视频免费观看| 国产熟妇一区二区| 99黄页网站| 老熟女网站| 国产精品午夜高潮呻吟久久av| 色999亚洲人成色| 撸撸成人在线视频| 欧美大波激情xxxx| 婷婷五月天成人网| 人人操人人射人人干| 91操操操操| 亚洲天堂久久| 天天操天天7| 91人妻最真实刺激绿帽| 亚洲 欧美 91| av一区二区三区 中文| 精品一久久久| 翔田千里爆乳巨臀无码| 日本中文字幕在线视频| 国产馆极品诱惑| 亚洲人妻日日日| 蜜乳AV色欲AVAV无码| 爱妻综合网| 超碰在线香蕉| 91人妻丝袜无码| 精品国产Av无码久久久伦古装| 91成人社区| 2011国产精品| 九九视品黄色| 久久99草| 五月天激情国产综合婷婷婷| 日本女厕偷拍| 国产强奸乱伦无码视频| 久操99| 国产高清成人免费视频| 亚洲天堂色图| 内射夫妻三片| 日韩精品三级片长长久久| 青青伊人这里只有精品| 久久一二三级一一一| 69XX一中文字幕人妻91| AV高清一区| 尤物黄色在线观看网站|