亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從訂單號精度丟失看跨語言類型轉(zhuǎn)換陷阱:一次“靈異”Bug的徹底排查

從訂單號精度丟失看跨語言類型轉(zhuǎn)換陷阱:一次“靈異”Bug的徹底排查 1. 先說背景這個 Bug 到底有多“靈異”1.1 項目場景一個很普通的訂單詳情頁上個月我負(fù)責(zé)的一個電商平臺訂單模塊出了個讓全組人頭疼的問題。業(yè)務(wù)本身非常簡單訂單列表頁展示訂單用戶點(diǎn)某一單前端拿訂單號去請求詳情接口后端返回詳情數(shù)據(jù)頁面渲染。就是最典型的 CRUD 鏈路沒有高并發(fā)、沒有分布式事務(wù)、沒有消息隊列日常流量也就每秒幾百。按理說這種模塊出 Bug定位起來分分鐘的事但這次硬是折騰了整整一周。訂單號用的是雪花 ID 生成的 19 位整數(shù)。為什么不用數(shù)據(jù)庫自增 ID因為系統(tǒng)有多個寫入節(jié)點(diǎn)為了全局唯一訂單號早就統(tǒng)一換成了雪花算法。這個細(xì)節(jié)當(dāng)時沒人當(dāng)回事畢竟項目已經(jīng)跑了大半年訂單模塊一直穩(wěn)如老狗。誰也沒想到最后讓整個團(tuán)隊欲仙欲死的恰恰就是這個 19 位的訂單號。1.2 癥狀清單怎么復(fù)現(xiàn)都復(fù)現(xiàn)不了用戶反饋的問題是訂單詳情頁偶爾打不開頁面提示“訂單不存在或已刪除”。但詭異的是同一個訂單在后臺管理端能查到數(shù)據(jù)庫里記錄也完好無損。這意味著數(shù)據(jù)層面沒有丟是有別的東西把鏈路搞斷了。最讓人抓狂的是它的“靈異”特征無法穩(wěn)定復(fù)現(xiàn)。同樣的操作路徑有時候好、有時候壞。挑訂單。大多數(shù)訂單沒問題個別訂單必現(xiàn)但看起來沒有任何規(guī)律。環(huán)境和設(shè)備無關(guān)聯(lián)。iOS 和 Android 都有反饋瀏覽器也換過后端日志卻始終看不到異常。后端日志里查不到對應(yīng)的報錯請求。用戶說打不開但后端訪問日志里根本沒有對應(yīng)的訂單詳情請求記錄好像用戶的請求憑空消失了一樣。我當(dāng)時的情緒基本就是“bug 觀察員”附體每天上班第一件事就是翻工單、查日志、對比數(shù)據(jù)試圖從一堆看似正常的記錄里找出哪一環(huán)在作妖??上нB續(xù)查了兩天除了確認(rèn)數(shù)據(jù)沒丟、接口沒報錯之外毫無進(jìn)展。這種“數(shù)據(jù)都在就是鏈路不通”的現(xiàn)象其實(shí)是很典型的類型轉(zhuǎn)換或者精度丟問題在作怪。但當(dāng)時誰也沒往這個方向想因為訂單號用肉眼看前端和后端顯示的一模一樣。2. 一周排查全記錄我到底經(jīng)歷了什么2.1 第一階段懷疑數(shù)據(jù)本身排查的第一步永遠(yuǎn)是確認(rèn)數(shù)據(jù)對不對。我們拉出了用戶反饋的那幾個訂單號去數(shù)據(jù)庫里查記錄全都在狀態(tài)字段、金額字段、創(chuàng)建時間全部正常。然后直接拿這些訂單號調(diào)接口又全部返回正常。這時候最容易產(chǎn)生誤判既然接口直接調(diào)用沒問題那問題大概率出在用戶側(cè)的入?yún)⑸稀S谑俏覀冮_始懷疑是不是某些訂單在生成時寫入了特殊字符比如全角空格、不可見字符、或者在訂單號前面加了什么前綴。這類臟數(shù)據(jù)我見過不少于是專門寫了個腳本去掃訂單表把所有訂單號的長度、字符集、前后空格查了一遍。結(jié)果很打臉。訂單號格式完全正常長度固定 19 位純數(shù)字沒有任何隱藏字符。數(shù)據(jù)庫層面干干凈凈。這個方向排除了。但這里有個細(xì)節(jié)我當(dāng)時忽略了我通過數(shù)據(jù)庫查到的訂單號和用戶在前端實(shí)際拿到的訂單號真的是一回事嗎這是后來才想通的關(guān)鍵點(diǎn)。2.2 第二階段懷疑并發(fā)和緩存數(shù)據(jù)沒問題那就換方向。訂單詳情頁是前端先調(diào)一個列表接口拿訂單號再拿這個訂單號去調(diào)詳情接口。如果列表接口和詳情接口之間出了問題比如列表返回的訂單號被緩存污染、或者被并發(fā)線程覆蓋了也會出現(xiàn)“明明訂單存在但詳情查不到”的現(xiàn)象。于是我們把火力集中在緩存上。訂單模塊確實(shí)接了一層 Redis 緩存列表接口做了緩存詳情接口也做了緩存。我當(dāng)時的假設(shè)是列表緩存里某個訂單號寫壞了或者緩存 key 沖突導(dǎo)致返回了別的訂單的 ID。這種問題以前也不是沒遇到過。排查方式很簡單粗暴把相關(guān)緩存全部清掉讓用戶再試。結(jié)果用戶反饋還是偶發(fā)打不開。緩存清掉之后問題依舊說明緩存不是根因。排除了并發(fā)和緩存之后我把目光轉(zhuǎn)向了接口參數(shù)傳遞鏈路也就是前端請求詳情接口時那個訂單號到底是怎么傳過去的。這一步才是整個排查的轉(zhuǎn)折點(diǎn)。2.3 第三階段懷疑框架和依賴緩存排除后誕生了一個更玄學(xué)的猜想會不會是某個依賴庫的 Bug這個想法一旦冒出來就收不住了。因為我們的前端詳情頁用了好幾個第三方組件后端接口用的是統(tǒng)一封裝的基礎(chǔ)框架中間還有一層網(wǎng)關(guān)。如果網(wǎng)關(guān)里對參數(shù)做了某種轉(zhuǎn)換或者 JS 框架在路由跳轉(zhuǎn)時對 query 參數(shù)做了處理訂單號就可能被改寫。于是我干了一件看起來很傻但非常有價值的事給前端代碼加日志把列表接口拿到的原始數(shù)據(jù)、存到 store 里的數(shù)據(jù)、以及詳情請求 URL 上的參數(shù)全部原樣打出來。后端也加了臨時日志把每次請求收到的 orderId 參數(shù)原樣記錄下來。兩端日志一對比真相基本上就擺在眼前了。前端從列表接口拿到的原始訂單號是7222063723784590123但詳情請求 URL 上帶的訂單號變成了7222063723784590100。兩者肉眼看著非常接近不逐個數(shù)字對比根本發(fā)現(xiàn)不了但它們的后四位確實(shí)不一樣了。那一刻我和前端同事對視一眼心里同時冒出一個詞精度丟失。2.4 轉(zhuǎn)折點(diǎn)一次全鏈路參數(shù)對比定位到參數(shù)被改寫之后剩下的問題就是誰改的在哪一步改的前端日志顯示列表接口響應(yīng)的原始 JSON 拿到的就已經(jīng)是7222063723784590100了。也就是說問題根本不在路由、不在 store、不在請求封裝而是在數(shù)據(jù)從后端進(jìn)入前端的那一刻數(shù)字就已經(jīng)被污染了。驗證方法也非常簡單。我打開瀏覽器控制臺手動輸入7222063723784590123回車??刂婆_直接返回了7222063723784590100。就這么一句代碼困擾我們一周的“靈異 Bug”現(xiàn)出了原形。JavaScript 里的 Number 類型根本表示不了這么大的整數(shù)。這個訂單號超過了Number.MAX_SAFE_INTEGER也就是 2 的 53 次方減 1等于 9007199254740991。任何超過這個范圍的整數(shù)在 JS 里都會發(fā)生精度丟失低位被四舍五入成 0。后端返回的是 Java 的 Long 類型JSON 序列化后是數(shù)字字面量前端解析 JSON 時JavaScript 引擎自動把超出安全范圍的數(shù)字近似轉(zhuǎn)換了。從 Java 的 Long 到 JavaScript 的 Number這就是一次隱式的類型轉(zhuǎn)換。它沒有語法報錯沒有運(yùn)行時異常只有靜默的精度損失。3. 真相問題出在一個“不起眼的類型轉(zhuǎn)換”上3.1 從現(xiàn)象到原理JS 的 Number 和 2^53JavaScript 只有一種數(shù)字類型就是 Number它底層基于 IEEE 754 標(biāo)準(zhǔn)的雙精度浮點(diǎn)數(shù)存儲。雙精度浮點(diǎn)數(shù)用 64 位存儲其中 1 位符號位、11 位指數(shù)位、52 位尾數(shù)位。這個結(jié)構(gòu)意味著它能夠精確表示的整數(shù)范圍是有限制的。IEEE 754 雙精度浮點(diǎn)數(shù)可以精確表示從-2^53 1到2^53 - 1之間的所有整數(shù)這個范圍之外就無法保證精確了。為什么不是 2 的 64 次方因為 52 位尾數(shù)只能精確表達(dá) 52 位精度的整數(shù)加上隱含位有效精度正好是 53 位。2 的 53 次方等于 9007199254740992而最大安全整數(shù)是 9007199254740991JS 里直接提供了常量Number.MAX_SAFE_INTEGER來標(biāo)記這個值。當(dāng) JSON 數(shù)字超過這個范圍時JavaScript 引擎在解析階段就已經(jīng)丟精度了你的代碼里根本沒機(jī)會拿到原始值。這就像用一個只能裝 5 位數(shù)的容器去接一個 19 位數(shù)的水管接出來的水少了多少容器自己是不知道的。我舉個例子方便理解假設(shè)「前端數(shù)字」是一個只能放 4 位數(shù)的密碼鎖后端 Long 是一個能放 8 位數(shù)的保險柜鑰匙號。鑰匙號12345678塞進(jìn) 4 位鎖鎖自動只記前 4 位1234密碼永遠(yuǎn)對不上。這個自動截斷就是“類型轉(zhuǎn)換”干的壞事。我們系統(tǒng)的訂單號是雪花 ID它的結(jié)構(gòu)是 1 位符號位 41 位時間戳 10 位機(jī)器 ID 12 位序列號。正常情況下 41 位時間戳在 2024 年大概相當(dāng)于 42 億毫秒左右加上機(jī)器 ID 和序列號整體確實(shí)會超出 JS 的安全整數(shù)范圍。而且雪花 ID 生成時時間戳越高、機(jī)器位越靠后生成的數(shù)字越大。所以低并發(fā)、早期生成的訂單號可能還在安全范圍內(nèi)高并發(fā)、后期生成的訂單號就超了。這也解釋了為什么問題只挑特定訂單出現(xiàn)而且看起來毫無規(guī)律。實(shí)際上規(guī)律一直存在出現(xiàn)問題的訂單是那些二進(jìn)制表示中低位不是全 0 的大整數(shù)。換句話說低位數(shù)字越容易被“吞掉”癥狀越明顯。3.2 為什么它騙過了所有人現(xiàn)在復(fù)盤這個 Bug 為什么能活活熬我們一周隱蔽性主要來自以下三點(diǎn)。第一肉眼無法察覺。7222063723784590123和7222063723784590100放在界面上看幾乎一模一樣。用戶不會去數(shù)后四位后端日志里又是正確的原始值兩邊數(shù)據(jù)一對比唯一看到的差異是“詳情請求根本沒到達(dá)后端”于是先入為主地認(rèn)為是前端或網(wǎng)關(guān)丟了請求。方向上就偏了。第二它是靜默轉(zhuǎn)換。類型轉(zhuǎn)換在 Java 里通常都有明確的寫法比如(int) longValue或者Integer.parseInt(str)。但在跨語言場景下JSON 序列化和反序列化過程中數(shù)字類型的精度損失是完全靜默的。沒有編譯器告警沒有運(yùn)行時異常沒有錯誤日志。開發(fā)者在正常開發(fā)時根本感知不到。第三它在“進(jìn)入前端的第一毫秒”就已經(jīng)發(fā)生了。凡是在業(yè)務(wù)邏輯、網(wǎng)絡(luò)層、路由層排查的人看到的都是已經(jīng)被污染的值。好比快遞在發(fā)貨地就被換成了假貨消費(fèi)者在收貨地拆包裹時發(fā)現(xiàn)不對但檢查運(yùn)輸路徑、清點(diǎn)配送員全部正常因為問題出在裝箱那一刻。這種“轉(zhuǎn)換發(fā)生在鏈路最前端”的特點(diǎn)導(dǎo)致所有依賴“訂單號一致性”的排查手段全部失效。比如我們想通過訂單號去關(guān)聯(lián)后端日志結(jié)果前端發(fā)出的訂單號已經(jīng)被改寫了后端根本查不到這條日志直接形成了一個排查盲區(qū)。3.3 修復(fù)方案三種做法對比定位到根因之后修復(fù)本身并不復(fù)雜但選哪種方案需要根據(jù)項目情況權(quán)衡。我知道的常見做法有三種。第一種后端把 Long 類型的訂單號在 JSON 序列化時轉(zhuǎn)成字符串。這是最直接、最穩(wěn)妥的方案也是目前行業(yè)里最通用的做法。Java 端用 Jackson 的話可以在訂單號字段上加JsonSerialize(using ToStringSerializer.class)或者在全局配置里注冊一個 Long 轉(zhuǎn) String 的序列化器。前端拿到的是字符串7222063723784590123JS 不會對它做任何數(shù)字精度轉(zhuǎn)換原樣傳遞、原樣使用。缺點(diǎn)也很明顯前端所有取訂單號的邏輯都要改成字符串處理如果以前有加減法、比較運(yùn)算的地方要注意字符串的比較和數(shù)字的比較不一樣。第二種前端引入BigInt類型處理數(shù)字。ES2020 之后JavaScript 原生支持了大整數(shù)類型BigInt可以在解析 JSON 時對超大數(shù)字做特殊處理或者用parseInt之類的函數(shù)在中間層把它轉(zhuǎn)成 BigInt。但問題在于JSON.parse 在解析階段就已經(jīng)丟精度了你必須在解析之前攔截原始文本手動把大數(shù)字處理掉這就非常麻煩。實(shí)際項目中很少直接在全部鏈路用 BigInt因為瀏覽器兼容性、第三方庫兼容性都是額外成本。第三種后端把訂單號改成字符串類型存儲。這個能做但屬于傷筋動骨的改動不是緊急修復(fù)的首選。它適合在系統(tǒng)重構(gòu)時一并考慮為了一個 Bug 把訂單號字段從 Long 改成 String影響面太大容易引發(fā)其他回歸問題。我們當(dāng)時的處理是緊急先在訂單號字段加JsonSerialize(using ToStringSerializer.class)同時前端補(bǔ)了對字符串訂單號的兼容邏輯。修完之后讓產(chǎn)品在出現(xiàn)問題的那些訂單上逐一驗證全部恢復(fù)正常。后續(xù)版本里我們又統(tǒng)一梳理了所有對外返回的 Long 類型 ID凡是會被前端消費(fèi)的一律轉(zhuǎn)字符串杜絕同類隱患。4. 類型轉(zhuǎn)換陷阱大盤點(diǎn)這一類 Bug 的常見形態(tài)4.1 JavaScript 雙等號的“精神污染”這次事故之后我把團(tuán)隊代碼里所有和類型轉(zhuǎn)換相關(guān)的隱患都翻了一遍發(fā)現(xiàn)這類問題遠(yuǎn)比我們想象得多。最容易踩的坑首推 JavaScript 的雙等號隱式轉(zhuǎn)換。在 JS 里會在比較之前對操作數(shù)做類型轉(zhuǎn)換。舉個例子0 false的結(jié)果是true。原因是先用 Number() 把字符串轉(zhuǎn)成數(shù)字0變成0false也變成0兩邊相等。類似的還有1 true等于truenull undefined等于true。很多業(yè)務(wù) Bug 就是在這種“看起來合理”的隱式轉(zhuǎn)換里埋下的。尤其值得警惕的是“字符串 false”的梗。如果你從前端接口拿到的是字符串false然后寫if (flag false)結(jié)果會是什么答案是你永遠(yuǎn)進(jìn)不去這個分支因為false是非空字符串隱式轉(zhuǎn)成布爾值是truetrue false顯然不成立。但代碼又不會報錯邏輯悄悄跑偏Bug 出現(xiàn)得毫無預(yù)兆。我個人的建議是前端業(yè)務(wù)代碼一律用嚴(yán)格全等不要用。對布爾值的判斷直接寫if (flag)不要和true/false做比較除非你確定來源必然是真布爾類型。如果您用到Number()、String()、parseInt()這些顯式轉(zhuǎn)換函數(shù)也要明確傳基數(shù)參數(shù)比如parseInt(08, 10)否則老瀏覽器可能把08當(dāng)成八進(jìn)制處理解析出 0 這種離譜結(jié)果。4.2 跨語言邊界的 64 位整數(shù)除了 Java 后端到 JS 前端跨語言邊界的 64 位整數(shù)問題在很多場景都會出現(xiàn)。比如 Python 后端提供的 APIPython 的int是任意精度的幾千位的整數(shù)都能表示。一旦通過 JSON 傳給 JavaScript同樣會觸發(fā)2^53的精度限制。還有 Go 的int64、C# 的long、C 的int64_t凡是超過 9007199254740991傳到瀏覽器端全都得小心。這個問題的本質(zhì)是“JSON 協(xié)議本身沒有區(qū)分整數(shù)和浮點(diǎn)數(shù)更沒有區(qū)分 int32 和 int64它只是把數(shù)字序列化成一個十進(jìn)制的字面量”。而消費(fèi)端語言用什么類型接收完全由運(yùn)行環(huán)境自行決定。JavaScript 選擇用統(tǒng)一的 Number 類型接收精度必然受損。只要前端還要消費(fèi)大整數(shù)就必須約定“大整數(shù)一律用字符串傳輸”或者在協(xié)議層面引入 String 字段。還有一個容易被忽視的場景是數(shù)據(jù)庫主鍵。很多團(tuán)隊為了省事數(shù)據(jù)庫主鍵用 bigintORM 映射成 Java 的 Long再原樣返回給前端。一旦主鍵超過安全范圍前端用這個主鍵做編輯、刪除操作時提交的 ID 就已經(jīng)錯了。輕則請求失敗重則產(chǎn)生串?dāng)?shù)據(jù)的數(shù)據(jù)臟寫問題。所以現(xiàn)在不少公司的新規(guī)范里對外接口一律禁止把 bigint 主鍵直接返回給前端必須轉(zhuǎn)字符串。4.3 數(shù)據(jù)庫隱式轉(zhuǎn)換索引失效的隱形殺手類型轉(zhuǎn)換的坑不只存在于編程語言之間數(shù)據(jù)庫里同樣有。最典型的案例是 MySQL 里字符串字段和數(shù)字常量做比較。假設(shè)某張表的user_id字段是 varchar 類型你在 SQL 里寫WHERE user_id 123456MySQL 會對字段做隱式轉(zhuǎn)換把字符串列轉(zhuǎn)成數(shù)字再比較。這會導(dǎo)致索引失效全表掃描查詢性能斷崖式下降。更嚴(yán)重的是隱式轉(zhuǎn)換可能導(dǎo)致結(jié)果錯誤。比如user_id里有一條記錄是0123456轉(zhuǎn)成數(shù)字后變成123456和WHERE user_id 123456的條件一匹配本來不該命中的記錄也被查出來了。這屬于數(shù)據(jù)安全級別的 Bug根本不是性能問題。排查這類問題最直接的方法是對查詢字段顯式轉(zhuǎn)換WHERE CAST(user_id AS UNSIGNED) 123456但更好的辦法是確保字段類型和查詢條件類型一致把字符串字段加上引號WHERE user_id 123456。字符串字段就按字符串查數(shù)字字段就按數(shù)字查不要在設(shè)計表結(jié)構(gòu)的時候圖省事埋雷。4.4 后端語言里的隱蔽轉(zhuǎn)換后端語言內(nèi)部也有不少隱蔽的類型轉(zhuǎn)換陷阱。Java 里的字符串拼接就是重災(zāi)區(qū)result: value這段代碼如果 value 是 null得到的是字符串null而不是空串肉眼不容易發(fā)現(xiàn)但對賬、拼接文件時就出問題。Java 還有一個經(jīng)典問題Long和long之間做比較時如果是包裝類型的Long緩存范圍內(nèi)的值-128 到 127會返回 true超出這個范圍就變成 false因為比較的是對象引用而非數(shù)值。這種 Bug 在新手代碼里非常常見解決方式是統(tǒng)一用.equals()或者把包裝類型拆箱成基本類型再比較。Python 里也有一個著名的大坑bool是int的子類。這意味著True 1的結(jié)果是2甚至isinstance(True, int)的結(jié)果是 True。如果你寫了一段代碼輸入里混入了True而不是1某些運(yùn)算的表現(xiàn)會出乎意料。比如sum([True, False, True])結(jié)果是2看起來莫名奇妙但原理就是類型體系上的“繼承”導(dǎo)致的隱式轉(zhuǎn)換。C 和 C 里的隱式類型轉(zhuǎn)換更容易出安全問題。整數(shù)提升、無符號數(shù)和有符號數(shù)的比較、窄化轉(zhuǎn)換都在悄悄改變數(shù)據(jù)的含義。一個unsigned int和一個int比較編譯器會先把有符號數(shù)轉(zhuǎn)成無符號數(shù)如果你拿-1和一個unsigned int比較會得到一個巨大的正數(shù)邏輯直接翻轉(zhuǎn)。這類 Bug 在嵌入式、網(wǎng)絡(luò)協(xié)議處理中非常致命。4.5 時間與時區(qū)另一種“類型轉(zhuǎn)換”時間問題本質(zhì)上也可以歸類為類型轉(zhuǎn)換。同一個時間點(diǎn)在不同時區(qū)、不同格式、不同精度下顯示出來的字符串完全不同。一個 UTC 時間戳用毫秒還是秒存儲就差了 1000 倍。分布式系統(tǒng)里兩個服務(wù)一個用秒級時間戳、一個用毫秒級時間戳對賬、統(tǒng)計時就很容易出現(xiàn)莫名其妙的差值。我見過最經(jīng)典的案例是前端傳一個2024-06-01 12:00:00字符串給后端后端用DateTimeFormatter解析時沒有指定時區(qū)默認(rèn)用了服務(wù)器所在時區(qū)最終落庫的時間偏移了 8 個小時。表面看是時區(qū)問題本質(zhì)上是字符串到時間對象的“類型轉(zhuǎn)換”沒有按預(yù)期語義執(zhí)行。這類問題沒有銀彈只能靠規(guī)范約束對外統(tǒng)一用 ISO 8601 格式字符串或者毫秒時間戳并且在每個轉(zhuǎn)換入口明確時區(qū)參數(shù)不要依賴系統(tǒng)默認(rèn)值。凡是跨服務(wù)、跨端的時間傳遞都建議在字段命名里帶上時區(qū)后綴比如createdAtUtc、expireAtLocal讓轉(zhuǎn)換語義一目了然。5. 踩坑之后我的 Bug 排查方法論5.1 破除“靈異”心理Bug 一定有規(guī)律這一周的排查讓我最深刻的體會是不要輕易給 Bug 下“靈異”的定義。任何 Bug 都是由確定的原因觸發(fā)的哪怕表象再隨機(jī)也一定存在某種我們尚未識別的觸發(fā)條件。所謂“偶現(xiàn)”“環(huán)境相關(guān)”“必現(xiàn)但無規(guī)律”本質(zhì)上是觸發(fā)條件還沒有被找到而不是觸發(fā)條件不存在。一旦團(tuán)隊里的工程師開始說“這 Bug 是玄學(xué)”排查效率就會斷崖式下降因為每個人都開始做無方向的嘗試。正確的做法是先把“靈異”翻譯成“未知規(guī)律”然后集中精力去收集觸發(fā)條件哪些數(shù)據(jù)是壞的哪個時間點(diǎn)出的問題哪臺設(shè)備復(fù)現(xiàn)了前后參數(shù)差在哪里把這些信息收集齊了規(guī)律自然浮現(xiàn)。打破“靈異感”最有效的技術(shù)手段就是全鏈路日志。前端把入?yún)?、出參、狀態(tài)全打出來后端把所有入口請求和響應(yīng)全打出來網(wǎng)關(guān)注入鏈路追蹤 ID讓同一個請求的所有日志可以通過一個 ID 串聯(lián)。這次能定位到精度問題就是因為前后端日志落到了一起逐行對比瞬間找到差異。5.2 三個高效的定位技巧我知道很多同行遇到疑難 Bug 時最容易犯的錯誤是不停地在腦海里構(gòu)造假設(shè)然后一遍一遍測試假設(shè)。這個思路沒錯但效率太低。我現(xiàn)在的做法是先做三件事。第一找到“最近一次正常”和“第一次異?!钡臅r間點(diǎn)做變更比對。很多時候 Bug 不是突然出現(xiàn)的而是某次上線、某個配置變更、某段代碼提交之后才引入的。Git 提交歷史、發(fā)布記錄就是天然的排查線索。第二盯住鏈路的“邊界”。絕大多數(shù)隱蔽 Bug 都發(fā)生在模塊與模塊之間、語言與語言之間、系統(tǒng)與系統(tǒng)之間。這個訂單號問題發(fā)生在 JSON 序列化邊界時間問題發(fā)生在服務(wù)邊界精度問題發(fā)生在語言邊界。把這些邊界單獨(dú)拎出來做輸入輸出對比很快就能發(fā)現(xiàn)數(shù)據(jù)在哪里“變了形”。第三復(fù)現(xiàn)不了的時候就去造一個最小可復(fù)現(xiàn)用例。這個思路尤其在類型轉(zhuǎn)換問題上特別好用。一旦你猜某個數(shù)字、某個表達(dá)式可能有問題就把它從整個業(yè)務(wù)鏈路里剝出來單獨(dú)寫幾行代碼驗證。比如這次一句console.log(7222063723784590123)就完成了復(fù)現(xiàn)比反復(fù)操作頁面高效得多。5.3 防守型編碼清單經(jīng)驗都是在踩坑之后長出來的。這次之后我給自己整理了一份“防守型編碼清單”寫代碼的時候照著過一遍能擋掉不少同類問題。這份清單的核心內(nèi)容包括凡是超過 2^53 的整數(shù)一律不要直接暴露給前端改用字符串傳遞。JSON 序列化器統(tǒng)一配置 Long 類型轉(zhuǎn) String不讓蛛絲馬跡漏到接口之外。代碼中禁止使用統(tǒng)一使用和嚴(yán)格類型判斷。對布爾值判斷只寫if (flag)或if (!flag)不要和true、false字面量比較。任何parseInt都帶基數(shù)參數(shù)不依賴默認(rèn)行為。數(shù)據(jù)庫字段類型不和查詢值類型混用varchar 字段查詢時一定加引號。時間傳遞統(tǒng)一用 UTC 或帶時區(qū)信息絕不在服務(wù)內(nèi)部依賴服務(wù)器默認(rèn)時區(qū)。所有跨語言、跨服務(wù)的數(shù)據(jù)傳遞先確認(rèn)數(shù)據(jù)長度、精度、取值范圍在接收端是可表達(dá)的。這個清單不是一次寫完的每次遇到新問題就往里加一條現(xiàn)在已經(jīng)積累了幾十項。它們不能杜絕所有 Bug但能擋住至少 80% 的“不起眼的類型轉(zhuǎn)換”類問題。5.4 工具與日志的復(fù)盤建議最后聊聊工具層面的建議。這類隱蔽 Bug 的排查非常依賴日志和可觀測性。我強(qiáng)烈建議團(tuán)隊在項目里把鏈路追蹤做成標(biāo)配任何一次跨服務(wù)、跨前端的請求都要有唯一 trace ID并且前端也能把 trace ID 透傳到后端。這樣排查時拿著 trace ID 就能把整條鏈路的日志拉出來而不是靠用戶描述“打不開”去猜。日志內(nèi)容上入?yún)⒑统鰠⒈仨毴坑涗浀⒁饷舾袛?shù)據(jù)脫敏。尤其是和時間、數(shù)值、ID 相關(guān)的字段日志里不要只記錄格式化后的展示值最好把原始值也打出來。像這次的訂單號如果后端日志里打的是經(jīng)過去格式化處理的字符串或者前端只打了頁面展示值而不打原始接口值差異就不會被發(fā)現(xiàn)。還有一個有價值的習(xí)慣每次疑難 Bug 修完之后寫一篇復(fù)盤文檔把問題現(xiàn)象、排查過程、根因、修復(fù)方案、如何從源頭規(guī)避全部記錄清楚。這個問題看似浪費(fèi)時間但下次再遇到類似問題時它的價值會成倍放大。團(tuán)隊里新人也通過復(fù)盤文檔快速積累經(jīng)驗不用每一個人都從零踩一遍坑。我在實(shí)際排查過程中另一個體會很深的點(diǎn)當(dāng)發(fā)現(xiàn)后端日志里根本沒有對應(yīng)的請求記錄時不要立刻認(rèn)定是“請求沒發(fā)出去”而應(yīng)該懷疑“請求發(fā)出去了但參數(shù)已經(jīng)變了導(dǎo)致后端路由或過濾條件沒匹配上”。這次就直接指向了前端參數(shù)被污染的問題。很多看似“前后端斷層”的 Bug其實(shí)都出在參數(shù)在鏈路中被悄悄改寫的場景而類型轉(zhuǎn)換就是最安靜的改寫者。訂單號的問題修完之后我又把系統(tǒng)里所有 19 位的 ID 字段逐個排查了一遍順手換掉了三處隱患。那個“靈異”的夜晚結(jié)束后我養(yǎng)成了一個新習(xí)慣任何傳到前端的整數(shù)我都會先問一句它會不會超過 9007199254740991這個問題看起來簡單卻替我擋掉了很多進(jìn) Bug 單的機(jī)會。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
黄色av片三级三级三级免费看| 国产精品午夜AV完会免费| 九久久精| 99热只有这里有精品| 青青草字幕AV| 18禁在线视频| 久久国产对白激情浪潮| 无码WWW免费视频网站| 久久久久久久78| 99老司机精品视频在线观看| 日韩天天本| 激情综合二| 国产精品69久久久久孕妇欧美 | 日韩AV色图| 人妻精品一区二区| 色九九综合| 人人妻人人爽| 人妻-91porn| 亚洲欧美碰碰| 亚洲 欧美 综合 91| 国产区91柔拿会所技师| 91热热色| 男女猛烈无遮掩视频免费软件| 人妻爽爽啪视频| 日韩乱插| 精品国产一区二区三区香蕉欧美| 人妻少妇精品久久久久久| 精品无吗久久| 国产成人资源| 免费久久一级毛片大黄| 欧洲站一级二级三级h| 少妇一线天久久久久久| 久久一级无码精品毛片6| 欧美日本不卡在线| 秋霞鲁丝午夜无码一区二区三| 99热这里只有精品99| 欧美一级特黄淫片在线观看| 亚欧色图在线激情| 91网站18禁| 久久久久久久久久久999| 人人看人人摸人人色| 久久久久亚洲熟妇熟女| 色汉综合| 99热在线只有精品| 人妻丰满熟妇av无码区蜜桃| 精品射1999| 91麻豆天美传媒HD| 一本一道vs波多野结衣| 九九99精品视频在线观看| 亚洲日韩av一区二区三区百合| 天天操夜夜嗨| 91P0RNY大屁股人妻| 男人的天堂Va| 人妻熟女一区二区三区视频| 99精品无码| 狠狠爱AV| 亚洲 欧美 偷拍 唯美| 久久性爱视频免费看| 久久9久9久99久9久9| av天堂精品久久| 欧美色图 色综合图| 亚州欧美另类| 人人操人人肉久久精品| 51一区二区三区| 亚洲 欧美 中文 日韩超碰| 国产精品成人无码av| 大二网站亚洲| 视频国产欧美在线播放| 影音先锋少妇| 麻豆60秒| 久久激情视频| 草草网站影院白丝内射| 色狠狠综合噜一二三区| 超碰97伊人| 精品亚洲国产成人精品| 亚洲AV资源| 欧美亚洲宗合色性图| 99精品丰满人妻无码| 亚洲天堂一区| www.97在线| 97精品国产精品免费观看| 97超碰精品图片| 久久亚洲欧美中文字幕国语| 91精品无码人妻系列| 青青爽| 国产亚洲色婷婷99精品91| 国产91 丝袜在线播放 | 99免费视频| 精品乱码久久久久| 中文字幕一区二区在线日韩精品| 大香蕉伊在线久草麻豆天堂故事| 国产精品高清2021在线| 色香阁在线| 亚洲天天更新| 麻豆区99999| 亚洲综合九九| 一区二区三区四区姦女| 日日夜夜精品视频| 人妻久热在线| 日韩操啪| 蜜臀久久99精品| 成年人三级黄色片视频| 欧美草草| 26uuu国产| 中文字幕免费在线观看| 久久久久久人妻| 欧美高清色| 东京日日夜夜| 欧美91网| 超碰人妻中文在线| 久久综合九九| 日韩一级二级三级免费看完整版| 亚洲熟妇无码一区二区三区| 久久美国毛片| 久久久久成人亚洲国产| 久久伊人最新网址视频| 久久骚少妇| 国产精品久久久久无码AV会牛| 丝袜色综合| 狠狠干狠狠色| 无码粉嫩白虎一线天b区| 嫩草影院在线观看精品| 日本 情色 1区2区3区| 亚洲性综合9| 色欲av一区二区三区蜜芽| 亚洲精品黑丝| 欧美色图成人网一区二区 | 91天天综合网| 亚州欧美总和| 亚洲人精品久久久喷水| 国产成人自拍视频在线| 亚洲第一免费视频| 96麻豆精品一区二区三区| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 精品.99999| 凸凹视频在线观看| 亚乱色| 激情五月天中文字幕色| 精品少妇高潮久久| 嫩草黄页| 综合色图亚洲欧美| 蜜乳av首页| 内射夫妻三片| 男人天堂网站| 日韩有码中文字幕女同性恋 | 国产 热久久久久国产精品| 中文字幕久久精品一区| 骚乳在线| 久久这里都是精品| 欧美亚洲综合色| 综合色播| 欧美黑人精品一区二区| 18禁免费视频| 色婷婷六月丁香七月婷婷| 91亚洲网站| 亚洲性猛| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 性爱av在线免费观看| n1038 一二三区| 91九色首页| 国产精品无套内谢| 涩涩这里只有精品视频| 亚洲啪AⅤ永久无码| 中日韩久久久免费看| 18岁禁 茉莉成人久久| 亚洲国产欧美日韩人妻日中文| 天天躁日日躁成人字幕aⅴ| 天天插夜夜操| 久久青青草原免费视频| 麻花豆传媒剧国产MV出差| 人人操我人人干| 中文字幕精品免费一区二区| 国产精品久久久久久高清无码免费看| 无码区蜜乳| 国产成人91一区二区三区| 欧美一区二区三区互相| 性色av大全| 日韩无码黄色片| 国产亚洲精品第一最新| 精品久久久久久亚洲| 九九天堂| 91操人| 精品人妻视频一区二区三区蜜桃视频| 亚洲男人bt天堂| 日韩美脚一区二区网站| 欧美专区在线| 麻豆国产成人精品| 亚洲春色欧美| 91操熟女| 曰韩av中文字幕专区| WWW黄片COM| 97日本超碰综合| 欧美日本成人一区二区| 天天做日日爱夜夜爽| 亚洲黄色a级片| 美女啊啊啊啊pc| 大香蕉手机在线视频| 中文高清一区二区的| 熟妇人妻精品一区二区视频色欲| 伊人97色天使| 国产人妻精品一区二区三区秋霞 | 欧美顶级黄色大片免费| 四虎影院成年人片| 久久精品一区二区三区不卡| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 欧美强奸乱能| 日日夜夜干| 精品乱码久久久久| 91观看 国产白丝| 熟妇xxxxx性春色| 91性高潮久久久久久久久| 精精夜夜| 91n处女在线观看| 久艹日日日| 麻豆成人AV| 国产乱码精品一区二区三区四川| 欧美高清91| 啊啊啊啊啊啊啊啊啊在线观看| 超碰97在线中文| 欧美色图片色哟哟| 亚洲国产av中文字幕久久 | 超碰欧美COM| 久久国产在线一区二区| 婷婷五月天丁香花| 亚洲脚交| 亚洲制服欧美另类内射| 四虎免费看黄| 最新国产精品| 18禁网站在线播放| 婷婷色导航| 四虎免费视频| 欧美αv.com| 亭亭丁香激情| 亚洲天堂久久| 全球成人中文在线| 老熟妇综合| 午夜毛片高清免费不卡| 精品丝袜无码一区二区三APP| 无码人妻丰满熟妇奶水区毛片| av中亚| 曰韩成人免费视频| 婷婷色在线| 东北女人| 99亚洲国产精品色一区二区三区| 无码免费精品高清| 在线小视频| 在线a亚洲视频播放在线| 男人的天堂在线有码| 一本色道久久综合精品婷婷| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 中文久久| 天天超级碰碰碰| 涩涩久久精品| 国产性爱强奸乱伦大全| 91亚洲不卡一区| 日韩欧美传媒一区国产| 国产精品爽爽va在线观看98| 91女色| 日本999精品视频| 97日韩超碰超碰中文字幕| 91人妻爽爽人人做人人澡| 天天做日日爱夜夜爽| 色综合网1| 久久精品国产亚洲AV嘿嘿| 国产伊人自拍| 欧美性性性| 九九色逼| 久久久久夜夜夜夜| 欧美18禁91| 亚洲精品无码成人久久久99| 麻豆91熟妇人妻中文字幕茄子| 亚洲 综合 欧美| 香蕉黄色一级视频| 久久黄黄黄| a人欧美综合天堂麻豆| 免费家庭乱伦视频| 黄页网站成人免费| 日日夜夜青青草母狗| 日韩999| 激情五月综合开心五月| 宗合情欲网| 欧美一区二区三区另类精品| 久久加勒比| 国产情色第一第二页在线观看| 日日干夜夜干| 蜜桃无码AV一区二区| 热无码中文亚洲H一道本一区二区| 国产精品色哟哟| 情色AV电影| 久久综合资源一区二区| 五月丁香六月综合缴清无码| 九九九精品一区二区无码| 天综合网| 色99视频| 日本福利二区视频| 加勒比伊人| 天天做天天爱| 中文字幕免费在线观看| 亚洲第一二区另类图| 26uuu欧美| 国产亚洲精品激情| 久久中文色图| 青青草原狼av| 青青草自拍视频在线播放| 久久美女福利是上海美女| 国产丝袜一区二区三区| 九九九九88| 天天插天天干| 黄色高清无码无码破解免费暗网 | 久久久久免费少妇| 久久香蕉综合一本到3atv| www.91人妻.com| 黄色人人| 亚洲阿v天堂无码z2018| 神马九九| 国产精品成人无码a v毛片| 亚洲91射| 亚洲美女高潮喷水视频| 国产AV人人夜夜澡人人爽麻豆| 91AV天堂| 很狠操| 91男人天堂网| 一卡二卡在线播放| 啊啊啊啊好爽好舒服一区二区易域| 久肏视频字幕| 欧美日韩久久精品爱爱| 91老熟女| 综合久久少妇中文字幕| 欧美性爱18观看| 欧美性爱中文字幕无线码| 激情五月天丁香| 人妻AV在线| 91最新综合| 欧美性爱一区二区三区四区| 密臀视频一区二区三区| 欧美另类丝袜熟女| 91综合网站| 国产二区三区免费视频| 超碰国产精品久| 网页导航五月天免费一二三区| 色色操| 国产精品网站免费| 久久日韩肥臀| 黄色人人| 欧美综合97www| 亚洲日韩熟女人妻高清在线| 麻豆成人AV| 国产丝袜欧美在线视频| 天天做天天爽| 久久综合超碰| 国产一区二区三区白丝| 日本免费中文字幕在线| 日韩成人人妻网站| 蜜桃臀一区二区aV| 再深点灬舒服灬太大了好硬好爽| av激情亚洲五月天| 麻豆视频国产一区二区| 920日本午夜免费| 欧美日韩黄色片一区二区三区四区人与兽做爱| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 爽爽歪在线视频| 日韩传媒在线| 亚洲高清91| 97色网| 探花激情视频| 久久99热这里只频精品6学生| 做爱福利视频一区二区| 91成人无码| 日韩激情中文字幕有码| 天天干天天干天天干| 91高跟美女在线播放| 日韩性爱长视频免费| 亚洲超碰在线| 日本伦理一区二区| 精品福利| 色色色网站| 色网综合网| 后入国产| 99热自拍| 综合五月天| 干婷婷综合网| 88在线一区二区三区| www.91理论| 成人热久久精品| 免费在线黄片视频| 日韩人妻一区二区| 黄色操人| 又大又白奶子| 亚洲 中文 欧美 日韩 在线| 久久黄色视频一区二区三区 | 人人操AV| 青青草好吊色| 精品无吗久久| 少妇熟女1区2区3区| 九九热超碰97亚洲最新香蕉| 免费黄色片。| 久久精品一区二区三区蜜桃臀| 51一区二区三区| 日韩99999| 一区在线观看中文字幕| 久久尹人大香焦视| 九X超碰| 亚洲综合另类小说色区亚洲成av人片在www| 四虎AV影视国产精品亚洲精品| 黑人狂躁日本妞一区二区三区| 亚洲综合草草| 色999人与兽| 欧美日韩电影成人在线| 日韩中文9| 综合五月天| 99亚洲精品| 91亚洲欧美综合高清在线| 婷婷色网| av在线一区二区三区| 久久久性少妇| 夜夜操91744565| 国产亲戚伦亲在线| 91欧美大片| 亚av顶级裸体一区二区三区四区五区| 静品嫩模一区二区| yaouchengrenav| 久久精品中文| 综合一区中亚洲国产成人综合精品| 中文字幕一二三| 国产乱码久久久久久| 日韩有码一区三区| 久久久亚洲Av| 少妇久久久久久久| 中文字幕青青草| 激情AV| 超碰人人操97碰| 搡老女人老91二区| 青青草原伊人网| 97在线青| 亚洲不卡AV在线| 久久精品国产亚洲AV无码电影| 欧美狠狠干| 久久9免费视频| 香港成人一级视频在线青青草| 国产亚洲综合欧美一区| 日韩成人精品视频自拍| 亚洲成人精品在线一区| 精品人妻一区二区三区日产乱码| 亚洲AV不卡在线观看| 国厂麻豆77q4| 国产SV一线| 天天干2区3区| 欧美色偷拍 | 国产视频一区二区三区在线免费观看 | 大香蕉中文| 91N综合网在线| 天天看高清麻豆| 综合网~91综合网| 麻豆影音天美视频| 亚洲综合影片| 国产一级久久久| 久草视频制服诱惑| 一区在线观看中文字幕| 欧美色网| 国产精品爱欲| 色乱二区| 欧美视频一区二区在线| 偷窥自拍亚洲天堂网爆| 国产亚洲日韩在线三区黑人| 中文字幕交换人妻| 精品一区二区人妖| 免费啪啪av| 成人亚欧免费视频| 国产精品一级特黄aaa大片在线观看| 伦理第一页| 男人天堂网址| Aa东京男人的天堂| 中韩中文字幕在线观看| 999精品乱码| 97免费视频在线观看| 久 久无码人妻AV| 97免费视频在线| 国产91亚洲精品一区二区三区| 在线人成亚洲视频免费观看| 人人摸人人叼| 91大学精品激情戏| 久久伊人网视频一区二区三区 | 精品久久在线区一区| 五月天伊人| 韩日自拍| 精品亚洲天堂| 国产精品美女在线一区| 大香蕉黄色一区| 久草视频制服诱惑| 中文字幕av一区二区三区人妻少妇 | 99久热精品99re6热| 国产精品乱码久久久久久| 国产13区| 91处女在线视频| 欧美日韩资源| 欧美成人一级免费电影| 精品久一区免费| 中文字幕伊人| 日本中文熟女视频| 中国乱伦一区二区| 91色艳| 97免费视频在线观看视频| 天天干人人乐| aaaa黄片| 97在线观看免费视频l| 欧美性爱超碰97| 无码伊人久久大杳蕉中文无码| gogogo免费高清看中国国语| 婷婷伊人| 久久人妻无码毛片A片麻豆| 日韩有码中文字幕女同性恋| 香蕉免费一区二区三区不读| 97超碰欧美精品| 97色操| 午夜福利无毒不卡| 精品久久在线区一区| 97超碰精品| 免费自拍三级综合| 久久久久久夜夜夜夜夜| 综合性视频99| 日本熟女中文字幕一区| 夜夜嗨绯色| 精品国产Av无码久久久亚洲| 无码99| 97精品在线视频| 亚洲中文字幕三级在线| 97网址97| 男人的天堂一区三区| 亚洲最大的黄色电影网站。| 中文字幕丰满人妻日本| 中文有码第五页| 大香蕉视频一二三区| 青青草原人妻| 欧美精品三区| 先锋音影AV| 亚洲精品乱码久久久久久蜜桃麻豆 | 欧美日韩传媒| 在线观看一级α片刺激高潮视频| 一级A啪啪啪啪| 99久热| 久久超碰天天| 亚洲欧美日韩有码| 第四色色综合91| 成熟熟女国产精品一区二区 | 啊啊啊啊免费视频| 久久久99久9| 国产一区二区a毛片| 综合色色婷婷| 抽插无码高清一区| 五月丁香| 九一综合网| 久久精品无码专区| 777奇米影视777四色| 俺去也婷婷| 激情文学网伊人| 国产99久久99热这里只有精品15| 国产精品视频白浆免费| 久久大香蕉| 亚洲AV无码| 东北女人的毛片| 中文啪啪视频| 五月天激情网图片| 国产91精品久久久久久久网曝门| 亚洲极品| 秋霞影音一区二区三区| 抽插无码高清一区| 色欲人妻一区二区在线| 欧美成97爱| 污污汅18禁网站在线永久免费观看| 在线播放成人高清免费视频 | 啊啊啊啊网站| 日本有码久久| 中文字幕一区二区无码成人| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 色色色综合网| 大干人妻| 成人午夜视频免费播放| 999热这里只有精品| 六六久久日韩不卡| 欧美碰碰综合色| 久久综合久久综合人久久夜精品| 上特色A在线| 一区二区视频在线播放| 手机久操欧美综合色码| 强奸乱伦AV一天堂网| 久久99亚洲精品久久99果| 熟女精品日韩一区二区三区| 97一区二压| 亚洲国产第一页综合视频| 亚洲蜜乳av| 神马久久久久久久| 天天肏夜夜肏| 性欧美| 国产成人主播| 国产白嫩精品久久| 啊啊啊好爽快点啊啊啊嗯嗯| 国产日韩欧美亚洲精品95 | 91色图片| 精品一区二区啪啪啪| 亚洲图片欧美在线视频| 99久久精品国产高潮| 日本性爱视频一级| 日韩一级二级在线| 99综合| 一级啊性爱在线视频| 欧美色乱| 亚洲成人ab| 0755午夜福利视频| 男生通女生屁股| 久久丁香| 五月丁香六月婷| 国产超碰在线| 操久久久久久| 长长久久曰曰夜夜成人网| 日韩性爱网址| 99性爱在线观看| 日韩欧美中文| 久久精品高清AV| 91操人| 国产高潮AA片免费看| 精品人妻美妇91job| AV九九| 99色| 亚洲欧美性生活| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 欧美久久人体| 少妇无码999| 欧亚日韩一区在线| 欧美国产精品久久九九| 三级精品三级在线观看| 操迟操逼在巾线Fre看| 亚欧高清在线| 色婷婷丁香| 婷婷精品| 日本精品88888888| 香蕉免费一区二区三区不读| 超碰人妻97| av网站在线观看了| 婷婷亚洲综合| 精品美女在线视频| 97操B| 成人免费看吃奶视频网站| 亚洲AV无码成人精品久久| 9久综合网| 国产1727欧美| a亚洲欧美色欲| 免费的黄片wwwwww| 欧美色图亚洲特色| 人人妻人人爽一区二区三区| 夜夜嗨老熟女AV一区二区三区| 色五月AV| hd成人一区二区在线| 欧美日韩国产传媒在线精品| 色亚州人久干视频在线观看免费版| 国产嫩草精品A88AV| 亚洲精品99999| 免费的很黄很污的全部视频| 亚洲AV无码天美传媒一区| 久久 久久国内精品亚洲| 91综合在线| 久精品无码av一区二免费国产在线观看| 又大又白奶子| 午夜精品久久久久久久第一页按摩| 超碰人人操97碰| 夫妻四区五区六区| 国产九九九九九九| 天天艹天天日| 久久亚洲不卡一区二区三区 | 日天天九九天堂666| 国产三级中文字幕粉嫩| 懂色Av| 日本免费一级AAA大片器 | 欧色综合| 蜜臀久久99精品久久久久久-DVD原版全| 中文字幕一区二区三区视频播放| 91青青在线| 亚洲一区二区三区久久 亚洲一区二区| 久久久久久久一级黄色打同平台| 久久久日本电影| 久久黄人人爽视频| 黑丝少妇麻豆| 欧美色图私拍91| 欧美色图第一页| 大香蕉伊人色偷偷在线| 女人喷水视频在线观看| 日本好吊色视频| 日本久久久久久久久久| 香蕉婷婷| 中文字幕天堂在线| 国产剧情一区在线观看| 天天躁日日躁狠狠躁| 欧美亚洲20p| 午夜男女爽爽爽影院视频| 久久久久免费看少妇A片特黄| 伊人aaa| 欧美亚洲| 96国产精品| 女优视频第10页| 99蜜桃臀亚洲成人在线观看| www亚洲免费| 人人综合| 女人被男人桶爽视频网站| 欧美国产视频| 四虎国产精品永久地址入口| 久久9精品网站| 国模一区二区三区| 国产欧美日韩一区二区三区| 91白虎| 国产成人无码久久精品| 99欧美| 日本人妻中文字幕精品| 亚洲 中文 欧美 日韩 在线| 不卡超碰护士AV在线免费播放| 免费在线观看AV无码网站| 亚洲国产一区二区三区在线| 日韩欧美成人午夜福利| 麻豆 亚洲 97| 日韩欧美中文| 97爱综合| 一本色道久久综合狠狠操| 天美国产三级传媒| 成人网站 免费观看| 快播久久人人aV| 中文字幕88av在线| 99在线免费观看| 亚乱色| 国产福利合集| 超碰人人干天天射| 啊啊啊啊啊啊啊好爽不要| 骚逼高潮久久精品| 亚洲成人一区二区精品| 日本国产亚洲一区在线观看| 国产超碰97| 黄色大片一区二区密桃丝袜| 成年女人18级毛片毛片免费观看| 一区在线精品中文字幕| 综合五月天| 久久综合久色欧美综合狠狠 | 偷窥自拍亚洲色图| 依人大香蕉| 日韩高清黄片| ji熟女.com| 久久香蕉综合一本到3atv| 91艹B视频| 一本久道久久综合狠狠爱一密臀精 | 日韩激情毛片一级久久久| 婷婷五月天色| 爽极品影院| 干干干天天| 一类无码操逼视频| 天天躁日日躁AAAAXXXX国产| 极品销魂美女一区二区| 日本久久女同性恋视频| 色欧美亚洲| 粉嫩av一区二区三区天美传媒| 亚洲日韩欧美一区二区| 九一综合网| 成熟熟女国产精品一区二区| 久久少妇人妻| 91成人社区| 加勒比少妇AV婷婷六月天超碰超碰| 白丝少妇一区二区| 亚洲综合另类欧美久久久| 97精品一二区| 久久999久| 亚洲国产中文字幕| 超碰97人人乐| 好爽视频在线观看视频| 在线日韩精品一区二区三区| a片偷拍视频| 亚洲国产欧美一区二区潘金莲| 三级特黄60分钟播放| 极品综合| 日本Xx性爱| 五月婷婷六月激情| 国产欧美一区二区| 欧美白嫩在线放| 午夜AV污污污| 亚洲人天堂| 日韩免费三级黄片电影| 一区二区三区 日韩欧美| 91黑人无码激情在线| 蜜臀久久99精品久久久久久久久| 麻豆精品天美| 91国模| 欧美的性爱网站免费| 日韩不卡a级视频专区| 欧美在线官网| 国产丸一视频| 欧美黄色手机在线观看| 在线人人人人人人精品超| 超碰人人超在线观看| 欧美专区在线| 香蕉大久久久| 天天干18禁| 日韩乱伦影音先锋| 五月婷婷六月丁香| 内射黑丝袜| 97色亚洲| 婷婷丁香五月激情啪啪| 青青青青草av在线观看| 国产一区在线看| 欧美日韩性爱操大逼| 超碰97玖玖爱| 九九九九热| 香蕉久久国产AV一区二区| 黑人与人妻| 国产精品不卡一区二区三区av| 五月丁香激情综合网| 东北丰满熟女国产一区 | 伦理片秋霞免费影院| 日韩熟女精品无码专区一区二区| 久草电影网| 手机在线人成免费视频| 成人A片男人的天堂| 好属操| 婷婷操逼| 狠狠97| 久操视频资源站公开| 99re69| 精品人成视频在线观看| 五月丁香啪啪啪| 91久热| 人人扣人人操| 97久久天天综合色天天综合色电影 | 久久99视频| 天天超级碰碰碰| 成人小说另类在线| 五月婷婷综合激情| 77国产精品| 亚洲色图尤物视频| 蜜臀久久99精品| 成人怡红院| 国产强奸乱伦欧美| 久久婷婷亚洲| 9精品久久久久| 欧美在线中M| 青草av在线| 超碰综合97在线| 黄色AAAAA欧美| 99九九久久| 欧美性爱超碰97| 亚洲精品无码久久AV| 91色鬼| 日夜伊人网| 人妻天堂三区| 一区二区三区视频国产免费| 91久久18禁| 啊啊啊水好多| 中文字幕国产精品1区| 干少妇视频| 久久蜜桃综合网| 亚洲av综合色区图片亚洲| 热的中文 热的有码 热的国产| 五月天婷婷色色| 在线αⅴ| 亚洲丝袜少妇在线| 色天使大香蕉| 欧美天天弄| 欧美人妻二区三区| 天天操夜夜嗨| 国产美女在线精品免费看| av2014 日韩在线中文字幕| 久久久久久久 九九九九九九九| 91三级理论片播放器| 这里都是精品| 亚洲av无码成人精品国产| 91黑丝操| 亚洲激情综合| 91熟女视频网| 亚洲欧美另类少妇精品| 蜜臀av在线播放一区二区三区| 日韩A优精品在线观看| 26uuu成人影片| 欧美性暴力猛交| 欧美精品,四区。五区| 欧美激情 日韩精品| 男人兔费天堂| 亚洲婷婷五月天| 婷婷久久综合久| JULIA一区二区三区在线播放| 人妻二区| 97国产精品一区| 色狠狠一区二区三区香蕉| 黄色十八禁| 亚洲青色欧美| 干B| 区二区亚洲婷| 香港日本韩国人妇99www.wccm20| 日本三级人妻a人妻一在线| 中文字幕啊啊啊在线观看视频| 操逼网免费无码视频| 免费A V在线播放| 思思热在线cao| 国产精品久久久久久久毛片1| 国产一区二区三区视频在线看| AV麻豆免费一区| 亚洲精品白浆高清久久久久久| 家庭乱伦麻豆| 女沟厕偷窥piss小便| 黄色免费网| 日韩精品在线放| 久久欲| 国内亚洲精彩视频在线| 一级啊性爱在线视频| 一中国女人毛片水真多| 97干在线视频| 97超碰人人操人人操| 色噜噜国产精品视频一区二区| 另类 综合 日韩 欧美 亚洲| 暖暖精品二区三区观看| 亚洲限制级| 97射欧美| 亚洲无码电影久久久| 无码操逼视频一下| 秋霞影音一区二区三区| 人妻丝袜无 码视频专区| 一区黄二区黄| 天堂资源站| 欧美综合色,www| 久久双插| hd成人一区二区在线| 日韩一区二区精品视频| 人人妻人人操人人乐| 国产精品久久久999| 久久精品一区二区| 青娱乐福利99| 日韩成人大片在线观看| 日韩激情视频| 欧美色视| 亚洲无线码一区国产欧美国| 欧美黄页在线| 超碰综合97在线| 欧美日韩大香蕉| 丁香婷婷大香蕉| 亚热日本熟女| 私人尤物在线精品不卡| 国产激情在线| 人妻激情视频| 高潮精品| 国产亚洲精品一区二区三区| 亚洲一欧洲中文字幕在线| 精品午夜福利国产一区二区在线观看| 国产操伦| 国产在线76页| 久久老女人| 激情色播| 4虎在线视频| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 亚洲不卡AV在线| 婷婷色网| 亚洲青青草| 久久久久久久久一区二区三区| 中文字幕在线免费观看| 成人无码在线视频网站| 九九aV| 97日本超碰综合| 天天色怡春院| 天堂网亚洲区手机版| 亚洲h片在线免费观看| 99日精品欧美国产| 青青久操| 可以在线观看的黄色网址| 久久爱超碰网| 97日韩| 粉嫩在线一区二区懂色| 青青草色情网站视频| 呦呦一区| 亚洲Av无码成人精品国产| 91麻豆天美国产欧美日| 粉嫩AV输入| 中国AAAAAA黄色片| 亚洲成人在线播放| 中文字幕二区| 国产精品成人AV片免费看网站| 六月婷婷色综合| 校园春色 亚洲| 操逼不卡中文字幕| 天天操熟妇| 亚洲麻豆精品二区三区| 亚洲色交| 超碰成人免费| 精品无人区麻豆乱码1区2区图片| 丝袜剧情| 久久国语| 免费岛国一级片| 玖玖婷婷五月天| 国产剧情在线| 天天综合AV| 97干在线| 国产玖玖| 啊啊啊想要| 中文字幕在在线观看网站| 狠狠91| 青青草在线视频欧美| 九九九九热| 成人影 天天操 亚洲| 一本久道久久综合狠狠爱一密臀精 | 日韩欧美午夜一区二区| 啊啊啊啊啊啊啊在线| 99久热| 国产精品人人爽人人做可爱福利 | 偷拍视频青青草在线视频| 九九在线视频| 色牛aV| 99日视频在线免费| 九色 人妻 大香蕉| 国产熟女免费观看久久| 97操B| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 很黄很污的免费网站| 日本免费一区二区不卡| 秋霞视频一区二区| 欧美色另类| 不卡在线一区,精品一区二区三区中| 精品久9| 久操高青| 国产熟女少妇一区| 欧美系列在线一区二区| 天天摸夜夜添无码小视频| 激情综合网激情综合| 欧美色图片色哟哟| 96一区二区三区| 亚洲日韩XXX| 97视频在线观看网站| 乱码熟妇人妻久久久| 麻豆国产av网| 野狼激情网| 国产不卡片| 91美女中出| 97香焦色区| 天天日天天爽| 亚洲成人碰碰| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 婷婷亚洲中文字幕在线| 久草福利在线资源站| 欧美大波激情xxxx| 999精品乱码| 午夜毛片亚洲精品片国产久久久| 中文字幕欧美日本乱码一线二线| 亚洲第一二区另类图| 熟妇亚洲一区二区三区| 操人妻少妇中文| 97干在线视频| 日本天天色| 精品-91人妻子系列| 国产精品一级片在线看| 免费a级毛片av无码久久精品中文字幕| 60秒不遮不挡| 天天做天天爱| 中文字幕乱亚洲美女精品一区| 女人香蕉久久毛毛片精品| 欧美伦乱| 1024精品在线| 国产性爱强奸乱伦大全| 亚洲色图一区二区三区| av毛片aaaaa免费看| 亚洲熟伦熟妇AV无码春色| 熟女乱3伦999| 国产高清免费不卡av| 操逼视频亚洲| 激情综合婷婷| 91老司机在线视频免费观看| 欧美熟妇精品黑人巨大一二三区| 九一综合精品视品av| 懂色AV中文| 老女人碰碰在线碰碰视频| 97精品人妻一二三四| 亚洲天堂资源在线| 乱人乱色一区二区三区免费| 亚洲麻豆18发?| 91美女视频在线观看| 蜜乳中文字幕a在线| 日本欧美亚洲高清在线看| 六月天婷婷| 午夜后入| 老女人综合| 人人摸人人添人人操 | 久久久久国产精品久久久| 亚洲97| 99视频自拍| 欧美最婬乱婬爆婬性视频| 国产后入清纯| 9丨久久九九九| 一区二区三区黄片免费观看| 欧美精品99久久久| 大香蕉琪琪日本女优不卡| 97日亚洲欧美| 秋霞无码av鲁丝片一区| 伊人AAA| 四虎精品一区| 日本孕妇一区二区视频操逼免费看| 国产一区在线免费播放| 夜夜肏2021| 啪啪啪男女亚洲中文字幕99| 国产一区二区免费福利片| 五月天婷婷成人网| 中文字幕超碰CAO| 日韩啊V| 激情深爱五月天| 夜夜嗨免费视频| 99久久精品无码一区二区毛片免费| 亚洲欧美精品一区天堂久久 | 二三四区精品| 自拍偷拍草一草| 人人手机欧洲亚洲国产人妻| 综合久久97| 97综合在线观看| 五月天婷婷社区| 狠狠色婷婷777| 少妇熟女视频一区二区三区| 日本免费专区| 蜜桃久久久久久久久久久久| 国产一区二区三区白丝| 操逼网站地址| 亚洲少妇视频| 高跟丝袜AV专区国产| 九九热免费国产视频婷婷伊人五月 | 啊啊啊想要| 久久久蜜桃一区二区三区| 日本Suv精品一区二区| 超碰97起碰| 精品无码久久久久久久久果冻糖心| 东京太热久久久| 内射夫妻三片| 青青草狠狠撸| 激情九月婷婷| 欧美91精品国产自产| 日本 免费 一区二区三区 久久香蕉 | 国产传媒美日韩av| 手机在线播放国产福利| 九草九九九| 热热色91| 色色色欧美| 9久久美女首页| 天天操人人操狠狠插| 久久久久密臀视频| 国产精品久久成人免费| 97视频在线视频| 免费av高清无码| 中出后入| 3P乱轮视频| 99少妇内射| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 亚洲AV永久无码精品成人调教| 天天欧美色| 一区三区啪啪| 韩国黄片aaaa| 亚洲欧美日韩中文播放| 欧姜老司机| 日本黄色天堂| surenchaopeng| 91欧美成人色站| 狠狠干狠狠色| 久草免费福利在线播放| 亚洲少妇自拍中文字幕懂色| 欧美日韩222| 美国黄片aaa| 久久风骚城市人| 嫩草伊人久久精品|