1. 一個(gè)典型的日志分析困境為什么我們總在“兩套系統(tǒng)”之間疲于奔命如果你負(fù)責(zé)過(guò)線上系統(tǒng)的運(yùn)維、監(jiān)控或者業(yè)務(wù)數(shù)據(jù)分析下面這個(gè)場(chǎng)景你一定不陌生某個(gè)服務(wù)在凌晨三點(diǎn)突然出現(xiàn)大量錯(cuò)誤告警響了。你第一時(shí)間需要去日志系統(tǒng)比如 ELK Stack里根據(jù)時(shí)間范圍和錯(cuò)誤關(guān)鍵詞把相關(guān)的錯(cuò)誤日志撈出來(lái)看看具體報(bào)了什么錯(cuò)。這個(gè)過(guò)程通常很快因?yàn)槿罩鞠到y(tǒng)天生就是為了“搜索”而設(shè)計(jì)的無(wú)論是全文檢索還是結(jié)構(gòu)化字段的過(guò)濾都能在秒級(jí)甚至毫秒級(jí)給出結(jié)果。然而當(dāng)你看到日志里頻繁出現(xiàn)一個(gè)數(shù)據(jù)庫(kù)連接超時(shí)的錯(cuò)誤碼時(shí)問(wèn)題才剛剛開(kāi)始。你懷疑是某個(gè)特定時(shí)間段的數(shù)據(jù)庫(kù)負(fù)載激增或者某個(gè)新上線的業(yè)務(wù)接口調(diào)用量異常導(dǎo)致的。為了驗(yàn)證這個(gè)猜想你需要把日志里的時(shí)間戳、用戶ID、接口路徑等信息與業(yè)務(wù)數(shù)據(jù)庫(kù)比如 MySQL、ClickHouse里的用戶行為表、訂單表或者監(jiān)控指標(biāo)表進(jìn)行關(guān)聯(lián)分析。這時(shí)你就得從日志系統(tǒng)里把篩選出來(lái)的數(shù)據(jù)導(dǎo)出來(lái)可能是 CSV 文件然后再寫(xiě)一段 Python 腳本或者打開(kāi)另一個(gè) BI 工具去連接業(yè)務(wù)數(shù)據(jù)庫(kù)執(zhí)行 JOIN 查詢才能得到“在錯(cuò)誤發(fā)生的時(shí)間段內(nèi)哪些用戶的哪些操作最頻繁”這樣的洞察。這就是典型的“兩套系統(tǒng)”困境一套擅長(zhǎng)搜索Search另一套擅長(zhǎng)分析Analysis。日志系統(tǒng)能搜但做復(fù)雜的多表關(guān)聯(lián)、聚合計(jì)算比如計(jì)算錯(cuò)誤率、Top N 用戶時(shí)性能堪憂甚至根本不支持標(biāo)準(zhǔn)的 SQL JOIN而分析型數(shù)據(jù)庫(kù)OLAP雖然分析能力強(qiáng)但面對(duì)海量、半結(jié)構(gòu)化、需要快速檢索的日志數(shù)據(jù)時(shí)其數(shù)據(jù)導(dǎo)入成本和查詢延遲又讓人望而卻步。我們就像在兩個(gè)孤島之間劃船數(shù)據(jù)是貨物每次搬運(yùn)都耗時(shí)費(fèi)力嚴(yán)重拖慢了問(wèn)題定位和根因分析的效率。那么有沒(méi)有可能把這兩件事合二為一能不能像在數(shù)據(jù)庫(kù)里查表一樣直接用一條 SQL 語(yǔ)句既完成對(duì)原始日志的模糊搜索又完成復(fù)雜的關(guān)聯(lián)分析這就是 SelectDB 推出的search()函數(shù)試圖解決的問(wèn)題。它不是一個(gè)獨(dú)立的搜索系統(tǒng)而是內(nèi)嵌在 SelectDB 這個(gè)高性能分析型數(shù)據(jù)庫(kù)中的一個(gè)“超能力”。其核心思想是讓分析引擎直接具備對(duì)原始數(shù)據(jù)如日志文件進(jìn)行高效搜索的能力從而在數(shù)據(jù)存儲(chǔ)層面就實(shí)現(xiàn)“搜”與“析”的統(tǒng)一。簡(jiǎn)單來(lái)說(shuō)search()函數(shù)讓你可以像寫(xiě)SELECT * FROM logs WHERE column LIKE ‘%error%’一樣去搜索但它背后的性能是傳統(tǒng)數(shù)據(jù)庫(kù)LIKE操作無(wú)法比擬的并且它能無(wú)縫地與數(shù)據(jù)庫(kù)里其他結(jié)構(gòu)化表進(jìn)行聯(lián)合查詢。這相當(dāng)于給你的 SQL 分析能力裝上了一把名為“全文檢索”的瑞士軍刀。2. SelectDB search() 函數(shù)解析當(dāng) SQL 擁有了“搜索引擎”的內(nèi)核要理解search()如何打破搜索與分析的壁壘我們需要先拆解它的工作原理。它不是一個(gè)簡(jiǎn)單的語(yǔ)法糖而是 SelectDB 向量化執(zhí)行引擎與底層存儲(chǔ)格式深度結(jié)合的產(chǎn)物。2.1 search() 不是什么與 LIKE 和 MATCH 的劃界首先要澄清幾個(gè)常見(jiàn)的誤解。很多人第一反應(yīng)是這不就是LIKE ‘%keyword%’嗎或者是 MySQL 的MATCH ... AGAINST與LIKE的區(qū)別LIKE操作在數(shù)據(jù)庫(kù)中是典型的“全表掃描”操作尤其當(dāng)使用通配符%在開(kāi)頭時(shí)如%error數(shù)據(jù)庫(kù)無(wú)法利用任何索引必須逐行逐字符比較性能在億級(jí)數(shù)據(jù)量下是災(zāi)難性的。而search()函數(shù)底層依賴于倒排索引Inverted Index等搜索專用數(shù)據(jù)結(jié)構(gòu)。你可以把倒排索引理解為一本書(shū)最后的“索引”頁(yè)要查“error”這個(gè)詞直接翻到索引頁(yè)找到“error”所在的頁(yè)碼列表而不是從第一頁(yè)開(kāi)始一頁(yè)頁(yè)地找。search()就是利用了這種“索引”機(jī)制實(shí)現(xiàn)了毫秒級(jí)的關(guān)鍵詞定位。與MATCH ... AGAINST(全文索引) 的區(qū)別傳統(tǒng)數(shù)據(jù)庫(kù)的全文索引如 MySQL 的 FULLTEXT確實(shí)提供了比LIKE更好的文本搜索能力。但它通常是一個(gè)相對(duì)獨(dú)立的功能模塊與數(shù)據(jù)庫(kù)的分析引擎復(fù)雜的聚合、多表 JOIN結(jié)合得并不緊密性能優(yōu)化和功能擴(kuò)展有限。更重要的是它通常要求數(shù)據(jù)必須預(yù)先以特定的方式比如插入到有全文索引的表中導(dǎo)入數(shù)據(jù)庫(kù)。而search()的設(shè)計(jì)目標(biāo)之一是能夠?qū)ν獠繑?shù)據(jù)源如 S3 上的日志文件、Kafka 流進(jìn)行“無(wú)感知”的搜索無(wú)需預(yù)先進(jìn)行繁瑣的 ETL 將數(shù)據(jù)導(dǎo)入成數(shù)據(jù)庫(kù)內(nèi)部表格式。所以search()的本質(zhì)是將搜索引擎的核心能力倒排索引、分詞、相關(guān)性評(píng)分以函數(shù)的形式深度集成到分析型數(shù)據(jù)庫(kù)的 SQL 語(yǔ)法和計(jì)算引擎中。它讓 SQL 這門“分析語(yǔ)言”直接擁有了“搜索語(yǔ)義”的表達(dá)和處理能力。2.2 search() 的核心能力與語(yǔ)法初探search()函數(shù)的基礎(chǔ)語(yǔ)法結(jié)構(gòu)并不復(fù)雜但其背后的能力是強(qiáng)大的。一個(gè)最基本的查詢可能長(zhǎng)這樣SELECT timestamp, service, level, message FROM s3_log_table WHERE search(message, ‘error AND timeout’) LIMIT 100;這條 SQL 從外表上看是在查詢一張映射到 S3 日志文件的表s3_log_table。WHERE子句中的search(message, ‘error AND timeout’)是關(guān)鍵第一個(gè)參數(shù)message指定了要搜索的列。這列通常存儲(chǔ)著原始的、非結(jié)構(gòu)化的日志文本。第二個(gè)參數(shù)‘error AND timeout’是一個(gè)搜索表達(dá)式。它支持豐富的搜索語(yǔ)法布爾邏輯AND,OR,NOT(或-)。例如‘error NOT timeout’查找包含 error 但不包含 timeout 的日志。短語(yǔ)搜索用雙引號(hào)包裹如“connection reset”表示精確匹配整個(gè)短語(yǔ)。通配符?匹配單個(gè)字符*匹配多個(gè)字符。如‘timeout*’可匹配timeout,timeouts。字段限定搜索如果日志被解析成結(jié)構(gòu)化數(shù)據(jù)如 JSON你可以搜索特定字段。例如假設(shè)日志中有json_extract(attributes, ‘$.user_id’)字段可以寫(xiě)作search(*, ‘user_id:12345 AND error’)這里的*代表搜索所有被索引的列。當(dāng)執(zhí)行這條語(yǔ)句時(shí)SelectDB 不會(huì)去掃描全部的message文本而是會(huì)利用為message列預(yù)建或?qū)崟r(shí)構(gòu)建的倒排索引快速找到所有包含 “error” 和 “timeout” 的文檔 ID然后再去獲取這些行的其他列timestamp,service等數(shù)據(jù)。這個(gè)過(guò)程是向量化、并行的效率極高。注意search()的高性能并非完全“免費(fèi)”。為了達(dá)到最佳效果通常需要對(duì)目標(biāo)列建立倒排索引。在 SelectDB 中你可以在建表時(shí)通過(guò)INDEX關(guān)鍵字指定或者對(duì)已有表添加索引。這是用一定的存儲(chǔ)空間和索引維護(hù)成本換取查詢時(shí)的巨大性能提升是典型的空間換時(shí)間策略。3. 實(shí)戰(zhàn)用一條 SQL 串聯(lián)日志搜索與業(yè)務(wù)分析理論說(shuō)得再多不如一個(gè)真實(shí)的場(chǎng)景來(lái)得直觀。我們假設(shè)一個(gè)電商場(chǎng)景你既是運(yùn)維也是數(shù)據(jù)分析師。你的 Nginx 訪問(wèn)日志實(shí)時(shí)寫(xiě)入 Amazon S3格式包含timestamp,url,status_code,user_agent,response_time_ms等字段。同時(shí)你有一個(gè)在 SelectDB 內(nèi)的業(yè)務(wù)訂單表orders包含order_id,user_id,create_time,amount。傳統(tǒng)方式先到 S3 的日志查詢界面或通過(guò) Athena 等工具搜索status_code500的日志導(dǎo)出時(shí)間段和user_id從 URL 或 POST 參數(shù)中提取再去訂單庫(kù)查詢這些用戶在對(duì)應(yīng)時(shí)間段的訂單行為。步驟繁瑣且無(wú)法做實(shí)時(shí)關(guān)聯(lián)。使用 SelectDB search() 的方式我們可以創(chuàng)建一個(gè)外部表nginx_logs_external映射到 S3 的日志存儲(chǔ)位置。然后用一條 SQL 解決所有問(wèn)題WITH error_logs AS ( SELECT -- 從日志中解析出用戶ID假設(shè)URL中包含 /api/user/{user_id}/action split_part(split_part(url, ‘/user/‘, 2), ‘/‘, 1) as parsed_user_id, timestamp as error_time, url, response_time_ms FROM nginx_logs_external WHERE search(*, ‘status_code:500 AND response_time_ms:1000’) -- 搜索狀態(tài)碼500且響應(yīng)超時(shí)的日志 AND timestamp NOW() - INTERVAL ‘1‘ HOUR ), user_orders AS ( SELECT o.user_id, COUNT(o.order_id) as order_count_last_hour, SUM(o.amount) as total_amount_last_hour FROM orders o WHERE o.create_time NOW() - INTERVAL ‘1‘ HOUR GROUP BY o.user_id ) SELECT e.parsed_user_id, e.error_time, e.url, e.response_time_ms, COALESCE(uo.order_count_last_hour, 0) as order_count, COALESCE(uo.total_amount_last_hour, 0) as total_amount FROM error_logs e LEFT JOIN user_orders uo ON e.parsed_user_id uo.user_id ORDER BY e.response_time_ms DESC LIMIT 50;這條 SQL 做了以下幾件“傳統(tǒng)上需要多系統(tǒng)協(xié)作”的事實(shí)時(shí)搜索search(*, ‘status_code:500 AND response_time_ms:1000’)部分直接對(duì) S3 上的原始日志文件進(jìn)行聯(lián)合條件搜索。它同時(shí)滿足了數(shù)值范圍response_time_ms:1000和文本匹配status_code:500的需求。數(shù)據(jù)解析在 CTE (error_logs) 中使用split_part函數(shù)從 URL 中現(xiàn)場(chǎng)解析出user_id無(wú)需預(yù)先 ETL。關(guān)聯(lián)分析將解析出的用戶 ID 與另一個(gè)內(nèi)部表orders進(jìn)行LEFT JOIN關(guān)聯(lián)查詢出這些用戶在錯(cuò)誤發(fā)生前一小時(shí)內(nèi)的訂單活躍度和消費(fèi)金額。聚合與排序最終結(jié)果按響應(yīng)時(shí)間降序排列并關(guān)聯(lián)上了業(yè)務(wù)指標(biāo)。整個(gè)過(guò)程在 SelectDB 一個(gè)系統(tǒng)內(nèi)完成數(shù)據(jù)無(wú)需移動(dòng)查詢也只是一條稍復(fù)雜的 SQL。這帶來(lái)的價(jià)值是顛覆性的問(wèn)題排查時(shí)間從小時(shí)級(jí)縮短到分鐘級(jí)并且分析維度從單純的系統(tǒng)錯(cuò)誤擴(kuò)展到了“錯(cuò)誤對(duì)哪些高價(jià)值用戶產(chǎn)生了影響”的業(yè)務(wù)層面。4. 性能、成本與最佳實(shí)踐讓 search() 真正落地任何強(qiáng)大的功能都需要在性能、成本和易用性之間找到平衡。search()函數(shù)也不例外。直接用它去掃描 PB 級(jí)的原始文本文件顯然是不現(xiàn)實(shí)的。以下是幾個(gè)關(guān)鍵的實(shí)踐要點(diǎn)。4.1 索引策略平衡查詢速度與存儲(chǔ)開(kāi)銷search()的魔力源于倒排索引。在 SelectDB 中你有兩種主要方式來(lái)利用索引建表時(shí)定義索引這是最推薦的方式適用于需要持續(xù)分析的熱數(shù)據(jù)。CREATE TABLE nginx_logs ( ts DATETIME, url STRING, status_code INT, message STRING, INDEX idx_message (message) USING INVERTED -- 為message列創(chuàng)建倒排索引 ) ENGINEOLAP DUPLICATE KEY(ts) DISTRIBUTED BY HASH(ts) BUCKETS 10;這樣所有寫(xiě)入這張表的message數(shù)據(jù)都會(huì)自動(dòng)建立索引。查詢時(shí)使用search(message, ‘...’)會(huì)直接命中索引速度最快。查詢時(shí)加速On-the-fly Indexing對(duì)于像 S3 外部表這樣的場(chǎng)景數(shù)據(jù)是只讀的。SelectDB 可以在查詢時(shí)動(dòng)態(tài)地為指定的列和過(guò)濾條件在內(nèi)存或本地緩存中構(gòu)建臨時(shí)的索引結(jié)構(gòu)以加速這次查詢。這對(duì)于探索性、臨時(shí)的查詢非常有用避免了預(yù)先構(gòu)建索引的存儲(chǔ)成本。但這通常需要消耗更多的計(jì)算資源CPU/內(nèi)存且首次查詢可能較慢。選擇建議對(duì)于高頻查詢的列如日志級(jí)別level、服務(wù)名service、錯(cuò)誤關(guān)鍵詞error務(wù)必預(yù)先建立倒排索引。對(duì)于長(zhǎng)文本、且查詢模式多變的列如完整的message字段可以評(píng)估查詢頻率。如果搜索是核心場(chǎng)景建立索引是值得的如果只是偶爾全文檢索可以依賴查詢時(shí)加速或更粗粒度的索引如只對(duì)前 N 個(gè)字符索引。4.2 外部表與數(shù)據(jù)湖的協(xié)同search()與 SelectDB 的數(shù)據(jù)湖分析能力是天作之合。你不需要把 S3、HDFS 上的海量日志全部導(dǎo)入到 SelectDB 內(nèi)部表中。只需創(chuàng)建一個(gè)外部表External Table像上面例子中的nginx_logs_external定義好文件格式如 Parquet、ORC、JSON、CSV和 Schema。CREATE EXTERNAL TABLE nginx_logs_external ( timestamp DATETIME, url STRING, status_code INT, message STRING ) ENGINEFILE LOCATION“s3://your-bucket/logs/nginx/” FILE_FORMAT“parquet”;創(chuàng)建后這張表就像一張普通的表一樣可以直接用 SQL 查詢search()函數(shù)也能直接作用于其上。SelectDB 的查詢優(yōu)化器會(huì)智能地下推search()的過(guò)濾條件盡可能減少?gòu)倪h(yuǎn)端存儲(chǔ)讀取的數(shù)據(jù)量。這意味著你可以用一份存儲(chǔ)在數(shù)據(jù)湖里的原始日志同時(shí)滿足“低成本長(zhǎng)期存儲(chǔ)”和“高性能即時(shí)搜索分析”兩個(gè)需求。4.3 避坑指南那些我踩過(guò)的“坑”在實(shí)際使用中有幾個(gè)細(xì)節(jié)如果不注意很容易讓search()的效果大打折扣。分詞器Tokenizer的選擇search()的精度和效果很大程度上取決于分詞。默認(rèn)的分詞器對(duì)于英文和數(shù)字效果很好但對(duì)于中文日志可能需要指定中文分詞器如 Jieba。如果分詞不當(dāng)“數(shù)據(jù)庫(kù)連接超時(shí)”可能會(huì)被切成“數(shù)據(jù)”、“庫(kù)”、“連接”、“超時(shí)”四個(gè)詞搜索“連接超時(shí)”這個(gè)短語(yǔ)就可能匹配不上。在建索引時(shí)需要根據(jù)日志語(yǔ)言特點(diǎn)配置正確的分詞器。搜索語(yǔ)法轉(zhuǎn)義搜索表達(dá)式中的特殊字符如,-,,||,!,(,),{,},[,],^,“,~,*,?,:,\如果它們本身是你要搜索的關(guān)鍵詞的一部分需要進(jìn)行轉(zhuǎn)義。例如要搜索C表達(dá)式應(yīng)該寫(xiě)成search(message, ‘C\\’)。性能監(jiān)控與調(diào)優(yōu)頻繁使用search()進(jìn)行全模糊搜索如search(message, ‘*’)或者對(duì)沒(méi)有索引的列進(jìn)行搜索會(huì)導(dǎo)致全表掃描消耗大量資源。務(wù)必結(jié)合EXPLAIN命令查看查詢計(jì)劃確認(rèn)search()條件是否被正確下推和使用了索引。監(jiān)控集群的 CPU、IO 和內(nèi)存使用情況對(duì)于熱點(diǎn)查詢考慮增加索引或優(yōu)化查詢寫(xiě)法。并非萬(wàn)能替換search()雖然強(qiáng)大但它主要解決的是文本匹配和過(guò)濾問(wèn)題。對(duì)于極度復(fù)雜的自然語(yǔ)言處理NLP、圖像識(shí)別或非文本的相似度搜索它可能不是最佳工具這類場(chǎng)景可能需要專門的向量數(shù)據(jù)庫(kù)。search()的定位是在分析型數(shù)據(jù)庫(kù)中填補(bǔ)文本搜索能力的空白而不是取代 Elasticsearch 在純搜索和日志聚合場(chǎng)景的所有功能特別是在需要極其復(fù)雜的管道處理、可視化儀表盤生態(tài)方面Elasticsearch 仍有其優(yōu)勢(shì)。但在需要深度整合 SQL 分析的場(chǎng)景search()提供了更簡(jiǎn)潔統(tǒng)一的路徑。5. 超越日志search() 的更多想象空間雖然本文以日志分析為引但search()的應(yīng)用絕不限于此。任何需要將非結(jié)構(gòu)化/半結(jié)構(gòu)化文本與結(jié)構(gòu)化數(shù)據(jù)關(guān)聯(lián)分析的場(chǎng)景都是它的用武之地。用戶反饋分析將 App 內(nèi)的用戶反饋文本存儲(chǔ)在 S3與用戶畫(huà)像表在 SelectDB 內(nèi)關(guān)聯(lián)分析不同用戶群體如 VIP 用戶、新用戶的反饋主題和情感傾向。一條 SQL 就能回答“過(guò)去一周高消費(fèi)等級(jí)的用戶在反饋中最常抱怨的問(wèn)題是什么”安全事件調(diào)查將服務(wù)器安全日志、網(wǎng)絡(luò)流量日志與資產(chǎn)信息表、員工訪問(wèn)記錄表關(guān)聯(lián)?？焖偎阉骺梢傻牡卿浤Ｊ饺鐂earch(message, ‘failed login AND midnight’)并立即關(guān)聯(lián)出對(duì)應(yīng)的服務(wù)器責(zé)任人、近期訪問(wèn)記錄實(shí)現(xiàn)安全事件的快速溯源。物聯(lián)網(wǎng)IoT數(shù)據(jù)分析物聯(lián)網(wǎng)設(shè)備上報(bào)的報(bào)文往往包含結(jié)構(gòu)化的指標(biāo)溫度、濕度和一段非結(jié)構(gòu)化的狀態(tài)描述文本。使用search()可以快速篩選出所有狀態(tài)描述中包含“異?！薄ⅰ罢饎?dòng)”等關(guān)鍵詞的設(shè)備再關(guān)聯(lián)其歷史指標(biāo)數(shù)據(jù)進(jìn)行預(yù)測(cè)性維護(hù)分析。search()函數(shù)代表的是一種技術(shù)融合的趨勢(shì)打破系統(tǒng)邊界讓工具適應(yīng)人分析師、工程師的思維模式而不是讓人去適應(yīng)工具的割裂。我們習(xí)慣于用 SQL 思考關(guān)聯(lián)和聚合也習(xí)慣于用搜索語(yǔ)法快速定位信息。SelectDB 的search()將這兩種思維模式在同一個(gè)界面、同一種語(yǔ)言SQL中統(tǒng)一了起來(lái)。從我個(gè)人的實(shí)踐來(lái)看引入search()最大的改變不是性能提升了多少倍雖然這很重要而是簡(jiǎn)化了數(shù)據(jù)棧的架構(gòu)和團(tuán)隊(duì)的協(xié)作流程。運(yùn)維工程師不用再為了一個(gè)分析需求去求數(shù)據(jù)團(tuán)隊(duì)導(dǎo)數(shù)據(jù)數(shù)據(jù)分析師也可以直接基于最原始的日志進(jìn)行探索無(wú)需等待數(shù)據(jù)倉(cāng)庫(kù)的層層加工。它讓“數(shù)據(jù)驅(qū)動(dòng)”的閉環(huán)變得更短、更實(shí)時(shí)。當(dāng)然這要求團(tuán)隊(duì)對(duì) SQL 有較好的掌握并且需要對(duì)數(shù)據(jù)特別是日志的格式和解析進(jìn)行一定的前期治理但這份投入相比它帶來(lái)的長(zhǎng)期效率提升無(wú)疑是值得的。