方向都踩坑后，我才明白AI/ML選方向前該補(bǔ)哪一課)
三個(gè)方向都踩坑后,我才明白AI/ML選方向前該補(bǔ)哪一課決定轉(zhuǎn)行做 AI/ML 時(shí),我遇到了一個(gè)讓很多新手都猶豫的問(wèn)題:計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng),該從哪個(gè)方向切入?每個(gè)方向看起來(lái)都很有前途,網(wǎng)上的學(xué)習(xí)路線更是鋪天蓋地。我干脆把三個(gè)方向挨個(gè)試了一遍,結(jié)果每個(gè)都撞得頭破血流。直到我回頭補(bǔ)上了一門人工智能入門課程,才真正搞懂方向選擇的底層邏輯--這門課沒(méi)有讓我成為某個(gè)方向的專家,卻幫我建立了一套評(píng)判不同 AI/ML 子領(lǐng)域的框架,讓我在兩個(gè)月后做出了第一個(gè)能交付的項(xiàng)目。如果你也卡在 AI/ML 方向選擇的關(guān)口上,下面這段踩坑經(jīng)歷也許能幫你省下三五個(gè)月的猶豫成本。為什么我一開(kāi)始同時(shí)試了三個(gè)方向我看了一圈招聘 JD 和知乎分享,發(fā)現(xiàn) CV、NLP、推薦系統(tǒng)是 AI/ML 落地最多的領(lǐng)域。當(dāng)時(shí)我天真地以為,只要把每個(gè)方向的入門 demo 跑通,自然就知道自己喜歡哪個(gè)、擅長(zhǎng)哪個(gè)。于是我在周末連開(kāi)了三個(gè) Colab 窗口,一邊跑 CV 的邊緣檢測(cè),一邊訓(xùn)一個(gè)簡(jiǎn)單的文本分類,還照著教程搭建了一個(gè)協(xié)同過(guò)濾推薦引擎。CV 方面我寫(xiě)了這樣一段實(shí)驗(yàn)代碼:import cv2 img cv2.imread(dataset/sample.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) edges cv2.Canny(gray, 50, 150) cv2.imwrite(output_edges.jpg, edges)這條代碼不到十行就能出圖,看起來(lái)很爽。但當(dāng)我試圖用自己拍的照片訓(xùn)練一個(gè)二分類時(shí),才發(fā)現(xiàn)標(biāo)注工作量巨大,模型輕飄飄過(guò)擬合,準(zhǔn)確率卡在 70% 上下再也推不動(dòng)。我那時(shí)還不懂過(guò)擬合的本質(zhì),更不知道混淆矩陣能幫我診斷具體哪類樣本出了問(wèn)題。NLP 的實(shí)驗(yàn)也很容易上手:from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression texts [服務(wù)態(tài)度很好, 味道一般, ...] labels [1, 0, ...] vec TfidfVectorizer() X vec.fit_transform(texts) model LogisticRegression().fit(X, labels)但一旦把模型用到真實(shí)客戶評(píng)論上,長(zhǎng)尾詞、歧義表達(dá)直接讓 F1 掉到 0.5 以下。我后來(lái)才知道這是數(shù)據(jù)預(yù)處理和特征工程沒(méi)跟上,單靠 TF-IDF 根本扛不住真實(shí)文本的噪聲。推薦系統(tǒng)的坑更深:from surprise import SVD, Dataset, Reader import pandas as pd df pd.read_csv(ratings.csv) reader Reader(rating_scale(1, 5)) data Dataset.load_from_df(df[[user_id, item_id, rating]], reader) algo SVD() train data.build_full_trainset() algo.fit(train)表面看協(xié)同過(guò)濾跑通了,可一到實(shí)際場(chǎng)景就暴露冷啟動(dòng)和數(shù)據(jù)稀疏問(wèn)題--用戶行為日志一天不到 200 條,推薦結(jié)果幾乎隨機(jī)。三線作戰(zhàn)兩周后,我得到了三個(gè) demo 和三倍的挫敗感。每個(gè)方向都只停在“能跑”的程度,一旦往生產(chǎn)推,全是漏洞。補(bǔ)上人工智能入門課后,我重新畫(huà)了一張方向?qū)Ρ缺砭驮诳旆艞壍臅r(shí)候,一位同事跟我說(shuō):“你現(xiàn)在缺的不是某個(gè)方向的專精,而是 AI/ML 的整體認(rèn)知?！?他推薦我去看人工智能入門這門課程。課程從 AI 基本概念講起,用很短的時(shí)間把AI入門知識(shí)體系梳理了一遍,涵蓋監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的適用場(chǎng)景,以及 CV、NLP、推薦系統(tǒng)各自的數(shù)據(jù)依賴和典型難點(diǎn)。我跟著AWS人工智能服務(wù)做了幾個(gè)官方實(shí)驗(yàn),第一次意識(shí)到:不同方向?qū)?shù)據(jù)的依賴類型完全不同。CV 重度依賴大規(guī)模標(biāo)注圖像,NLP 需要高質(zhì)量文本語(yǔ)料,推薦系統(tǒng)必須擁有充分的用戶行為記錄。而這恰恰是我之前踩坑的根源--我在一個(gè)沒(méi)有足夠標(biāo)注圖片的項(xiàng)目上死磕 CV,在沒(méi)有穩(wěn)定用戶日志的平臺(tái)上強(qiáng)推推薦系統(tǒng)。人工智能基礎(chǔ)那部分還教會(huì)我一個(gè)實(shí)用的分析工具:從數(shù)據(jù)可得性、學(xué)習(xí)曲線、就業(yè)需求、項(xiàng)目周期四個(gè)維度去評(píng)估一個(gè) AI/ML 方向。學(xué)完課程后,我把三個(gè)方向重新放在表格里對(duì)比:維度計(jì)算機(jī)視覺(jué)自然語(yǔ)言處理推薦系統(tǒng)數(shù)據(jù)可得性需要大規(guī)模高質(zhì)量標(biāo)注,獲取成本高可通過(guò)公開(kāi)評(píng)論、客服對(duì)話等獲取,成本較低依賴用戶行為日志,冷啟動(dòng)時(shí)數(shù)據(jù)極稀疏學(xué)習(xí)曲線陡峭,需深入 CNN、Transformer 等架構(gòu)中等,有預(yù)訓(xùn)練模型加持,上手較快先平后陡,傳統(tǒng)方法簡(jiǎn)單,深度學(xué)習(xí)模型復(fù)雜就業(yè)市場(chǎng)需求集中在安防、自動(dòng)駕駛等領(lǐng)域覆蓋廣,客服、內(nèi)容審核、輿情分析均有需求電商、內(nèi)容分發(fā)強(qiáng)需求,門檻不低項(xiàng)目復(fù)雜度端到端項(xiàng)目周期長(zhǎng),部署成本高文本分類、情感分析相對(duì)好落地實(shí)時(shí)推薦系統(tǒng)架構(gòu)復(fù)雜,延遲要求高這張表不是直接替我做了選擇,而是讓我第一次有了量化的判斷依據(jù)。人工智能入門課程里反復(fù)強(qiáng)調(diào)的“先用小數(shù)據(jù)驗(yàn)證可行性”,后來(lái)成了我選方向的第一條鐵律。我用機(jī)器學(xué)習(xí)入門鞏固了管道基礎(chǔ),終于跑通一個(gè)完整項(xiàng)目方向雖然暫時(shí)傾向 NLP,但真正要?jiǎng)邮謺r(shí),我還是覺(jué)得心里沒(méi)底。因?yàn)榧幢氵x對(duì)了方向,如果不知道一個(gè) AI/ML 項(xiàng)目從數(shù)據(jù)到模型該怎么流轉(zhuǎn),寫(xiě)出來(lái)的代碼依然是一盤散沙。這時(shí)候我又回頭補(bǔ)了機(jī)器學(xué)習(xí)入門和機(jī)器學(xué)習(xí)基礎(chǔ)兩門課。機(jī)器學(xué)習(xí)入門那門課用幾個(gè)簡(jiǎn)單的回歸和分類例子,讓我第一次完整跑通了一條機(jī)器學(xué)習(xí)管道:從數(shù)據(jù)預(yù)處理到特征工程,再到模型訓(xùn)練、評(píng)估和部署。過(guò)去我寫(xiě) Python 腳本時(shí),數(shù)據(jù)處理邏輯散落在多個(gè) cell 里,經(jīng)常忘記做訓(xùn)練集和測(cè)試集的劃分,更別提超參調(diào)優(yōu)和數(shù)據(jù)漂移監(jiān)控。機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí)幫我補(bǔ)齊了評(píng)估矩陣那塊短板。我用真實(shí)的電商評(píng)論數(shù)據(jù)做了一個(gè)情感二分類,第一次畫(huà)出混淆矩陣,發(fā)現(xiàn)模型把所有“帶抱怨但不完全負(fù)向”的評(píng)論分錯(cuò)了類。這才明白之前 F1 低不是因?yàn)樗惴ㄈ?而是目標(biāo)定義有歧義,需要重新做標(biāo)注規(guī)則。在AWS機(jī)器學(xué)習(xí)服務(wù)的 SageMaker 上,我得以用內(nèi)置算法快速迭代模型,省去了折騰 GPU 環(huán)境的時(shí)間。亞馬遜云科技機(jī)器學(xué)習(xí)的管道工具還讓我把版本管理、自動(dòng)化評(píng)估串聯(lián)起來(lái),一個(gè)月內(nèi)把一個(gè)情感分析模型從實(shí)驗(yàn)板搬到了生產(chǎn)。深度學(xué)習(xí)入門讓我在 NLP 方向又往前邁了一大步當(dāng)基礎(chǔ)管道理順后,我又遇到了更具體的瓶頸:傳統(tǒng)機(jī)器學(xué)習(xí)模型對(duì)長(zhǎng)文本序列的處理能力實(shí)在有限,想把準(zhǔn)確率再往上推,就必須接觸深度模型。這次我選擇的是深度學(xué)習(xí)入門和深度學(xué)習(xí)基礎(chǔ)兩門課程。深度學(xué)習(xí)入門課從反向傳播講起,搭配 PyTorch 實(shí)戰(zhàn),幫我一點(diǎn)點(diǎn)搭建起一個(gè)簡(jiǎn)單的 TextCNN 文本分類模型。我跟著AWS深度學(xué)習(xí)實(shí)例在 p3 上做了幾次實(shí)驗(yàn),終于明白了之前為什么 TF-IDF LR 的天花板那么明顯。深度學(xué)習(xí)課程里有一部分講到用預(yù)訓(xùn)練 BERT 微調(diào)來(lái)做情感分析,我試著在自己公司的那批評(píng)論上跑了一下,準(zhǔn)確率從 0.78 直接跳到了 0.91。這個(gè)數(shù)據(jù)差讓我徹底信服:方向選對(duì)之后,用對(duì)了工具鏈,AI/ML 的收益才會(huì)被真正放大。學(xué)完后的變化:能獨(dú)立評(píng)估需求,也能給出方向選型建議回頭看我走的路:從盲目試錯(cuò)三個(gè) AI/ML 方向,到通過(guò)人工智能入門建立全局認(rèn)知,再用機(jī)器學(xué)習(xí)入門補(bǔ)足管道基礎(chǔ),最后靠深度學(xué)習(xí)入門突破精度瓶頸,整個(gè)過(guò)程花了近四個(gè)月?，F(xiàn)在面對(duì)一個(gè)新的業(yè)務(wù)需求,我不再一上來(lái)就開(kāi) Colab 寫(xiě)模型,而是先用課程里那套四維度框架去判斷該不該上機(jī)器學(xué)習(xí)、選哪個(gè)方向、預(yù)期投入和收益大概怎樣。上個(gè)月產(chǎn)品經(jīng)理想做圖片合規(guī)檢測(cè),我沒(méi)有直接答應(yīng),而是先評(píng)估了標(biāo)注成本和我們現(xiàn)有的圖片量,給出了一份可行性報(bào)告,建議先拿幾十張圖做 POC,并借助AWS人工智能服務(wù)的 Rekognition 快速驗(yàn)證。這種從“我能做”到“什么值得做”的轉(zhuǎn)變,是我認(rèn)為學(xué)習(xí) AI/ML 之后最大的收獲。給同樣糾結(jié)方向的人的五條建議先建立全局認(rèn)知,再深入細(xì)節(jié):強(qiáng)烈建議先花兩周時(shí)間學(xué)完一門人工智能入門級(jí)別課程,它能幫你搞懂 AI/ML 不同子領(lǐng)域的底層邏輯,避免像我一樣盲目試錯(cuò)。課程里對(duì)數(shù)據(jù)依賴、學(xué)習(xí)路徑的梳理,現(xiàn)在回頭看省了我至少兩個(gè)月。用數(shù)據(jù)可得性做第一輪篩選:你的團(tuán)隊(duì)/公司手頭有什么數(shù)據(jù)?沒(méi)有高質(zhì)量標(biāo)注圖片就別硬剛 CV,沒(méi)有海量用戶行為日志就別做實(shí)時(shí)推薦。機(jī)器學(xué)習(xí)管道的第一步永遠(yuǎn)是數(shù)據(jù),這點(diǎn)機(jī)器學(xué)習(xí)基礎(chǔ)里反復(fù)強(qiáng)調(diào)。小數(shù)據(jù)驗(yàn)證可行性:別一上來(lái)就奔著千萬(wàn)參數(shù)模型去。先用幾百條數(shù)據(jù)配合AWS機(jī)器學(xué)習(xí)的托管服務(wù)跑通整個(gè)流程,再用混淆矩陣等指標(biāo)判斷模型天花板,方向不合適就迅速止損。深度學(xué)習(xí)不是第一選擇,而是最后武器:傳統(tǒng)機(jī)器學(xué)習(xí)搞不定的任務(wù)再上深度模型,深度學(xué)習(xí)入門課程里的實(shí)驗(yàn)對(duì)比告訴我,很多文本分類任務(wù) TF-IDF LR 加上特征工程就能做得不錯(cuò),沒(méi)必要一開(kāi)始就上 BERT。定期用課程校準(zhǔn)知識(shí)體系:AI/ML 領(lǐng)域迭代太快,我每隔幾個(gè)月會(huì)重新翻看人工智能基礎(chǔ)部分和機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí),確保自己的實(shí)踐沒(méi)有偏離主流方法論。與其到處收集碎片化博客,不如系統(tǒng)地把那幾門核心課程過(guò)一遍。方向選擇從來(lái)不是一蹴而就的事,但有了正確的課程打底,你能比別人更快從糾結(jié)里走出來(lái),把時(shí)間花在真正能出結(jié)果的 AI/ML 項(xiàng)目上。 三個(gè)方向都踩坑后，我才明白AI/ML選方向前該補(bǔ)哪一課
三個(gè)方向都踩坑后,我才明白AI/ML選方向前該補(bǔ)哪一課決定轉(zhuǎn)行做 AI/ML 時(shí),我遇到了一個(gè)讓很多新手都猶豫的問(wèn)題:計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng),該從哪個(gè)方向切入?每個(gè)方向看起來(lái)都很有前途,網(wǎng)上的學(xué)習(xí)路線更是鋪天蓋地。我干脆把三個(gè)方向挨個(gè)試了一遍,結(jié)果每個(gè)都撞得頭破血流。直到我回頭補(bǔ)上了一門人工智能入門課程,才真正搞懂方向選擇的底層邏輯--這門課沒(méi)有讓我成為某個(gè)方向的專家,卻幫我建立了一套評(píng)判不同 AI/ML 子領(lǐng)域的框架,讓我在兩個(gè)月后做出了第一個(gè)能交付的項(xiàng)目。如果你也卡在 AI/ML 方向選擇的關(guān)口上,下面這段踩坑經(jīng)歷也許能幫你省下三五個(gè)月的猶豫成本。為什么我一開(kāi)始同時(shí)試了三個(gè)方向我看了一圈招聘 JD 和知乎分享,發(fā)現(xiàn) CV、NLP、推薦系統(tǒng)是 AI/ML 落地最多的領(lǐng)域。當(dāng)時(shí)我天真地以為,只要把每個(gè)方向的入門 demo 跑通,自然就知道自己喜歡哪個(gè)、擅長(zhǎng)哪個(gè)。于是我在周末連開(kāi)了三個(gè) Colab 窗口,一邊跑 CV 的邊緣檢測(cè),一邊訓(xùn)一個(gè)簡(jiǎn)單的文本分類,還照著教程搭建了一個(gè)協(xié)同過(guò)濾推薦引擎。CV 方面我寫(xiě)了這樣一段實(shí)驗(yàn)代碼:import cv2 img cv2.imread(dataset/sample.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) edges cv2.Canny(gray, 50, 150) cv2.imwrite(output_edges.jpg, edges)這條代碼不到十行就能出圖,看起來(lái)很爽。但當(dāng)我試圖用自己拍的照片訓(xùn)練一個(gè)二分類時(shí),才發(fā)現(xiàn)標(biāo)注工作量巨大,模型輕飄飄過(guò)擬合,準(zhǔn)確率卡在 70% 上下再也推不動(dòng)。我那時(shí)還不懂過(guò)擬合的本質(zhì),更不知道混淆矩陣能幫我診斷具體哪類樣本出了問(wèn)題。NLP 的實(shí)驗(yàn)也很容易上手:from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression texts [服務(wù)態(tài)度很好, 味道一般, ...] labels [1, 0, ...] vec TfidfVectorizer() X vec.fit_transform(texts) model LogisticRegression().fit(X, labels)但一旦把模型用到真實(shí)客戶評(píng)論上,長(zhǎng)尾詞、歧義表達(dá)直接讓 F1 掉到 0.5 以下。我后來(lái)才知道這是數(shù)據(jù)預(yù)處理和特征工程沒(méi)跟上,單靠 TF-IDF 根本扛不住真實(shí)文本的噪聲。推薦系統(tǒng)的坑更深:from surprise import SVD, Dataset, Reader import pandas as pd df pd.read_csv(ratings.csv) reader Reader(rating_scale(1, 5)) data Dataset.load_from_df(df[[user_id, item_id, rating]], reader) algo SVD() train data.build_full_trainset() algo.fit(train)表面看協(xié)同過(guò)濾跑通了,可一到實(shí)際場(chǎng)景就暴露冷啟動(dòng)和數(shù)據(jù)稀疏問(wèn)題--用戶行為日志一天不到 200 條,推薦結(jié)果幾乎隨機(jī)。三線作戰(zhàn)兩周后,我得到了三個(gè) demo 和三倍的挫敗感。每個(gè)方向都只停在“能跑”的程度,一旦往生產(chǎn)推,全是漏洞。補(bǔ)上人工智能入門課后,我重新畫(huà)了一張方向?qū)Ρ缺砭驮诳旆艞壍臅r(shí)候,一位同事跟我說(shuō):“你現(xiàn)在缺的不是某個(gè)方向的專精,而是 AI/ML 的整體認(rèn)知?！?他推薦我去看人工智能入門這門課程。課程從 AI 基本概念講起,用很短的時(shí)間把AI入門知識(shí)體系梳理了一遍,涵蓋監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的適用場(chǎng)景,以及 CV、NLP、推薦系統(tǒng)各自的數(shù)據(jù)依賴和典型難點(diǎn)。我跟著AWS人工智能服務(wù)做了幾個(gè)官方實(shí)驗(yàn),第一次意識(shí)到:不同方向?qū)?shù)據(jù)的依賴類型完全不同。CV 重度依賴大規(guī)模標(biāo)注圖像,NLP 需要高質(zhì)量文本語(yǔ)料,推薦系統(tǒng)必須擁有充分的用戶行為記錄。而這恰恰是我之前踩坑的根源--我在一個(gè)沒(méi)有足夠標(biāo)注圖片的項(xiàng)目上死磕 CV,在沒(méi)有穩(wěn)定用戶日志的平臺(tái)上強(qiáng)推推薦系統(tǒng)。人工智能基礎(chǔ)那部分還教會(huì)我一個(gè)實(shí)用的分析工具:從數(shù)據(jù)可得性、學(xué)習(xí)曲線、就業(yè)需求、項(xiàng)目周期四個(gè)維度去評(píng)估一個(gè) AI/ML 方向。學(xué)完課程后,我把三個(gè)方向重新放在表格里對(duì)比:維度計(jì)算機(jī)視覺(jué)自然語(yǔ)言處理推薦系統(tǒng)數(shù)據(jù)可得性需要大規(guī)模高質(zhì)量標(biāo)注,獲取成本高可通過(guò)公開(kāi)評(píng)論、客服對(duì)話等獲取,成本較低依賴用戶行為日志,冷啟動(dòng)時(shí)數(shù)據(jù)極稀疏學(xué)習(xí)曲線陡峭,需深入 CNN、Transformer 等架構(gòu)中等,有預(yù)訓(xùn)練模型加持,上手較快先平后陡,傳統(tǒng)方法簡(jiǎn)單,深度學(xué)習(xí)模型復(fù)雜就業(yè)市場(chǎng)需求集中在安防、自動(dòng)駕駛等領(lǐng)域覆蓋廣,客服、內(nèi)容審核、輿情分析均有需求電商、內(nèi)容分發(fā)強(qiáng)需求,門檻不低項(xiàng)目復(fù)雜度端到端項(xiàng)目周期長(zhǎng),部署成本高文本分類、情感分析相對(duì)好落地實(shí)時(shí)推薦系統(tǒng)架構(gòu)復(fù)雜,延遲要求高這張表不是直接替我做了選擇,而是讓我第一次有了量化的判斷依據(jù)。人工智能入門課程里反復(fù)強(qiáng)調(diào)的“先用小數(shù)據(jù)驗(yàn)證可行性”,后來(lái)成了我選方向的第一條鐵律。我用機(jī)器學(xué)習(xí)入門鞏固了管道基礎(chǔ),終于跑通一個(gè)完整項(xiàng)目方向雖然暫時(shí)傾向 NLP,但真正要?jiǎng)邮謺r(shí),我還是覺(jué)得心里沒(méi)底。因?yàn)榧幢氵x對(duì)了方向,如果不知道一個(gè) AI/ML 項(xiàng)目從數(shù)據(jù)到模型該怎么流轉(zhuǎn),寫(xiě)出來(lái)的代碼依然是一盤散沙。這時(shí)候我又回頭補(bǔ)了機(jī)器學(xué)習(xí)入門和機(jī)器學(xué)習(xí)基礎(chǔ)兩門課。機(jī)器學(xué)習(xí)入門那門課用幾個(gè)簡(jiǎn)單的回歸和分類例子,讓我第一次完整跑通了一條機(jī)器學(xué)習(xí)管道:從數(shù)據(jù)預(yù)處理到特征工程,再到模型訓(xùn)練、評(píng)估和部署。過(guò)去我寫(xiě) Python 腳本時(shí),數(shù)據(jù)處理邏輯散落在多個(gè) cell 里,經(jīng)常忘記做訓(xùn)練集和測(cè)試集的劃分,更別提超參調(diào)優(yōu)和數(shù)據(jù)漂移監(jiān)控。機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí)幫我補(bǔ)齊了評(píng)估矩陣那塊短板。我用真實(shí)的電商評(píng)論數(shù)據(jù)做了一個(gè)情感二分類,第一次畫(huà)出混淆矩陣,發(fā)現(xiàn)模型把所有“帶抱怨但不完全負(fù)向”的評(píng)論分錯(cuò)了類。這才明白之前 F1 低不是因?yàn)樗惴ㄈ?而是目標(biāo)定義有歧義,需要重新做標(biāo)注規(guī)則。在AWS機(jī)器學(xué)習(xí)服務(wù)的 SageMaker 上,我得以用內(nèi)置算法快速迭代模型,省去了折騰 GPU 環(huán)境的時(shí)間。亞馬遜云科技機(jī)器學(xué)習(xí)的管道工具還讓我把版本管理、自動(dòng)化評(píng)估串聯(lián)起來(lái),一個(gè)月內(nèi)把一個(gè)情感分析模型從實(shí)驗(yàn)板搬到了生產(chǎn)。深度學(xué)習(xí)入門讓我在 NLP 方向又往前邁了一大步當(dāng)基礎(chǔ)管道理順后,我又遇到了更具體的瓶頸:傳統(tǒng)機(jī)器學(xué)習(xí)模型對(duì)長(zhǎng)文本序列的處理能力實(shí)在有限,想把準(zhǔn)確率再往上推,就必須接觸深度模型。這次我選擇的是深度學(xué)習(xí)入門和深度學(xué)習(xí)基礎(chǔ)兩門課程。深度學(xué)習(xí)入門課從反向傳播講起,搭配 PyTorch 實(shí)戰(zhàn),幫我一點(diǎn)點(diǎn)搭建起一個(gè)簡(jiǎn)單的 TextCNN 文本分類模型。我跟著AWS深度學(xué)習(xí)實(shí)例在 p3 上做了幾次實(shí)驗(yàn),終于明白了之前為什么 TF-IDF LR 的天花板那么明顯。深度學(xué)習(xí)課程里有一部分講到用預(yù)訓(xùn)練 BERT 微調(diào)來(lái)做情感分析,我試著在自己公司的那批評(píng)論上跑了一下,準(zhǔn)確率從 0.78 直接跳到了 0.91。這個(gè)數(shù)據(jù)差讓我徹底信服:方向選對(duì)之后,用對(duì)了工具鏈,AI/ML 的收益才會(huì)被真正放大。學(xué)完后的變化:能獨(dú)立評(píng)估需求,也能給出方向選型建議回頭看我走的路:從盲目試錯(cuò)三個(gè) AI/ML 方向,到通過(guò)人工智能入門建立全局認(rèn)知,再用機(jī)器學(xué)習(xí)入門補(bǔ)足管道基礎(chǔ),最后靠深度學(xué)習(xí)入門突破精度瓶頸,整個(gè)過(guò)程花了近四個(gè)月?，F(xiàn)在面對(duì)一個(gè)新的業(yè)務(wù)需求,我不再一上來(lái)就開(kāi) Colab 寫(xiě)模型,而是先用課程里那套四維度框架去判斷該不該上機(jī)器學(xué)習(xí)、選哪個(gè)方向、預(yù)期投入和收益大概怎樣。上個(gè)月產(chǎn)品經(jīng)理想做圖片合規(guī)檢測(cè),我沒(méi)有直接答應(yīng),而是先評(píng)估了標(biāo)注成本和我們現(xiàn)有的圖片量,給出了一份可行性報(bào)告,建議先拿幾十張圖做 POC,并借助AWS人工智能服務(wù)的 Rekognition 快速驗(yàn)證。這種從“我能做”到“什么值得做”的轉(zhuǎn)變,是我認(rèn)為學(xué)習(xí) AI/ML 之后最大的收獲。給同樣糾結(jié)方向的人的五條建議先建立全局認(rèn)知,再深入細(xì)節(jié):強(qiáng)烈建議先花兩周時(shí)間學(xué)完一門人工智能入門級(jí)別課程,它能幫你搞懂 AI/ML 不同子領(lǐng)域的底層邏輯,避免像我一樣盲目試錯(cuò)。課程里對(duì)數(shù)據(jù)依賴、學(xué)習(xí)路徑的梳理,現(xiàn)在回頭看省了我至少兩個(gè)月。用數(shù)據(jù)可得性做第一輪篩選:你的團(tuán)隊(duì)/公司手頭有什么數(shù)據(jù)?沒(méi)有高質(zhì)量標(biāo)注圖片就別硬剛 CV,沒(méi)有海量用戶行為日志就別做實(shí)時(shí)推薦。機(jī)器學(xué)習(xí)管道的第一步永遠(yuǎn)是數(shù)據(jù),這點(diǎn)機(jī)器學(xué)習(xí)基礎(chǔ)里反復(fù)強(qiáng)調(diào)。小數(shù)據(jù)驗(yàn)證可行性:別一上來(lái)就奔著千萬(wàn)參數(shù)模型去。先用幾百條數(shù)據(jù)配合AWS機(jī)器學(xué)習(xí)的托管服務(wù)跑通整個(gè)流程,再用混淆矩陣等指標(biāo)判斷模型天花板,方向不合適就迅速止損。深度學(xué)習(xí)不是第一選擇,而是最后武器:傳統(tǒng)機(jī)器學(xué)習(xí)搞不定的任務(wù)再上深度模型,深度學(xué)習(xí)入門課程里的實(shí)驗(yàn)對(duì)比告訴我,很多文本分類任務(wù) TF-IDF LR 加上特征工程就能做得不錯(cuò),沒(méi)必要一開(kāi)始就上 BERT。定期用課程校準(zhǔn)知識(shí)體系:AI/ML 領(lǐng)域迭代太快,我每隔幾個(gè)月會(huì)重新翻看人工智能基礎(chǔ)部分和機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí),確保自己的實(shí)踐沒(méi)有偏離主流方法論。與其到處收集碎片化博客,不如系統(tǒng)地把那幾門核心課程過(guò)一遍。方向選擇從來(lái)不是一蹴而就的事,但有了正確的課程打底,你能比別人更快從糾結(jié)里走出來(lái),把時(shí)間花在真正能出結(jié)果的 AI/ML 項(xiàng)目上。