實(shí)戰(zhàn)：從數(shù)據(jù)清洗到Baseline模型構(gòu)建全流程解析)
1. 項(xiàng)目概述從二手車估價(jià)賽題到可復(fù)現(xiàn)的Baseline最近在復(fù)盤(pán)一些經(jīng)典的數(shù)學(xué)建模賽題2021年MathorCup高校數(shù)學(xué)建模挑戰(zhàn)賽的A題“二手車估價(jià)問(wèn)題”就是一個(gè)非常典型的、連接學(xué)術(shù)理論與商業(yè)實(shí)踐的案例。這個(gè)題目給參賽者提供了一批真實(shí)的二手車交易數(shù)據(jù)要求我們構(gòu)建一個(gè)估價(jià)模型。聽(tīng)起來(lái)簡(jiǎn)單但真正上手你會(huì)發(fā)現(xiàn)從拿到原始數(shù)據(jù)到跑出一個(gè)像樣的Baseline基線模型中間隔著數(shù)據(jù)預(yù)處理、特征工程和模型訓(xùn)練這三座大山。很多新手團(tuán)隊(duì)折戟沉沙往往不是因?yàn)槟Ｐ退惴ǘ喔呱疃强ㄔ诹诉@些看似基礎(chǔ)實(shí)則至關(guān)重要的環(huán)節(jié)上。這篇內(nèi)容我就以這道賽題為背景拋開(kāi)復(fù)雜的數(shù)學(xué)公式用最“接地氣”的方式帶你走一遍從臟數(shù)據(jù)到Baseline模型的完整實(shí)戰(zhàn)流程。我們會(huì)用到Python這一數(shù)據(jù)分析的利器重點(diǎn)不是追求極致的分?jǐn)?shù)而是理解每個(gè)步驟背后的“為什么”和“怎么做”掌握一套可復(fù)用于其他回歸預(yù)測(cè)問(wèn)題的標(biāo)準(zhǔn)方法論。無(wú)論你是正在備賽的學(xué)生還是對(duì)數(shù)據(jù)科學(xué)感興趣的從業(yè)者相信這套從數(shù)據(jù)清洗、特征構(gòu)造到模型訓(xùn)練與評(píng)估的實(shí)操經(jīng)驗(yàn)都能給你帶來(lái)直接的幫助。2. 賽題理解與數(shù)據(jù)初探明確目標(biāo)與認(rèn)識(shí)數(shù)據(jù)在動(dòng)手寫(xiě)任何一行代碼之前我們必須徹底理解我們要解決什么問(wèn)題以及我們手頭有什么“原料”。這一步的方向如果錯(cuò)了后面所有努力都可能白費(fèi)。2.1 問(wèn)題定義與評(píng)估指標(biāo)MathorCup A題的核心是根據(jù)二手車的一系列屬性如品牌、車齡、里程、排量等預(yù)測(cè)其交易價(jià)格。這是一個(gè)經(jīng)典的監(jiān)督學(xué)習(xí)回歸問(wèn)題。我們的目標(biāo)是構(gòu)建一個(gè)函數(shù) f使得 f(車輛特征) ≈ 車輛真實(shí)價(jià)格。對(duì)于回歸問(wèn)題常見(jiàn)的評(píng)估指標(biāo)有均方誤差MSE預(yù)測(cè)值與真實(shí)值之差的平方的平均值。它對(duì)較大的誤差懲罰更重。均方根誤差RMSEMSE的平方根量綱與預(yù)測(cè)目標(biāo)價(jià)格一致更易于解釋。平均絕對(duì)誤差MAE預(yù)測(cè)值與真實(shí)值之差的絕對(duì)值的平均值。它對(duì)異常值不如MSE敏感。R2分?jǐn)?shù)決定系數(shù)表示模型解釋了目標(biāo)變量方差的百分比越接近1越好。在比賽中組織方通常會(huì)指定一個(gè)主要評(píng)估指標(biāo)例如RMSE。我們的所有模型優(yōu)化和對(duì)比都應(yīng)圍繞這個(gè)核心指標(biāo)展開(kāi)。這就像賽跑的終點(diǎn)線明確了終點(diǎn)才知道該往哪個(gè)方向使勁。2.2 數(shù)據(jù)字段解讀與質(zhì)量探查假設(shè)我們拿到的數(shù)據(jù)包含以下典型字段具體字段名稱可能因賽題數(shù)據(jù)而異price: 車輛交易價(jià)格目標(biāo)變量Labelbrand: 品牌model: 車型reg_date: 注冊(cè)日期用于計(jì)算車齡mileage: 行駛里程公里displacement: 排量升transmission: 變速箱類型手動(dòng)/自動(dòng)fuel_type: 燃油類型汽油/柴油/電動(dòng)等vehicle_level: 車輛級(jí)別如A級(jí)車、B級(jí)車、SUV等region: 車輛所在地區(qū)拿到數(shù)據(jù)后第一件事不是急著導(dǎo)入模型而是使用pandas進(jìn)行快速探查import pandas as pd import numpy as np # 加載數(shù)據(jù) df pd.read_csv(used_car_data.csv) # 1. 查看數(shù)據(jù)概覽 print(數(shù)據(jù)形狀行列:, df.shape) print(\n前5行數(shù)據(jù)) print(df.head()) print(\n數(shù)據(jù)基本信息) print(df.info()) print(\n數(shù)值型字段描述性統(tǒng)計(jì)) print(df.describe()) print(\n查看缺失值情況) print(df.isnull().sum())通過(guò)df.info()我們可以立刻知道每個(gè)字段的數(shù)據(jù)類型是數(shù)字還是文本是整數(shù)還是浮點(diǎn)數(shù)以及非空值的數(shù)量從而對(duì)缺失情況有個(gè)整體把握。df.describe()則會(huì)展示數(shù)值型字段的統(tǒng)計(jì)信息均值、標(biāo)準(zhǔn)差、最小值、分位數(shù)、最大值這對(duì)于發(fā)現(xiàn)異常值至關(guān)重要。比如你可能會(huì)發(fā)現(xiàn)有一輛車的mileage里程是500萬(wàn)公里這顯然不符合常識(shí)是一個(gè)需要處理的異常點(diǎn)。注意真實(shí)比賽數(shù)據(jù)往往存在各種問(wèn)題如字段名不統(tǒng)一中英文混用、帶空格、同一信息多種表述“自動(dòng)擋”、“AT”、“手自一體”可能混用、存在大量缺失或明顯錯(cuò)誤。初探的目的就是把這些“坑”都標(biāo)出來(lái)。3. 數(shù)據(jù)預(yù)處理把“臟數(shù)據(jù)”洗干凈數(shù)據(jù)預(yù)處理是模型大廈的基石。基石不穩(wěn)大廈蓋得再漂亮模型再?gòu)?fù)雜也容易崩塌。這一步的目標(biāo)是將原始數(shù)據(jù)轉(zhuǎn)化為一份干凈、一致、可用于建模的數(shù)據(jù)集。3.1 缺失值處理如何填補(bǔ)信息的空白缺失值是數(shù)據(jù)中的“黑洞”不能直接喂給模型。處理方式需要根據(jù)缺失的原因、比例和字段的業(yè)務(wù)含義來(lái)決定。刪除如果某一行或某一列缺失值比例非常高例如50%且該信息并非關(guān)鍵可以考慮直接刪除。但需謹(jǐn)慎避免損失過(guò)多數(shù)據(jù)。# 刪除缺失目標(biāo)變量price的行因?yàn)闆](méi)有標(biāo)簽無(wú)法用于監(jiān)督學(xué)習(xí) df df.dropna(subset[price]) # 刪除缺失率超過(guò)60%的列 missing_ratio df.isnull().sum() / len(df) cols_to_drop missing_ratio[missing_ratio 0.6].index df df.drop(columnscols_to_drop)填充Imputation這是更常用的方法。數(shù)值型字段常用中位數(shù)對(duì)異常值不敏感或均值進(jìn)行填充。對(duì)于mileage、displacement按品牌或車型分組后取中位數(shù)填充往往比全局填充更合理。# 全局中位數(shù)填充 df[mileage].fillna(df[mileage].median(), inplaceTrue) # 按品牌分組中位數(shù)填充 df[mileage] df.groupby(brand)[mileage].transform(lambda x: x.fillna(x.median()))類別型字段常用眾數(shù)出現(xiàn)最頻繁的類別填充或直接填充為“未知”類別。df[fuel_type].fillna(df[fuel_type].mode()[0], inplaceTrue) # 或者 df[fuel_type].fillna(Unknown, inplaceTrue)3.2 異常值處理找出并馴服那些“離譜”的數(shù)據(jù)異常值會(huì)嚴(yán)重扭曲模型的訓(xùn)練特別是對(duì)MSE這類損失函數(shù)。識(shí)別異常值常用方法業(yè)務(wù)常識(shí)判斷比如mileage大于50萬(wàn)公里reg_date晚于今天price低于1000元等。統(tǒng)計(jì)方法基于標(biāo)準(zhǔn)差如3σ原則或四分位距IQR。# 使用IQR方法檢測(cè)price的異常值 Q1 df[price].quantile(0.25) Q3 df[price].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR outliers df[(df[price] lower_bound) | (df[price] upper_bound)] print(fPrice異常值數(shù)量: {len(outliers)})處理異常值同樣有幾種策略刪除如果異常值數(shù)量很少且明顯是錯(cuò)誤記錄可以直接刪除。截?cái)郬insorization將超出邊界的值設(shè)置為邊界值。這是比賽中的常用技巧能保留數(shù)據(jù)點(diǎn)同時(shí)減少極端值影響。df[price] np.clip(df[price], lower_bound, upper_bound)視為缺失值并填充將異常值設(shè)為NaN然后用處理缺失值的方法進(jìn)行填充。3.3 數(shù)據(jù)格式標(biāo)準(zhǔn)化與編碼確保數(shù)據(jù)格式統(tǒng)一方便后續(xù)處理。日期處理將reg_date轉(zhuǎn)換為車齡年。df[car_age] (pd.to_datetime(2021-01-01) - pd.to_datetime(df[reg_date])).dt.days / 365.25 df df.drop(columns[reg_date]) # 轉(zhuǎn)換后丟棄原始日期字段文本類別編碼模型無(wú)法理解“自動(dòng)”、“手動(dòng)”這樣的文本需要轉(zhuǎn)換為數(shù)字。標(biāo)簽編碼Label Encoding為每個(gè)類別分配一個(gè)整數(shù)。適用于有大小順序的類別如車輛級(jí)別A00A0ABC...。from sklearn.preprocessing import LabelEncoder le LabelEncoder() df[transmission_encoded] le.fit_transform(df[transmission])獨(dú)熱編碼One-Hot Encoding為每個(gè)類別創(chuàng)建一個(gè)新的二進(jìn)制列0/1。適用于無(wú)序類別如品牌、顏色。注意如果類別很多會(huì)導(dǎo)致特征維度爆炸“維度災(zāi)難”。df pd.get_dummies(df, columns[fuel_type, region], prefix[fuel, region])實(shí)操心得對(duì)于樹(shù)模型如隨機(jī)森林、XGBoost它們能直接處理類別特征有時(shí)使用標(biāo)簽編碼甚至不編碼需要特定庫(kù)支持效果更好。而對(duì)于線性模型、神經(jīng)網(wǎng)絡(luò)獨(dú)熱編碼通常是必須的。在比賽中可以嘗試不同的編碼方式看哪種對(duì)模型效果提升更大。4. 特征工程從原始數(shù)據(jù)中提煉“黃金”特征工程是機(jī)器學(xué)習(xí)項(xiàng)目成敗的關(guān)鍵其目標(biāo)是創(chuàng)造對(duì)預(yù)測(cè)目標(biāo)更有信息量的特征。好的特征能讓簡(jiǎn)單模型表現(xiàn)優(yōu)異壞的特征則會(huì)讓復(fù)雜模型也無(wú)能為力。4.1 基礎(chǔ)特征構(gòu)造基于現(xiàn)有字段通過(guò)組合、轉(zhuǎn)換創(chuàng)造新特征。數(shù)值特征轉(zhuǎn)換對(duì)mileage、displacement取對(duì)數(shù)可以壓縮數(shù)據(jù)范圍使其分布更接近正態(tài)分布這對(duì)許多模型有益。df[mileage_log] np.log1p(df[mileage]) # log1p防止對(duì)0取對(duì)數(shù)交互特征捕捉特征之間的關(guān)系。例如計(jì)算“年均行駛里程”mileage / car_age這比單獨(dú)使用里程或車齡更能反映車輛使用強(qiáng)度。df[miles_per_year] df[mileage] / df[car_age] df[miles_per_year].replace([np.inf, -np.inf], np.nan, inplaceTrue) # 處理除零錯(cuò)誤 df[miles_per_year].fillna(df[miles_per_year].median(), inplaceTrue)多項(xiàng)式特征對(duì)于某些與價(jià)格可能存在非線性關(guān)系的特征如car_age可以創(chuàng)建其平方項(xiàng)、立方項(xiàng)。但需謹(jǐn)慎容易引入多重共線性。4.2 領(lǐng)域知識(shí)特征引入這是體現(xiàn)建模者水平的地方需要結(jié)合二手車市場(chǎng)的實(shí)際經(jīng)驗(yàn)。品牌溢價(jià)特征計(jì)算每個(gè)品牌車輛的平均價(jià)格作為一個(gè)新特征。這能幫助模型快速捕捉品牌價(jià)值差異。brand_avg_price df.groupby(brand)[price].mean().to_dict() df[brand_price_level] df[brand].map(brand_avg_price)車型年代款從model字段中提取車型年代信息如“2018款”作為一個(gè)新的有序類別特征。地區(qū)經(jīng)濟(jì)水平如果region信息足夠細(xì)可以引入該地區(qū)的人均GDP或汽車消費(fèi)指數(shù)作為外部特征。4.3 特征縮放許多模型如線性回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)的性能受特征尺度影響。將特征縮放至相近的范圍可以加速模型收斂并提升性能。標(biāo)準(zhǔn)化Standardization將特征縮放為均值為0標(biāo)準(zhǔn)差為1。適用于特征分布近似正態(tài)的情況。from sklearn.preprocessing import StandardScaler scaler StandardScaler() numerical_cols [car_age, mileage_log, displacement, miles_per_year] df[numerical_cols] scaler.fit_transform(df[numerical_cols])歸一化Normalization將特征縮放至[0, 1]區(qū)間。適用于有邊界特征。from sklearn.preprocessing import MinMaxScaler注意事項(xiàng)必須在劃分訓(xùn)練集和測(cè)試集之后分別用訓(xùn)練集的統(tǒng)計(jì)量均值和標(biāo)準(zhǔn)差、最小最大值去轉(zhuǎn)換訓(xùn)練集和測(cè)試集。絕對(duì)不能用整個(gè)數(shù)據(jù)集fit_transform后再劃分這會(huì)引入數(shù)據(jù)泄露Data Leakage導(dǎo)致模型評(píng)估結(jié)果過(guò)于樂(lè)觀在真實(shí)比賽中這是嚴(yán)重錯(cuò)誤。5. 模型訓(xùn)練Baseline構(gòu)建從零到一的跨越Baseline是一個(gè)簡(jiǎn)單、快速實(shí)現(xiàn)的初始模型它為我們提供了一個(gè)性能基準(zhǔn)。所有后續(xù)更復(fù)雜的模型都必須超越這個(gè)基準(zhǔn)才有意義。5.1 數(shù)據(jù)劃分首先將處理好的特征X和目標(biāo)變量y分離并劃分為訓(xùn)練集和測(cè)試集。from sklearn.model_selection import train_test_split # 假設(shè)X是特征DataFramey是價(jià)格Series X df.drop(columns[price]) y df[price] # 劃分?jǐn)?shù)據(jù)集通常70%-80%用于訓(xùn)練剩余用于測(cè)試 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) print(f訓(xùn)練集大小: {X_train.shape}, 測(cè)試集大小: {X_test.shape})設(shè)置random_state是為了確保每次運(yùn)行劃分結(jié)果一致保證實(shí)驗(yàn)的可復(fù)現(xiàn)性。5.2 選擇與訓(xùn)練Baseline模型對(duì)于回歸問(wèn)題常見(jiàn)的Baseline模型有簡(jiǎn)單線性回歸Linear Regression可解釋性強(qiáng)作為最基礎(chǔ)的基準(zhǔn)。決策樹(shù)回歸Decision Tree Regressor能捕捉非線性關(guān)系但容易過(guò)擬合。隨機(jī)森林回歸Random Forest Regressor集成學(xué)習(xí)模型性能穩(wěn)定抗過(guò)擬合能力強(qiáng)是當(dāng)前比賽中非常流行的強(qiáng)Baseline選擇。這里我們選擇隨機(jī)森林作為Baseline因?yàn)樗ǔＤ芴峁┮粋€(gè)不錯(cuò)的起點(diǎn)且對(duì)特征縮放不敏感。from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score # 初始化模型使用默認(rèn)參數(shù) rf_baseline RandomForestRegressor(n_estimators100, random_state42, n_jobs-1) # n_jobs-1使用所有CPU核心加速 # 在訓(xùn)練集上訓(xùn)練模型 rf_baseline.fit(X_train, y_train) # 在訓(xùn)練集和測(cè)試集上進(jìn)行預(yù)測(cè) y_train_pred rf_baseline.predict(X_train) y_test_pred rf_baseline.predict(X_test) # 計(jì)算評(píng)估指標(biāo) def evaluate_model(y_true, y_pred, set_name): mse mean_squared_error(y_true, y_pred) rmse np.sqrt(mse) mae mean_absolute_error(y_true, y_pred) r2 r2_score(y_true, y_pred) print(f{set_name}集評(píng)估:) print(f MSE: {mse:.2f}) print(f RMSE: {rmse:.2f}) print(f MAE: {mae:.2f}) print(f R2: {r2:.4f}) return rmse train_rmse evaluate_model(y_train, y_train_pred, 訓(xùn)練) test_rmse evaluate_model(y_test, y_test_pred, 測(cè)試)5.3 Baseline模型結(jié)果分析與解讀運(yùn)行上述代碼后你會(huì)得到兩組評(píng)估指標(biāo)。關(guān)鍵要看兩點(diǎn)訓(xùn)練集 vs 測(cè)試集性能如果訓(xùn)練集R2很高如0.95而測(cè)試集R2很低如0.7說(shuō)明模型過(guò)擬合了它只是記住了訓(xùn)練數(shù)據(jù)的噪聲而沒(méi)有學(xué)到泛化規(guī)律。我們的Baseline隨機(jī)森林通常能較好地避免過(guò)擬合。RMSE的絕對(duì)值假設(shè)RMSE是5000元。這意味著平均而言模型的預(yù)測(cè)價(jià)格與實(shí)際價(jià)格相差約5000元。你需要結(jié)合二手車價(jià)格的范圍比如均價(jià)10萬(wàn)來(lái)判斷這個(gè)誤差是否可接受。RMSE為5000對(duì)于均價(jià)10萬(wàn)來(lái)說(shuō)誤差率是5%這可能是一個(gè)不錯(cuò)的起點(diǎn)。核心技巧Baseline模型的意義不僅在于得到一個(gè)分?jǐn)?shù)更在于它為我們建立了完整的數(shù)據(jù)流水線Data Pipeline數(shù)據(jù)加載→預(yù)處理→特征工程→訓(xùn)練/驗(yàn)證→評(píng)估。后續(xù)所有模型迭代和優(yōu)化都將在這個(gè)流水線上進(jìn)行確保對(duì)比的公平性。6. 特征重要性分析與模型調(diào)優(yōu)初探有了Baseline我們的工作才剛剛開(kāi)始。下一步是理解模型并嘗試改進(jìn)它。6.1 洞察模型特征重要性分析隨機(jī)森林等樹(shù)模型可以提供特征重要性評(píng)分這告訴我們模型在做決策時(shí)更依賴哪些特征。import matplotlib.pyplot as plt import seaborn as sns # 獲取特征重要性 feature_importances rf_baseline.feature_importances_ features X_train.columns importance_df pd.DataFrame({feature: features, importance: feature_importances}) importance_df importance_df.sort_values(importance, ascendingFalse) # 可視化 plt.figure(figsize(10, 6)) sns.barplot(ximportance, yfeature, dataimportance_df.head(15)) # 展示前15個(gè)重要特征 plt.title(隨機(jī)森林特征重要性 (Top 15)) plt.xlabel(重要性分?jǐn)?shù)) plt.tight_layout() plt.show()分析結(jié)果可能顯示brand_price_level品牌價(jià)格水平、car_age車齡、mileage_log里程對(duì)數(shù)是最重要的特征。這符合常識(shí)。某些我們精心構(gòu)造的特征如miles_per_year排名靠前證明特征工程有效。某些獨(dú)熱編碼產(chǎn)生的特征重要性極低可以考慮在后續(xù)迭代中剔除以簡(jiǎn)化模型。6.2 初步調(diào)優(yōu)超參數(shù)搜索Baseline使用了模型的默認(rèn)參數(shù)。通過(guò)調(diào)整超參數(shù)我們可以在不改變特征的情況下提升模型性能。最常用的方法是網(wǎng)格搜索Grid Search或隨機(jī)搜索Random Search。from sklearn.model_selection import GridSearchCV # 定義參數(shù)網(wǎng)格 param_grid { n_estimators: [100, 200, 300], # 樹(shù)的數(shù)量 max_depth: [10, 20, 30, None], # 樹(shù)的最大深度None表示不限制 min_samples_split: [2, 5, 10], # 分裂內(nèi)部節(jié)點(diǎn)所需的最小樣本數(shù) min_samples_leaf: [1, 2, 4] # 葉節(jié)點(diǎn)所需的最小樣本數(shù) } # 初始化網(wǎng)格搜索對(duì)象以RMSE作為評(píng)估指標(biāo) rf RandomForestRegressor(random_state42, n_jobs-1) grid_search GridSearchCV(estimatorrf, param_gridparam_grid, cv5, # 5折交叉驗(yàn)證 scoringneg_root_mean_squared_error, # 負(fù)RMSEsklearn約定最大化指標(biāo) verbose2, n_jobs-1) # 在訓(xùn)練集上進(jìn)行搜索注意這很耗時(shí) grid_search.fit(X_train, y_train) # 輸出最佳參數(shù)和最佳分?jǐn)?shù) print(f最佳參數(shù): {grid_search.best_params_}) print(f最佳交叉驗(yàn)證分?jǐn)?shù)-RMSE: {grid_search.best_score_:.2f}) print(f對(duì)應(yīng)RMSE: {-grid_search.best_score_:.2f}) # 用最佳參數(shù)模型在測(cè)試集上評(píng)估 best_rf grid_search.best_estimator_ y_test_pred_best best_rf.predict(X_test) test_rmse_best np.sqrt(mean_squared_error(y_test, y_test_pred_best)) print(f調(diào)優(yōu)后測(cè)試集RMSE: {test_rmse_best:.2f})通過(guò)對(duì)比調(diào)優(yōu)前后的測(cè)試集RMSE我們可以量化調(diào)優(yōu)帶來(lái)的提升。避坑指南交叉驗(yàn)證網(wǎng)格搜索內(nèi)部的cv5意味著使用5折交叉驗(yàn)證來(lái)評(píng)估每組參數(shù)這比單次劃分訓(xùn)練/驗(yàn)證集更穩(wěn)健能更好地防止過(guò)擬合。計(jì)算成本網(wǎng)格搜索的組合數(shù)是指數(shù)增長(zhǎng)的非常耗時(shí)。對(duì)于大型參數(shù)網(wǎng)格優(yōu)先使用RandomizedSearchCV隨機(jī)搜索。驗(yàn)證集我們這里用測(cè)試集來(lái)報(bào)告最終性能。在嚴(yán)格意義上應(yīng)該從訓(xùn)練集中再分出一個(gè)“驗(yàn)證集”用于調(diào)參而測(cè)試集只在最后評(píng)估一次以模擬模型在“未知數(shù)據(jù)”上的表現(xiàn)。GridSearchCV的交叉驗(yàn)證已經(jīng)部分實(shí)現(xiàn)了這個(gè)功能。7. 高級(jí)特征工程與模型進(jìn)階嘗試在Baseline穩(wěn)定之后我們可以嘗試更精細(xì)的特征工程和更強(qiáng)大的模型來(lái)沖擊更高分?jǐn)?shù)。7.1 目標(biāo)編碼Target Encoding對(duì)于高基數(shù)類別特征如model可能有上千個(gè)不同車型獨(dú)熱編碼會(huì)導(dǎo)致維度災(zāi)難。目標(biāo)編碼是一種有效的替代方案它用該類別下目標(biāo)變量?jī)r(jià)格的統(tǒng)計(jì)量如均值來(lái)替代類別本身。# 簡(jiǎn)單示例使用訓(xùn)練集的類別均值進(jìn)行編碼需注意防止數(shù)據(jù)泄露 train_mean y_train.groupby(X_train[model]).mean().to_dict() X_train[model_target_enc] X_train[model].map(train_mean) # 對(duì)于測(cè)試集使用訓(xùn)練集的映射如果遇到新類別則用全局均值填充 X_test[model_target_enc] X_test[model].map(train_mean) X_test[model_target_enc].fillna(y_train.mean(), inplaceTrue)更穩(wěn)健的做法是使用交叉驗(yàn)證框架內(nèi)的目標(biāo)編碼或添加平滑項(xiàng)來(lái)減少小類別數(shù)據(jù)帶來(lái)的噪聲。7.2 使用梯度提升樹(shù)模型梯度提升樹(shù)如XGBoost, LightGBM, CatBoost是當(dāng)前結(jié)構(gòu)化數(shù)據(jù)競(jìng)賽中的“王者模型”它們通常比隨機(jī)森林表現(xiàn)更好。# 以LightGBM為例 import lightgbm as lgb from sklearn.model_selection import cross_val_score # 創(chuàng)建數(shù)據(jù)集格式 train_data lgb.Dataset(X_train, labely_train) # 設(shè)置參數(shù) params { objective: regression, metric: rmse, boosting_type: gbdt, num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, bagging_fraction: 0.8, bagging_freq: 5, verbose: 0, random_state: 42 } # 訓(xùn)練模型 gbm_model lgb.train(params, train_data, num_boost_round200, valid_sets[train_data], callbacks[lgb.early_stopping(stopping_rounds20)]) # 預(yù)測(cè) y_pred_lgb gbm_model.predict(X_test, num_iterationgbm_model.best_iteration) test_rmse_lgb np.sqrt(mean_squared_error(y_test, y_pred_lgb)) print(fLightGBM 測(cè)試集 RMSE: {test_rmse_lgb:.2f})LightGBM具有訓(xùn)練速度快、內(nèi)存消耗低、支持類別特征直接輸入等優(yōu)點(diǎn)值得在Baseline之后嘗試。7.3 模型集成如果時(shí)間允許可以嘗試將多個(gè)模型如隨機(jī)森林、LightGBM、線性模型的預(yù)測(cè)結(jié)果進(jìn)行加權(quán)平均或堆疊Stacking這往往能進(jìn)一步提升模型的魯棒性和性能。from sklearn.linear_model import LinearRegression # 訓(xùn)練多個(gè)模型 model_rf RandomForestRegressor(n_estimators200, random_state42).fit(X_train, y_train) model_lgb lgb.LGBMRegressor(random_state42).fit(X_train, y_train) model_lr LinearRegression().fit(X_train, y_train) # 獲取各模型的預(yù)測(cè)值在驗(yàn)證集或通過(guò)交叉驗(yàn)證獲得此處簡(jiǎn)化 pred_rf model_rf.predict(X_test) pred_lgb model_lgb.predict(X_test) pred_lr model_lr.predict(X_test) # 簡(jiǎn)單加權(quán)平均權(quán)重需要優(yōu)化 final_pred 0.5*pred_lgb 0.3*pred_rf 0.2*pred_lr test_rmse_ensemble np.sqrt(mean_squared_error(y_test, final_pred)) print(f集成模型 測(cè)試集 RMSE: {test_rmse_ensemble:.2f})8. 常見(jiàn)問(wèn)題排查與實(shí)戰(zhàn)技巧實(shí)錄在實(shí)際操作中你一定會(huì)遇到各種各樣的問(wèn)題。這里記錄一些典型問(wèn)題的排查思路和解決技巧。8.1 問(wèn)題模型過(guò)擬合嚴(yán)重訓(xùn)練集分?jǐn)?shù)遠(yuǎn)高于測(cè)試集癥狀訓(xùn)練集R2 0.95測(cè)試集R2 0.6。排查與解決檢查數(shù)據(jù)泄露確保沒(méi)有將測(cè)試集的信息如目標(biāo)編碼的全局均值在預(yù)處理時(shí)泄露到訓(xùn)練過(guò)程中。確保所有基于數(shù)據(jù)的轉(zhuǎn)換如縮放、編碼都只在訓(xùn)練集上fit然后transform訓(xùn)練集和測(cè)試集。簡(jiǎn)化模型對(duì)于樹(shù)模型增加min_samples_split、min_samples_leaf減小max_depth或max_features。這相當(dāng)于給模型“剪枝”降低其學(xué)習(xí)噪聲的能力。增加正則化對(duì)于線性模型增加L1或L2正則化項(xiàng)的強(qiáng)度。減少特征使用特征重要性分析剔除重要性低的特征。特別檢查那些高基數(shù)類別特征經(jīng)過(guò)獨(dú)熱編碼后產(chǎn)生的海量稀疏特征。獲取更多數(shù)據(jù)如果可能這是解決過(guò)擬合最根本的方法。8.2 問(wèn)題模型欠擬合訓(xùn)練集和測(cè)試集分?jǐn)?shù)都很低癥狀訓(xùn)練集R2 0.5測(cè)試集也差不多。排查與解決檢查特征與目標(biāo)的關(guān)系通過(guò)散點(diǎn)圖、相關(guān)矩陣等可視化手段確認(rèn)是否有特征與價(jià)格存在明顯相關(guān)性。可能現(xiàn)有特征信息量不足。加強(qiáng)特征工程回到第4步思考是否能構(gòu)造出與價(jià)格強(qiáng)相關(guān)的新特征如引入更細(xì)粒度的品牌車系信息、車輛配置信息等外部數(shù)據(jù)。使用更復(fù)雜的模型從線性模型切換到樹(shù)模型或神經(jīng)網(wǎng)絡(luò)。減少正則化如果用了正則化嘗試降低其強(qiáng)度。檢查數(shù)據(jù)預(yù)處理錯(cuò)誤例如錯(cuò)誤地將數(shù)值型特征當(dāng)成了文本處理或者填充缺失值時(shí)引入了系統(tǒng)性偏差。8.3 問(wèn)題類別特征處理不當(dāng)導(dǎo)致性能下降癥狀對(duì)某個(gè)類別特征進(jìn)行獨(dú)熱編碼后模型性能不升反降。排查與解決高基數(shù)問(wèn)題如果類別數(shù)量極多如model有上千個(gè)獨(dú)熱編碼會(huì)產(chǎn)生大量稀疏特征增加計(jì)算負(fù)擔(dān)且容易引入噪聲?？紤]使用目標(biāo)編碼、頻率編碼或嵌入Embedding。樹(shù)模型直接處理像LightGBM、CatBoost這類模型可以直接接受類別特征需指定為category類型讓其內(nèi)部處理有時(shí)效果更好。categorical_cols [brand, transmission, fuel_type] for col in categorical_cols: X_train[col] X_train[col].astype(category) X_test[col] X_test[col].astype(category)8.4 問(wèn)題預(yù)測(cè)結(jié)果存在系統(tǒng)性偏差癥狀模型在所有樣本上的預(yù)測(cè)值普遍偏高或偏低或者在某些價(jià)格區(qū)段如高端車預(yù)測(cè)誤差特別大。排查與解決檢查目標(biāo)變量分布繪制y的直方圖。如果價(jià)格分布嚴(yán)重偏斜長(zhǎng)尾分布可以考慮對(duì)價(jià)格y取對(duì)數(shù)讓模型先預(yù)測(cè)log(price)最后再指數(shù)變換回來(lái)。這相當(dāng)于讓模型更關(guān)注相對(duì)誤差而非絕對(duì)誤差。y_train_log np.log1p(y_train) # 用y_train_log訓(xùn)練模型... # 預(yù)測(cè)后 y_pred np.expm1(model.predict(X_test)) # 反向變換分層抽樣在劃分訓(xùn)練/測(cè)試集時(shí)使用stratify參數(shù)雖然sklearn的train_test_split對(duì)回歸問(wèn)題不支持直接分層但可以基于價(jià)格分箱后近似實(shí)現(xiàn)確保不同價(jià)格區(qū)間的車輛在訓(xùn)練集和測(cè)試集中分布比例一致。使用分位數(shù)損失嘗試使用XGBoost或LightGBM的分位數(shù)回歸功能這有助于改善在分布尾部的預(yù)測(cè)精度。8.5 實(shí)戰(zhàn)技巧速查表技巧目的操作方法/代碼片段防止數(shù)據(jù)泄露確保評(píng)估結(jié)果真實(shí)可靠所有fit操作只針對(duì)X_train然后用其參數(shù)transformX_train和X_test加速網(wǎng)格搜索節(jié)省調(diào)參時(shí)間使用RandomizedSearchCV替代GridSearchCV或使用n_jobs-1并行處理偏態(tài)分布提升模型對(duì)數(shù)值范圍的敏感性對(duì)偏態(tài)特征或目標(biāo)變量取對(duì)數(shù)np.log1p(x)類別特征優(yōu)化高效處理大量類別樹(shù)模型中使用astype(category)或使用TargetEncoder需安裝category_encoders庫(kù)快速特征篩選剔除無(wú)用特征簡(jiǎn)化模型基于隨機(jī)森林的feature_importances_或使用SelectFromModel保存與加載模型復(fù)用訓(xùn)練好的模型使用joblib或picklejoblib.dump(model, model.pkl)構(gòu)建一個(gè)成功的二手車估價(jià)模型乃至任何數(shù)據(jù)科學(xué)項(xiàng)目其核心路徑是清晰且通用的深入理解問(wèn)題與數(shù)據(jù) → 扎實(shí)細(xì)致的數(shù)據(jù)預(yù)處理 → 富有洞察力的特征工程 → 建立并迭代優(yōu)化Baseline模型 → 系統(tǒng)性地診斷與解決問(wèn)題。在這個(gè)過(guò)程中對(duì)業(yè)務(wù)的理解二手車市場(chǎng)規(guī)律和對(duì)機(jī)器學(xué)習(xí)流程的熟練掌控同樣重要。希望這份基于MathorCup賽題的詳細(xì)Baseline構(gòu)建指南能為你提供一個(gè)堅(jiān)實(shí)的起點(diǎn)和一套可遷移的方法論。記住第一版模型永遠(yuǎn)不是最后一版持續(xù)迭代、基于數(shù)據(jù)和分析做決策才是提升的關(guān)鍵。 二手車估價(jià)實(shí)戰(zhàn)：從數(shù)據(jù)清洗到Baseline模型構(gòu)建全流程解析
1. 項(xiàng)目概述從二手車估價(jià)賽題到可復(fù)現(xiàn)的Baseline最近在復(fù)盤(pán)一些經(jīng)典的數(shù)學(xué)建模賽題2021年MathorCup高校數(shù)學(xué)建模挑戰(zhàn)賽的A題“二手車估價(jià)問(wèn)題”就是一個(gè)非常典型的、連接學(xué)術(shù)理論與商業(yè)實(shí)踐的案例。這個(gè)題目給參賽者提供了一批真實(shí)的二手車交易數(shù)據(jù)要求我們構(gòu)建一個(gè)估價(jià)模型。聽(tīng)起來(lái)簡(jiǎn)單但真正上手你會(huì)發(fā)現(xiàn)從拿到原始數(shù)據(jù)到跑出一個(gè)像樣的Baseline基線模型中間隔著數(shù)據(jù)預(yù)處理、特征工程和模型訓(xùn)練這三座大山。很多新手團(tuán)隊(duì)折戟沉沙往往不是因?yàn)槟Ｐ退惴ǘ喔呱疃强ㄔ诹诉@些看似基礎(chǔ)實(shí)則至關(guān)重要的環(huán)節(jié)上。這篇內(nèi)容我就以這道賽題為背景拋開(kāi)復(fù)雜的數(shù)學(xué)公式用最“接地氣”的方式帶你走一遍從臟數(shù)據(jù)到Baseline模型的完整實(shí)戰(zhàn)流程。我們會(huì)用到Python這一數(shù)據(jù)分析的利器重點(diǎn)不是追求極致的分?jǐn)?shù)而是理解每個(gè)步驟背后的“為什么”和“怎么做”掌握一套可復(fù)用于其他回歸預(yù)測(cè)問(wèn)題的標(biāo)準(zhǔn)方法論。無(wú)論你是正在備賽的學(xué)生還是對(duì)數(shù)據(jù)科學(xué)感興趣的從業(yè)者相信這套從數(shù)據(jù)清洗、特征構(gòu)造到模型訓(xùn)練與評(píng)估的實(shí)操經(jīng)驗(yàn)都能給你帶來(lái)直接的幫助。2. 賽題理解與數(shù)據(jù)初探明確目標(biāo)與認(rèn)識(shí)數(shù)據(jù)在動(dòng)手寫(xiě)任何一行代碼之前我們必須徹底理解我們要解決什么問(wèn)題以及我們手頭有什么“原料”。這一步的方向如果錯(cuò)了后面所有努力都可能白費(fèi)。2.1 問(wèn)題定義與評(píng)估指標(biāo)MathorCup A題的核心是根據(jù)二手車的一系列屬性如品牌、車齡、里程、排量等預(yù)測(cè)其交易價(jià)格。這是一個(gè)經(jīng)典的監(jiān)督學(xué)習(xí)回歸問(wèn)題。我們的目標(biāo)是構(gòu)建一個(gè)函數(shù) f使得 f(車輛特征) ≈ 車輛真實(shí)價(jià)格。對(duì)于回歸問(wèn)題常見(jiàn)的評(píng)估指標(biāo)有均方誤差MSE預(yù)測(cè)值與真實(shí)值之差的平方的平均值。它對(duì)較大的誤差懲罰更重。均方根誤差RMSEMSE的平方根量綱與預(yù)測(cè)目標(biāo)價(jià)格一致更易于解釋。平均絕對(duì)誤差MAE預(yù)測(cè)值與真實(shí)值之差的絕對(duì)值的平均值。它對(duì)異常值不如MSE敏感。R2分?jǐn)?shù)決定系數(shù)表示模型解釋了目標(biāo)變量方差的百分比越接近1越好。在比賽中組織方通常會(huì)指定一個(gè)主要評(píng)估指標(biāo)例如RMSE。我們的所有模型優(yōu)化和對(duì)比都應(yīng)圍繞這個(gè)核心指標(biāo)展開(kāi)。這就像賽跑的終點(diǎn)線明確了終點(diǎn)才知道該往哪個(gè)方向使勁。2.2 數(shù)據(jù)字段解讀與質(zhì)量探查假設(shè)我們拿到的數(shù)據(jù)包含以下典型字段具體字段名稱可能因賽題數(shù)據(jù)而異price: 車輛交易價(jià)格目標(biāo)變量Labelbrand: 品牌model: 車型reg_date: 注冊(cè)日期用于計(jì)算車齡mileage: 行駛里程公里displacement: 排量升transmission: 變速箱類型手動(dòng)/自動(dòng)fuel_type: 燃油類型汽油/柴油/電動(dòng)等vehicle_level: 車輛級(jí)別如A級(jí)車、B級(jí)車、SUV等region: 車輛所在地區(qū)拿到數(shù)據(jù)后第一件事不是急著導(dǎo)入模型而是使用pandas進(jìn)行快速探查import pandas as pd import numpy as np # 加載數(shù)據(jù) df pd.read_csv(used_car_data.csv) # 1. 查看數(shù)據(jù)概覽 print(數(shù)據(jù)形狀行列:, df.shape) print(\n前5行數(shù)據(jù)) print(df.head()) print(\n數(shù)據(jù)基本信息) print(df.info()) print(\n數(shù)值型字段描述性統(tǒng)計(jì)) print(df.describe()) print(\n查看缺失值情況) print(df.isnull().sum())通過(guò)df.info()我們可以立刻知道每個(gè)字段的數(shù)據(jù)類型是數(shù)字還是文本是整數(shù)還是浮點(diǎn)數(shù)以及非空值的數(shù)量從而對(duì)缺失情況有個(gè)整體把握。df.describe()則會(huì)展示數(shù)值型字段的統(tǒng)計(jì)信息均值、標(biāo)準(zhǔn)差、最小值、分位數(shù)、最大值這對(duì)于發(fā)現(xiàn)異常值至關(guān)重要。比如你可能會(huì)發(fā)現(xiàn)有一輛車的mileage里程是500萬(wàn)公里這顯然不符合常識(shí)是一個(gè)需要處理的異常點(diǎn)。注意真實(shí)比賽數(shù)據(jù)往往存在各種問(wèn)題如字段名不統(tǒng)一中英文混用、帶空格、同一信息多種表述“自動(dòng)擋”、“AT”、“手自一體”可能混用、存在大量缺失或明顯錯(cuò)誤。初探的目的就是把這些“坑”都標(biāo)出來(lái)。3. 數(shù)據(jù)預(yù)處理把“臟數(shù)據(jù)”洗干凈數(shù)據(jù)預(yù)處理是模型大廈的基石。基石不穩(wěn)大廈蓋得再漂亮模型再?gòu)?fù)雜也容易崩塌。這一步的目標(biāo)是將原始數(shù)據(jù)轉(zhuǎn)化為一份干凈、一致、可用于建模的數(shù)據(jù)集。3.1 缺失值處理如何填補(bǔ)信息的空白缺失值是數(shù)據(jù)中的“黑洞”不能直接喂給模型。處理方式需要根據(jù)缺失的原因、比例和字段的業(yè)務(wù)含義來(lái)決定。刪除如果某一行或某一列缺失值比例非常高例如50%且該信息并非關(guān)鍵可以考慮直接刪除。但需謹(jǐn)慎避免損失過(guò)多數(shù)據(jù)。# 刪除缺失目標(biāo)變量price的行因?yàn)闆](méi)有標(biāo)簽無(wú)法用于監(jiān)督學(xué)習(xí) df df.dropna(subset[price]) # 刪除缺失率超過(guò)60%的列 missing_ratio df.isnull().sum() / len(df) cols_to_drop missing_ratio[missing_ratio 0.6].index df df.drop(columnscols_to_drop)填充Imputation這是更常用的方法。數(shù)值型字段常用中位數(shù)對(duì)異常值不敏感或均值進(jìn)行填充。對(duì)于mileage、displacement按品牌或車型分組后取中位數(shù)填充往往比全局填充更合理。# 全局中位數(shù)填充 df[mileage].fillna(df[mileage].median(), inplaceTrue) # 按品牌分組中位數(shù)填充 df[mileage] df.groupby(brand)[mileage].transform(lambda x: x.fillna(x.median()))類別型字段常用眾數(shù)出現(xiàn)最頻繁的類別填充或直接填充為“未知”類別。df[fuel_type].fillna(df[fuel_type].mode()[0], inplaceTrue) # 或者 df[fuel_type].fillna(Unknown, inplaceTrue)3.2 異常值處理找出并馴服那些“離譜”的數(shù)據(jù)異常值會(huì)嚴(yán)重扭曲模型的訓(xùn)練特別是對(duì)MSE這類損失函數(shù)。識(shí)別異常值常用方法業(yè)務(wù)常識(shí)判斷比如mileage大于50萬(wàn)公里reg_date晚于今天price低于1000元等。統(tǒng)計(jì)方法基于標(biāo)準(zhǔn)差如3σ原則或四分位距IQR。# 使用IQR方法檢測(cè)price的異常值 Q1 df[price].quantile(0.25) Q3 df[price].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR outliers df[(df[price] lower_bound) | (df[price] upper_bound)] print(fPrice異常值數(shù)量: {len(outliers)})處理異常值同樣有幾種策略刪除如果異常值數(shù)量很少且明顯是錯(cuò)誤記錄可以直接刪除。截?cái)郬insorization將超出邊界的值設(shè)置為邊界值。這是比賽中的常用技巧能保留數(shù)據(jù)點(diǎn)同時(shí)減少極端值影響。df[price] np.clip(df[price], lower_bound, upper_bound)視為缺失值并填充將異常值設(shè)為NaN然后用處理缺失值的方法進(jìn)行填充。3.3 數(shù)據(jù)格式標(biāo)準(zhǔn)化與編碼確保數(shù)據(jù)格式統(tǒng)一方便后續(xù)處理。日期處理將reg_date轉(zhuǎn)換為車齡年。df[car_age] (pd.to_datetime(2021-01-01) - pd.to_datetime(df[reg_date])).dt.days / 365.25 df df.drop(columns[reg_date]) # 轉(zhuǎn)換后丟棄原始日期字段文本類別編碼模型無(wú)法理解“自動(dòng)”、“手動(dòng)”這樣的文本需要轉(zhuǎn)換為數(shù)字。標(biāo)簽編碼Label Encoding為每個(gè)類別分配一個(gè)整數(shù)。適用于有大小順序的類別如車輛級(jí)別A00A0ABC...。from sklearn.preprocessing import LabelEncoder le LabelEncoder() df[transmission_encoded] le.fit_transform(df[transmission])獨(dú)熱編碼One-Hot Encoding為每個(gè)類別創(chuàng)建一個(gè)新的二進(jìn)制列0/1。適用于無(wú)序類別如品牌、顏色。注意如果類別很多會(huì)導(dǎo)致特征維度爆炸“維度災(zāi)難”。df pd.get_dummies(df, columns[fuel_type, region], prefix[fuel, region])實(shí)操心得對(duì)于樹(shù)模型如隨機(jī)森林、XGBoost它們能直接處理類別特征有時(shí)使用標(biāo)簽編碼甚至不編碼需要特定庫(kù)支持效果更好。而對(duì)于線性模型、神經(jīng)網(wǎng)絡(luò)獨(dú)熱編碼通常是必須的。在比賽中可以嘗試不同的編碼方式看哪種對(duì)模型效果提升更大。4. 特征工程從原始數(shù)據(jù)中提煉“黃金”特征工程是機(jī)器學(xué)習(xí)項(xiàng)目成敗的關(guān)鍵其目標(biāo)是創(chuàng)造對(duì)預(yù)測(cè)目標(biāo)更有信息量的特征。好的特征能讓簡(jiǎn)單模型表現(xiàn)優(yōu)異壞的特征則會(huì)讓復(fù)雜模型也無(wú)能為力。4.1 基礎(chǔ)特征構(gòu)造基于現(xiàn)有字段通過(guò)組合、轉(zhuǎn)換創(chuàng)造新特征。數(shù)值特征轉(zhuǎn)換對(duì)mileage、displacement取對(duì)數(shù)可以壓縮數(shù)據(jù)范圍使其分布更接近正態(tài)分布這對(duì)許多模型有益。df[mileage_log] np.log1p(df[mileage]) # log1p防止對(duì)0取對(duì)數(shù)交互特征捕捉特征之間的關(guān)系。例如計(jì)算“年均行駛里程”mileage / car_age這比單獨(dú)使用里程或車齡更能反映車輛使用強(qiáng)度。df[miles_per_year] df[mileage] / df[car_age] df[miles_per_year].replace([np.inf, -np.inf], np.nan, inplaceTrue) # 處理除零錯(cuò)誤 df[miles_per_year].fillna(df[miles_per_year].median(), inplaceTrue)多項(xiàng)式特征對(duì)于某些與價(jià)格可能存在非線性關(guān)系的特征如car_age可以創(chuàng)建其平方項(xiàng)、立方項(xiàng)。但需謹(jǐn)慎容易引入多重共線性。4.2 領(lǐng)域知識(shí)特征引入這是體現(xiàn)建模者水平的地方需要結(jié)合二手車市場(chǎng)的實(shí)際經(jīng)驗(yàn)。品牌溢價(jià)特征計(jì)算每個(gè)品牌車輛的平均價(jià)格作為一個(gè)新特征。這能幫助模型快速捕捉品牌價(jià)值差異。brand_avg_price df.groupby(brand)[price].mean().to_dict() df[brand_price_level] df[brand].map(brand_avg_price)車型年代款從model字段中提取車型年代信息如“2018款”作為一個(gè)新的有序類別特征。地區(qū)經(jīng)濟(jì)水平如果region信息足夠細(xì)可以引入該地區(qū)的人均GDP或汽車消費(fèi)指數(shù)作為外部特征。4.3 特征縮放許多模型如線性回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)的性能受特征尺度影響。將特征縮放至相近的范圍可以加速模型收斂并提升性能。標(biāo)準(zhǔn)化Standardization將特征縮放為均值為0標(biāo)準(zhǔn)差為1。適用于特征分布近似正態(tài)的情況。from sklearn.preprocessing import StandardScaler scaler StandardScaler() numerical_cols [car_age, mileage_log, displacement, miles_per_year] df[numerical_cols] scaler.fit_transform(df[numerical_cols])歸一化Normalization將特征縮放至[0, 1]區(qū)間。適用于有邊界特征。from sklearn.preprocessing import MinMaxScaler注意事項(xiàng)必須在劃分訓(xùn)練集和測(cè)試集之后分別用訓(xùn)練集的統(tǒng)計(jì)量均值和標(biāo)準(zhǔn)差、最小最大值去轉(zhuǎn)換訓(xùn)練集和測(cè)試集。絕對(duì)不能用整個(gè)數(shù)據(jù)集fit_transform后再劃分這會(huì)引入數(shù)據(jù)泄露Data Leakage導(dǎo)致模型評(píng)估結(jié)果過(guò)于樂(lè)觀在真實(shí)比賽中這是嚴(yán)重錯(cuò)誤。5. 模型訓(xùn)練Baseline構(gòu)建從零到一的跨越Baseline是一個(gè)簡(jiǎn)單、快速實(shí)現(xiàn)的初始模型它為我們提供了一個(gè)性能基準(zhǔn)。所有后續(xù)更復(fù)雜的模型都必須超越這個(gè)基準(zhǔn)才有意義。5.1 數(shù)據(jù)劃分首先將處理好的特征X和目標(biāo)變量y分離并劃分為訓(xùn)練集和測(cè)試集。from sklearn.model_selection import train_test_split # 假設(shè)X是特征DataFramey是價(jià)格Series X df.drop(columns[price]) y df[price] # 劃分?jǐn)?shù)據(jù)集通常70%-80%用于訓(xùn)練剩余用于測(cè)試 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) print(f訓(xùn)練集大小: {X_train.shape}, 測(cè)試集大小: {X_test.shape})設(shè)置random_state是為了確保每次運(yùn)行劃分結(jié)果一致保證實(shí)驗(yàn)的可復(fù)現(xiàn)性。5.2 選擇與訓(xùn)練Baseline模型對(duì)于回歸問(wèn)題常見(jiàn)的Baseline模型有簡(jiǎn)單線性回歸Linear Regression可解釋性強(qiáng)作為最基礎(chǔ)的基準(zhǔn)。決策樹(shù)回歸Decision Tree Regressor能捕捉非線性關(guān)系但容易過(guò)擬合。隨機(jī)森林回歸Random Forest Regressor集成學(xué)習(xí)模型性能穩(wěn)定抗過(guò)擬合能力強(qiáng)是當(dāng)前比賽中非常流行的強(qiáng)Baseline選擇。這里我們選擇隨機(jī)森林作為Baseline因?yàn)樗ǔＤ芴峁┮粋€(gè)不錯(cuò)的起點(diǎn)且對(duì)特征縮放不敏感。from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score # 初始化模型使用默認(rèn)參數(shù) rf_baseline RandomForestRegressor(n_estimators100, random_state42, n_jobs-1) # n_jobs-1使用所有CPU核心加速 # 在訓(xùn)練集上訓(xùn)練模型 rf_baseline.fit(X_train, y_train) # 在訓(xùn)練集和測(cè)試集上進(jìn)行預(yù)測(cè) y_train_pred rf_baseline.predict(X_train) y_test_pred rf_baseline.predict(X_test) # 計(jì)算評(píng)估指標(biāo) def evaluate_model(y_true, y_pred, set_name): mse mean_squared_error(y_true, y_pred) rmse np.sqrt(mse) mae mean_absolute_error(y_true, y_pred) r2 r2_score(y_true, y_pred) print(f{set_name}集評(píng)估:) print(f MSE: {mse:.2f}) print(f RMSE: {rmse:.2f}) print(f MAE: {mae:.2f}) print(f R2: {r2:.4f}) return rmse train_rmse evaluate_model(y_train, y_train_pred, 訓(xùn)練) test_rmse evaluate_model(y_test, y_test_pred, 測(cè)試)5.3 Baseline模型結(jié)果分析與解讀運(yùn)行上述代碼后你會(huì)得到兩組評(píng)估指標(biāo)。關(guān)鍵要看兩點(diǎn)訓(xùn)練集 vs 測(cè)試集性能如果訓(xùn)練集R2很高如0.95而測(cè)試集R2很低如0.7說(shuō)明模型過(guò)擬合了它只是記住了訓(xùn)練數(shù)據(jù)的噪聲而沒(méi)有學(xué)到泛化規(guī)律。我們的Baseline隨機(jī)森林通常能較好地避免過(guò)擬合。RMSE的絕對(duì)值假設(shè)RMSE是5000元。這意味著平均而言模型的預(yù)測(cè)價(jià)格與實(shí)際價(jià)格相差約5000元。你需要結(jié)合二手車價(jià)格的范圍比如均價(jià)10萬(wàn)來(lái)判斷這個(gè)誤差是否可接受。RMSE為5000對(duì)于均價(jià)10萬(wàn)來(lái)說(shuō)誤差率是5%這可能是一個(gè)不錯(cuò)的起點(diǎn)。核心技巧Baseline模型的意義不僅在于得到一個(gè)分?jǐn)?shù)更在于它為我們建立了完整的數(shù)據(jù)流水線Data Pipeline數(shù)據(jù)加載→預(yù)處理→特征工程→訓(xùn)練/驗(yàn)證→評(píng)估。后續(xù)所有模型迭代和優(yōu)化都將在這個(gè)流水線上進(jìn)行確保對(duì)比的公平性。6. 特征重要性分析與模型調(diào)優(yōu)初探有了Baseline我們的工作才剛剛開(kāi)始。下一步是理解模型并嘗試改進(jìn)它。6.1 洞察模型特征重要性分析隨機(jī)森林等樹(shù)模型可以提供特征重要性評(píng)分這告訴我們模型在做決策時(shí)更依賴哪些特征。import matplotlib.pyplot as plt import seaborn as sns # 獲取特征重要性 feature_importances rf_baseline.feature_importances_ features X_train.columns importance_df pd.DataFrame({feature: features, importance: feature_importances}) importance_df importance_df.sort_values(importance, ascendingFalse) # 可視化 plt.figure(figsize(10, 6)) sns.barplot(ximportance, yfeature, dataimportance_df.head(15)) # 展示前15個(gè)重要特征 plt.title(隨機(jī)森林特征重要性 (Top 15)) plt.xlabel(重要性分?jǐn)?shù)) plt.tight_layout() plt.show()分析結(jié)果可能顯示brand_price_level品牌價(jià)格水平、car_age車齡、mileage_log里程對(duì)數(shù)是最重要的特征。這符合常識(shí)。某些我們精心構(gòu)造的特征如miles_per_year排名靠前證明特征工程有效。某些獨(dú)熱編碼產(chǎn)生的特征重要性極低可以考慮在后續(xù)迭代中剔除以簡(jiǎn)化模型。6.2 初步調(diào)優(yōu)超參數(shù)搜索Baseline使用了模型的默認(rèn)參數(shù)。通過(guò)調(diào)整超參數(shù)我們可以在不改變特征的情況下提升模型性能。最常用的方法是網(wǎng)格搜索Grid Search或隨機(jī)搜索Random Search。from sklearn.model_selection import GridSearchCV # 定義參數(shù)網(wǎng)格 param_grid { n_estimators: [100, 200, 300], # 樹(shù)的數(shù)量 max_depth: [10, 20, 30, None], # 樹(shù)的最大深度None表示不限制 min_samples_split: [2, 5, 10], # 分裂內(nèi)部節(jié)點(diǎn)所需的最小樣本數(shù) min_samples_leaf: [1, 2, 4] # 葉節(jié)點(diǎn)所需的最小樣本數(shù) } # 初始化網(wǎng)格搜索對(duì)象以RMSE作為評(píng)估指標(biāo) rf RandomForestRegressor(random_state42, n_jobs-1) grid_search GridSearchCV(estimatorrf, param_gridparam_grid, cv5, # 5折交叉驗(yàn)證 scoringneg_root_mean_squared_error, # 負(fù)RMSEsklearn約定最大化指標(biāo) verbose2, n_jobs-1) # 在訓(xùn)練集上進(jìn)行搜索注意這很耗時(shí) grid_search.fit(X_train, y_train) # 輸出最佳參數(shù)和最佳分?jǐn)?shù) print(f最佳參數(shù): {grid_search.best_params_}) print(f最佳交叉驗(yàn)證分?jǐn)?shù)-RMSE: {grid_search.best_score_:.2f}) print(f對(duì)應(yīng)RMSE: {-grid_search.best_score_:.2f}) # 用最佳參數(shù)模型在測(cè)試集上評(píng)估 best_rf grid_search.best_estimator_ y_test_pred_best best_rf.predict(X_test) test_rmse_best np.sqrt(mean_squared_error(y_test, y_test_pred_best)) print(f調(diào)優(yōu)后測(cè)試集RMSE: {test_rmse_best:.2f})通過(guò)對(duì)比調(diào)優(yōu)前后的測(cè)試集RMSE我們可以量化調(diào)優(yōu)帶來(lái)的提升。避坑指南交叉驗(yàn)證網(wǎng)格搜索內(nèi)部的cv5意味著使用5折交叉驗(yàn)證來(lái)評(píng)估每組參數(shù)這比單次劃分訓(xùn)練/驗(yàn)證集更穩(wěn)健能更好地防止過(guò)擬合。計(jì)算成本網(wǎng)格搜索的組合數(shù)是指數(shù)增長(zhǎng)的非常耗時(shí)。對(duì)于大型參數(shù)網(wǎng)格優(yōu)先使用RandomizedSearchCV隨機(jī)搜索。驗(yàn)證集我們這里用測(cè)試集來(lái)報(bào)告最終性能。在嚴(yán)格意義上應(yīng)該從訓(xùn)練集中再分出一個(gè)“驗(yàn)證集”用于調(diào)參而測(cè)試集只在最后評(píng)估一次以模擬模型在“未知數(shù)據(jù)”上的表現(xiàn)。GridSearchCV的交叉驗(yàn)證已經(jīng)部分實(shí)現(xiàn)了這個(gè)功能。7. 高級(jí)特征工程與模型進(jìn)階嘗試在Baseline穩(wěn)定之后我們可以嘗試更精細(xì)的特征工程和更強(qiáng)大的模型來(lái)沖擊更高分?jǐn)?shù)。7.1 目標(biāo)編碼Target Encoding對(duì)于高基數(shù)類別特征如model可能有上千個(gè)不同車型獨(dú)熱編碼會(huì)導(dǎo)致維度災(zāi)難。目標(biāo)編碼是一種有效的替代方案它用該類別下目標(biāo)變量?jī)r(jià)格的統(tǒng)計(jì)量如均值來(lái)替代類別本身。# 簡(jiǎn)單示例使用訓(xùn)練集的類別均值進(jìn)行編碼需注意防止數(shù)據(jù)泄露 train_mean y_train.groupby(X_train[model]).mean().to_dict() X_train[model_target_enc] X_train[model].map(train_mean) # 對(duì)于測(cè)試集使用訓(xùn)練集的映射如果遇到新類別則用全局均值填充 X_test[model_target_enc] X_test[model].map(train_mean) X_test[model_target_enc].fillna(y_train.mean(), inplaceTrue)更穩(wěn)健的做法是使用交叉驗(yàn)證框架內(nèi)的目標(biāo)編碼或添加平滑項(xiàng)來(lái)減少小類別數(shù)據(jù)帶來(lái)的噪聲。7.2 使用梯度提升樹(shù)模型梯度提升樹(shù)如XGBoost, LightGBM, CatBoost是當(dāng)前結(jié)構(gòu)化數(shù)據(jù)競(jìng)賽中的“王者模型”它們通常比隨機(jī)森林表現(xiàn)更好。# 以LightGBM為例 import lightgbm as lgb from sklearn.model_selection import cross_val_score # 創(chuàng)建數(shù)據(jù)集格式 train_data lgb.Dataset(X_train, labely_train) # 設(shè)置參數(shù) params { objective: regression, metric: rmse, boosting_type: gbdt, num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, bagging_fraction: 0.8, bagging_freq: 5, verbose: 0, random_state: 42 } # 訓(xùn)練模型 gbm_model lgb.train(params, train_data, num_boost_round200, valid_sets[train_data], callbacks[lgb.early_stopping(stopping_rounds20)]) # 預(yù)測(cè) y_pred_lgb gbm_model.predict(X_test, num_iterationgbm_model.best_iteration) test_rmse_lgb np.sqrt(mean_squared_error(y_test, y_pred_lgb)) print(fLightGBM 測(cè)試集 RMSE: {test_rmse_lgb:.2f})LightGBM具有訓(xùn)練速度快、內(nèi)存消耗低、支持類別特征直接輸入等優(yōu)點(diǎn)值得在Baseline之后嘗試。7.3 模型集成如果時(shí)間允許可以嘗試將多個(gè)模型如隨機(jī)森林、LightGBM、線性模型的預(yù)測(cè)結(jié)果進(jìn)行加權(quán)平均或堆疊Stacking這往往能進(jìn)一步提升模型的魯棒性和性能。from sklearn.linear_model import LinearRegression # 訓(xùn)練多個(gè)模型 model_rf RandomForestRegressor(n_estimators200, random_state42).fit(X_train, y_train) model_lgb lgb.LGBMRegressor(random_state42).fit(X_train, y_train) model_lr LinearRegression().fit(X_train, y_train) # 獲取各模型的預(yù)測(cè)值在驗(yàn)證集或通過(guò)交叉驗(yàn)證獲得此處簡(jiǎn)化 pred_rf model_rf.predict(X_test) pred_lgb model_lgb.predict(X_test) pred_lr model_lr.predict(X_test) # 簡(jiǎn)單加權(quán)平均權(quán)重需要優(yōu)化 final_pred 0.5*pred_lgb 0.3*pred_rf 0.2*pred_lr test_rmse_ensemble np.sqrt(mean_squared_error(y_test, final_pred)) print(f集成模型 測(cè)試集 RMSE: {test_rmse_ensemble:.2f})8. 常見(jiàn)問(wèn)題排查與實(shí)戰(zhàn)技巧實(shí)錄在實(shí)際操作中你一定會(huì)遇到各種各樣的問(wèn)題。這里記錄一些典型問(wèn)題的排查思路和解決技巧。8.1 問(wèn)題模型過(guò)擬合嚴(yán)重訓(xùn)練集分?jǐn)?shù)遠(yuǎn)高于測(cè)試集癥狀訓(xùn)練集R2 0.95測(cè)試集R2 0.6。排查與解決檢查數(shù)據(jù)泄露確保沒(méi)有將測(cè)試集的信息如目標(biāo)編碼的全局均值在預(yù)處理時(shí)泄露到訓(xùn)練過(guò)程中。確保所有基于數(shù)據(jù)的轉(zhuǎn)換如縮放、編碼都只在訓(xùn)練集上fit然后transform訓(xùn)練集和測(cè)試集。簡(jiǎn)化模型對(duì)于樹(shù)模型增加min_samples_split、min_samples_leaf減小max_depth或max_features。這相當(dāng)于給模型“剪枝”降低其學(xué)習(xí)噪聲的能力。增加正則化對(duì)于線性模型增加L1或L2正則化項(xiàng)的強(qiáng)度。減少特征使用特征重要性分析剔除重要性低的特征。特別檢查那些高基數(shù)類別特征經(jīng)過(guò)獨(dú)熱編碼后產(chǎn)生的海量稀疏特征。獲取更多數(shù)據(jù)如果可能這是解決過(guò)擬合最根本的方法。8.2 問(wèn)題模型欠擬合訓(xùn)練集和測(cè)試集分?jǐn)?shù)都很低癥狀訓(xùn)練集R2 0.5測(cè)試集也差不多。排查與解決檢查特征與目標(biāo)的關(guān)系通過(guò)散點(diǎn)圖、相關(guān)矩陣等可視化手段確認(rèn)是否有特征與價(jià)格存在明顯相關(guān)性。可能現(xiàn)有特征信息量不足。加強(qiáng)特征工程回到第4步思考是否能構(gòu)造出與價(jià)格強(qiáng)相關(guān)的新特征如引入更細(xì)粒度的品牌車系信息、車輛配置信息等外部數(shù)據(jù)。使用更復(fù)雜的模型從線性模型切換到樹(shù)模型或神經(jīng)網(wǎng)絡(luò)。減少正則化如果用了正則化嘗試降低其強(qiáng)度。檢查數(shù)據(jù)預(yù)處理錯(cuò)誤例如錯(cuò)誤地將數(shù)值型特征當(dāng)成了文本處理或者填充缺失值時(shí)引入了系統(tǒng)性偏差。8.3 問(wèn)題類別特征處理不當(dāng)導(dǎo)致性能下降癥狀對(duì)某個(gè)類別特征進(jìn)行獨(dú)熱編碼后模型性能不升反降。排查與解決高基數(shù)問(wèn)題如果類別數(shù)量極多如model有上千個(gè)獨(dú)熱編碼會(huì)產(chǎn)生大量稀疏特征增加計(jì)算負(fù)擔(dān)且容易引入噪聲?？紤]使用目標(biāo)編碼、頻率編碼或嵌入Embedding。樹(shù)模型直接處理像LightGBM、CatBoost這類模型可以直接接受類別特征需指定為category類型讓其內(nèi)部處理有時(shí)效果更好。categorical_cols [brand, transmission, fuel_type] for col in categorical_cols: X_train[col] X_train[col].astype(category) X_test[col] X_test[col].astype(category)8.4 問(wèn)題預(yù)測(cè)結(jié)果存在系統(tǒng)性偏差癥狀模型在所有樣本上的預(yù)測(cè)值普遍偏高或偏低或者在某些價(jià)格區(qū)段如高端車預(yù)測(cè)誤差特別大。排查與解決檢查目標(biāo)變量分布繪制y的直方圖。如果價(jià)格分布嚴(yán)重偏斜長(zhǎng)尾分布可以考慮對(duì)價(jià)格y取對(duì)數(shù)讓模型先預(yù)測(cè)log(price)最后再指數(shù)變換回來(lái)。這相當(dāng)于讓模型更關(guān)注相對(duì)誤差而非絕對(duì)誤差。y_train_log np.log1p(y_train) # 用y_train_log訓(xùn)練模型... # 預(yù)測(cè)后 y_pred np.expm1(model.predict(X_test)) # 反向變換分層抽樣在劃分訓(xùn)練/測(cè)試集時(shí)使用stratify參數(shù)雖然sklearn的train_test_split對(duì)回歸問(wèn)題不支持直接分層但可以基于價(jià)格分箱后近似實(shí)現(xiàn)確保不同價(jià)格區(qū)間的車輛在訓(xùn)練集和測(cè)試集中分布比例一致。使用分位數(shù)損失嘗試使用XGBoost或LightGBM的分位數(shù)回歸功能這有助于改善在分布尾部的預(yù)測(cè)精度。8.5 實(shí)戰(zhàn)技巧速查表技巧目的操作方法/代碼片段防止數(shù)據(jù)泄露確保評(píng)估結(jié)果真實(shí)可靠所有fit操作只針對(duì)X_train然后用其參數(shù)transformX_train和X_test加速網(wǎng)格搜索節(jié)省調(diào)參時(shí)間使用RandomizedSearchCV替代GridSearchCV或使用n_jobs-1并行處理偏態(tài)分布提升模型對(duì)數(shù)值范圍的敏感性對(duì)偏態(tài)特征或目標(biāo)變量取對(duì)數(shù)np.log1p(x)類別特征優(yōu)化高效處理大量類別樹(shù)模型中使用astype(category)或使用TargetEncoder需安裝category_encoders庫(kù)快速特征篩選剔除無(wú)用特征簡(jiǎn)化模型基于隨機(jī)森林的feature_importances_或使用SelectFromModel保存與加載模型復(fù)用訓(xùn)練好的模型使用joblib或picklejoblib.dump(model, model.pkl)構(gòu)建一個(gè)成功的二手車估價(jià)模型乃至任何數(shù)據(jù)科學(xué)項(xiàng)目其核心路徑是清晰且通用的深入理解問(wèn)題與數(shù)據(jù) → 扎實(shí)細(xì)致的數(shù)據(jù)預(yù)處理 → 富有洞察力的特征工程 → 建立并迭代優(yōu)化Baseline模型 → 系統(tǒng)性地診斷與解決問(wèn)題。在這個(gè)過(guò)程中對(duì)業(yè)務(wù)的理解二手車市場(chǎng)規(guī)律和對(duì)機(jī)器學(xué)習(xí)流程的熟練掌控同樣重要。希望這份基于MathorCup賽題的詳細(xì)Baseline構(gòu)建指南能為你提供一個(gè)堅(jiān)實(shí)的起點(diǎn)和一套可遷移的方法論。記住第一版模型永遠(yuǎn)不是最后一版持續(xù)迭代、基于數(shù)據(jù)和分析做決策才是提升的關(guān)鍵。