構(gòu)建決策樹的整體過程中我們都需要做什么第一步就是我們首先確定根節(jié)點(diǎn)的特征然后根據(jù)根節(jié)點(diǎn)的特征吧樣本分成兩塊然后針對(duì)左邊的或者是右邊的繼續(xù)去分第一個(gè)關(guān)鍵決策 就是我們?nèi)绾未_定每一個(gè)節(jié)點(diǎn)的特征是什么呢因?yàn)樵诟?jié)點(diǎn)以及決策樹的左分支和右分支我們必須幾點(diǎn)如果該節(jié)點(diǎn)有少數(shù)的例子包含貓狗混合我們是根據(jù)臉型耳朵還是胡須去分割我們會(huì)在下個(gè)類型看到?jīng)Q策樹會(huì)選擇哪一個(gè)特征進(jìn)行分類以嘗試最大化純度純度就是盡可能做到分的全是貓或者非貓的子集例如如果我們有一個(gè)特征他問這個(gè)動(dòng)物有貓的DNA嗎我們實(shí)際上沒有這個(gè)特征如果我們有我們可以在根節(jié)點(diǎn)上進(jìn)行分裂這將導(dǎo)致左側(cè)分支全是貓右邊全部不是貓這兩個(gè)分支全部都是純的這意味著每個(gè)分支都有一個(gè)類別要么全是貓要么不是貓因?yàn)樨埖腄NA這是一個(gè)非常好的特征但是基于我們實(shí)際的我們只能根據(jù)臉型耳性胡須他們都會(huì)得到純度不一樣的左右分支因此決策樹必須在這些特征之中進(jìn)行選擇哪一個(gè)特征的純度最高因此我們首先要決定在節(jié)點(diǎn)上選擇最純的特征構(gòu)建決策樹的第二個(gè)特征是什么時(shí)候停止這個(gè)就要制定數(shù)最大的深度防止樹太大難以管理通過保持樹小不太容易過擬合另一個(gè)可以決定停止分裂的標(biāo)準(zhǔn)純度分?jǐn)?shù)的改進(jìn)低于某個(gè)閾值如果一個(gè)節(jié)點(diǎn)分類導(dǎo)致純度很小的改進(jìn)或者是降低了純度如果某個(gè)節(jié)點(diǎn)的例子低于某個(gè)閾值也可以停止分裂防止規(guī)模較小導(dǎo)致過擬合