決策樹是怎么產生的

決策樹是對分類問題進行深入分析的一種方法,在實際問題中,按算法生成的決策樹往往復雜而龐大,令用戶難以理解。這就告訴我們在重分類精確性的同時,也要加強對樹修剪的研究。
隨著數據挖掘技術的逐步成熟,其算法的深入研究已成為當前該領域的焦點,決策樹方法作為數據挖掘領域重要算法之一,在分類規則中突現了它的優勢。決策樹方法是從機器學習中引出的,它根據給定的訓練樣本數據集來構建分類模型,以樹的形式來表達模型。
一般來說,決策樹是一個類似于流程圖的樹結構,其中每個節點表示在一個屬性上的測試,每個分枝代表一個測試輸出,每個樹葉節點代表類或類分布。決策樹的最頂層節點是根節點。更明確地說,決策樹通過根節點到葉節點的順序對實例進行分類,其中每個節點代表一個屬性,每個分枝代表它所連接的上節點在其屬性上的可能取值。舉例來說,一個實例的分類是從樹的根節點開始,測試該節點所代表的屬性,然后沿屬性取值的某個分枝向下移動,不斷重復這個過程,直至到達葉節點,即得到該實例所屬的類。
機器學習領域研究對數據的歸納分類,主要集中在預測精確度方面。然而,在許多實際業務中,只有"數據的預測結構更易于理解"的分類規則才易讓人接受,就象這個分類規則所解決的決策問題一樣讓人清楚明白。在機器學習和統計領域,決策樹歸納作為一種分類問題的解決方法正在被廣泛的研究。由于許多樹簡化規則正在生成越來越簡單和越來越小的決策樹,樹簡化規則已經成為繼預測精度之后的第二個研究焦點。總結樹簡化技術的關鍵問題在于解決方法的多樣性。要駕御這種多樣性,可以將這些方法分為五類。類的建立是將樹歸納看作是對預想樹空間的即席狀態搜索。
隨著數據挖掘技術的逐步成熟,其算法的深入行業研究已成為當前該領域的焦點,決策樹方法作為數據挖掘領域重要算法之一,在分類規則中突現了它的優勢。
(1)C&R 樹
classification and regression trees 是一種基于樹的分類和預測方法,模型使用簡單,易于理解(規則解釋起來更簡明易),該方法通過在每個步驟最大限度降低不純潔度,使用遞歸分區來將訓練記錄分割為組。然后,可根據使用的建模方法在每個分割處自動選擇最合適的預測變量。如果節點中100% 的觀測值都屬于目標字段的一個特定類別,則該節點將被認定為“純潔”。目標和預測變量字段可以是范圍字段,也可以是分類字段;所有分割均為二元分割(即分割為兩組)。分割標準用的是基尼系數(Gini Index)。
(2)QUEST決策樹
優點:運算過程比C&R 樹更簡單有效quick unbiased efficient statistical tree (快速無偏有效的統計樹)QUEST 節點可提供用于構建決策樹的二元分類法,此方法的設計目的是減少大型 C&R 決策樹分析所需的處理時間,同時減小分類樹方法中常見的偏向類別較多預測變量的趨勢。預測變量字段可以是數字范圍的,但目標字段必須是分類的。所有分割都是二元的。
(3)CHAID決策樹
優點(chi-squared automatic interaction detection,卡方自動交互檢測),通過使用卡方統計量識別最優分割來構建決策樹的分類方法
1、可產生多分支的決策樹;
2、目標和預測變量字段可以是范圍字段,也可以是分類字段;
3、從統計顯著性角度確定分支變量和分割值,進而優化樹的分枝過程(前向修剪);
4、建立在因果關系探討中,依據目標變量實現對輸入變量眾多水平劃分。
(4)C5.0決策樹
優點:執行效率和內存使用改進、適用大數據集
1、面對數據遺漏和輸入字段很多的問題時非常穩健;
2、通常不需要很長的訓練次數進行估計;工作原理是基于產生最大信息增益的字段逐級分割樣本;
3、比一些其他類型的模型易于理解,模型推出的規則有非常直觀的解釋;
4、允許進行多次多于兩個子組的分割。
決策樹方法并不適用于現實世界中的所有問題,根據管理學理論,它需要滿足下列條件時才能產生較優的結果。
首先,實例要用“屬性-值”的形式描述。具體講,實例是由一系列固定的屬性和值構成:屬性的可能取值范圍比較小時,決策樹的效果最好。
其次,目標類變量的可能取值是離散的。決策樹算法要求每個實例屬于某個類,最簡單的情況是只存在兩個可能的目標類取值,當然也可以擴充到兩個以上的可能取值。
最后,訓練樣本可以有錯誤。即決策樹算法應是健壯的,不僅訓練樣本的目標類可以有錯誤,而且屬性值也可以有錯誤。訓練樣本數據的某個屬性可以包含缺失值。
決策樹算法在分類規則中,通過訓練樣本數據集即可構建分類模型,但這并不適用于現實生活中的任何數據,所以,在不滿足其條件時,應盡可能的創造條件,使其算法能夠準確、快速的實施,使決策樹方法能更好的為數據挖掘領域服務。
知名風險投資公司
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||

創業聯合網是創業者和投資人的交流平臺。平臺擁有5000+名投資人入駐。幫助創業企業對接投資人和投資機構,同時也是創業企業的媒體宣傳和交流合作平臺。
熱門標簽
精華文章