मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Gradient Boosting
मूल तत्व

Gradient Boosting

इसे भी कहा जाता है: Decision Trees, XGBoost, LightGBM, GBDT
Machine learning की एक classic विधि जो एक के बाद एक कई छोटे decision trees बनाती है, जिनमें हर tree पिछले trees की गलतियाँ सुधारता है, और जो spreadsheet जैसे data के लिए आज भी पहली पसंद है।

यह क्यों मायने रखता है

हर AI समस्या को neural network की ज़रूरत नहीं होती। Tabular data के लिए, यानी rows और columns वाला data जैसे customer records, transactions, sensor readings या medical measurements, gradient-boosted trees अब भी default हैं, और benchmarks व competitions में ये अक्सर deep learning की बराबरी करते हैं या उसे हरा देते हैं। ये CPU पर सेकंडों या मिनटों में train हो जाते हैं, इन्हें data की बहुत कम तैयारी चाहिए, ये missing values और मिले-जुले column types संभाल लेते हैं, और कुछ हज़ार rows के साथ भी काम करते हैं।

Production में चल रही machine learning का बहुत बड़ा हिस्सा ठीक यही है: fraud detection, credit scoring, churn prediction, demand forecasting, ad ranking। अगर आपके पास एक spreadsheet है और एक column है जिसे आप predict करना चाहते हैं, तो यहीं से शुरू कीजिए, LLM से नहीं।

गहन अध्ययन

Decision tree machine learning का सबसे आसानी से पढ़ा जा सकने वाला model है: हाँ/ना वाले सवालों का एक flowchart ("क्या आय 50,000 से ऊपर है?", "क्या account दो साल से पुराना है?") जो एक prediction पर खत्म होता है। अकेला tree कमज़ोर होता है और आसानी से overfit हो जाता है। तरकीब यह है कि बहुत सारे trees को मिलाया जाए।

Gradient boosting trees को एक के बाद एक बनाता है। पहला tree एक मोटा-मोटा prediction करता है। दूसरा पहले की गलतियों पर train होता है, तीसरा उस पर जो अब भी गलत है, और इसी तरह सैकड़ों या हज़ारों rounds तक। हर tree छोटा होता है, लेकिन उनका जोड़ बहुत सटीक होता है। इस विधि को Jerome Friedman ने 2001 के आसपास औपचारिक रूप दिया, और XGBoost (2014), LightGBM (2016) और CatBoost (2017) जैसी libraries ने इसे तेज़ और इस्तेमाल में आसान बना दिया।

Trees को मिलाने के दो तरीके

  • Random forests (bagging): कई गहरे trees को अलग-अलग train कीजिए, हर एक को data और features के एक random sample पर, और उनका औसत लीजिए। औसत लेने से अलग-अलग trees का noise कट जाता है। मज़बूत तरीका, जिसमें गलती करना मुश्किल है।
  • Gradient boosting: छिछले trees को क्रम से train कीजिए, जहाँ हर tree loss के gradient को fit करता है, यानी उस दिशा को जिसमें मौजूदा predictions सबसे ज़्यादा गलत हैं। आम तौर पर random forest से ज़्यादा सटीक, लेकिन settings के प्रति ज़्यादा संवेदनशील।

जो knobs मायने रखते हैं

  • Trees की संख्या और learning rate: हर tree का योगदान learning rate से घटाया जाता है। कम rate और ज़्यादा trees आम तौर पर बेहतर generalize करते हैं। संख्या चुनने के लिए validation set पर early stopping इस्तेमाल कीजिए।
  • Tree की गहराई या leaves की संख्या: तय करती है कि हर tree कितना जटिल है। छिछले trees (गहराई 3 से 8) आम हैं।
  • Subsampling: हर tree के लिए rows और columns का एक random हिस्सा इस्तेमाल करने से regularization जुड़ता है।

यहाँ trees neural networks को क्यों हराते हैं

Tabular columns के मतलब और scales बहुत अलग-अलग होते हैं, अहम patterns अक्सर तीखे thresholds होते हैं, और कई columns बेमतलब होते हैं। Trees इन तीनों को सहज रूप से संभाल लेते हैं। Neural networks को smooth patterns और pixels या tokens जैसे बड़े, एक जैसे inputs पसंद हैं। नए तरीके, जैसे छोटी tables के लिए TabPFN foundation model, कुछ स्थितियों में यह अंतर घटा रहे हैं, लेकिन boosted trees अब भी वह baseline हैं जिसे हराना है।

भीतर झाँकना

Trees काम की interpretability देते हैं: feature importance scores, और सटीक SHAP values जो बताती हैं कि हर column ने किसी एक prediction को कितना ऊपर या नीचे धकेला। Lending जैसे regulated इस्तेमाल में यह मायने रखता है।

LLMs कहाँ आते हैं

LLMs और boosted trees एक-दूसरे के पूरक हैं। एक आम pattern यह है कि LLM या embedding model से बिखरे हुए text को features में बदला जाए (एक category, एक sentiment score, एक embedding) और उन्हें numeric columns के साथ boosted model में दिया जाए।

← सभी शब्द
ESC