एक न्यूरल नेटवर्क आधार में एक मैट्रिक्स गुणन की श्रृंखला होता है जिसमें असमान फ़ंक्शन मिश्रित होते हैं। प्रत्येक "न्यूरॉन" अपने इनपुट के वजनित योग को लेता है, एक बायस पद जोड़ता है, और परिणाम को एक सक्रियता फ़ंक्शन (ReLU, GELU, साइग्मॉइड, और अन्य) के माध्यम से पारित करता है। हजारों ऐसे न्यूरॉनों को परतों में एक साथ रखें, दर्जनों परतों के गहराई तक एक साथ रखें, और आप एक ऐसा नेटवर्क प्राप्त करते हैं जो अत्यधिक जटिल फ़ंक्शन सीख सकता है — चेहरों को पहचानने से लेकर निबंध उत्पन्न करने तक और प्रोटीन के विन्यास करने तक। जादू व्यक्तिगत न्यूरॉन में नहीं है (जो बेहद सरल गणित है) बल्कि संरचना में है: परतें एक दूसरे पर बनती हैं, प्रत्येक इनपुट डेटा के अधिक अमूल्य प्रतिनिधित्व सीखती है।
एक न्यूरल नेटवर्क को प्रशिक्षित करना सभी उन वजनों और बायस के लिए सही मान खोजना होता है — अक्सर अरबों तक। यह बैकप्रोपैगेशन और ग्रेडिएंट डेसेंट के माध्यम से होता है। आप नेटवर्क को एक इनपुट फीड करते हैं, उसके आउटपुट को वांछित उत्तर से तुलना करते हैं, यह गलत कितना था इसकी गणना करते हैं (लॉस), फिर प्रत्येक परत के माध्यम से पीछे की ओर जाकर गणना करते हैं कि प्रत्येक वजन उस त्रुटि में कितना योगदान दिया। प्रत्येक वजन को थोड़ा सा उस दिशा में धकेला जाता है जो लॉस को कम करता है। अपने पूरे डेटासेट पर इस प्रक्रिया को अरबों बार दोहराएं, और नेटवर्क उन वजनों पर अपने उपयोगी आउटपुट उत्पन्न करने के लिए अभिसारित हो जाता है। प्रक्रिया अवधारणात्मक रूप से सरल है, लेकिन इसे बड़े पैमाने पर काम करने के लिए ध्यान से इंजीनियरिंग की आवश्यकता होती है: लर्निंग रेट स्केड्यूल, बैच नॉर्मलाइजेशन, वेट इनिशियलाइजेशन स्ट्रैटेजीज़, और कई ग्राफिकल प्रोसेसिंग यूनिट मेमोरी।
इतिहास हमें आज कहाँ हैं इसके समझने में मदद करता है। न्यूरल नेटवर्क का पहला प्रस्ताव 1940 के दशक में किया गया था और 1960 के दशक में (परसेप्ट्रॉन) एक चरम अवधि थी, इसके बाद एक लंबा "एआई सर्दियों" के बाद वे लोकप्रियता से बाहर हो गए। आधुनिक पुनर्जागरण 2012 के आसपास शुरू हुआ, जब एक गहरे गहरे न्यूरल नेटवर्क के रूप में एलेक्सनेट ने इमेजनेट प्रतियोगिता को एक ऐसे मार्जिन से जीत लिया जो क्षेत्र के लिए आश्चर्यजनक था। जो बदल गया वह सिद्धांत नहीं था — बैकप्रोपैगेशन 1980 के दशक से मौजूद था — बल्कि हार्डवेयर (जीपीयू ने बड़े पैमाने पर समानांतरता को सस्ता बना दिया) और डेटा (इंटरनेट ने पहले की तुलना में कई गुना बड़े प्रशिक्षण सेट प्रदान किए)। तब से हर महत्वपूर्ण एआई अभिनव, जैसे कि अल्फा गो से लेकर जीपीटी-4 और सोरा तक, किसी न किसी तरह के न्यूरल नेटवर्क ही हैं।
आज, "न्यूरल नेटवर्क" शब्द एक विस्तृत परिवार के आर्किटेक्चर को कवर करता है, प्रत्येक विशिष्ट समस्याओं के लिए उपयुक्त। कॉन्वोलूशनल न्यूरल नेटवर्क (CNNs) इमेज टास्क में शासन करते हैं जिनमें स्पेसियल संरचना का उपयोग किया जाता है। रिकरेंट न्यूरल नेटवर्क (RNNs) और उनके LSTM वैरिएंट्स ट्रांसफॉर्मर्स द्वारा बदले जाने से पहले क्र