Le neurone artificiel est vaguement inspiré des neurones biologiques, mais il ne faut pas prendre l'analogie au pied de la lettre. Un neurone biologique reçoit des signaux électriques par les dendrites, les intègre dans le corps cellulaire, et émet (ou non) un signal par l'axone. Un neurone artificiel calcule : sortie = activation(w1·x1 + w2·x2 + ... + wn·xn + biais). Les poids (w) déterminent l'importance de chaque entrée. Le biais décale le seuil d'activation. La fonction d'activation (ReLU, GELU) introduit la non-linéarité.
Le perceptron (Rosenblatt, 1958) fut le premier neurone artificiel — une unité unique capable d'apprendre à classer des données linéairement séparables. Minsky et Papert ont montré en 1969 qu'un perceptron seul ne pouvait pas apprendre XOR (une fonction non-linéaire simple), contribuant au premier hiver de l'IA. La solution : empiler plusieurs couches de neurones (perceptrons multicouches / MLP), capables d'apprendre n'importe quelle fonction avec suffisamment de neurones. C'est le théorème d'approximation universelle — le fondement théorique de l'apprentissage profond.
Un modèle comme Llama-70B possède environ 70 milliards de paramètres (poids et biais connectant les neurones). Chaque couche feedforward contient des milliers de neurones. Mais la recherche moderne montre que les neurones individuels ne correspondent souvent pas à des concepts uniques — les concepts sont plutôt encodés comme des directions dans l'espace d'activation à travers de nombreux neurones (superposition). Un seul neurone peut participer à l'encodage de dizaines de caractéristiques différentes, ce qui rend l'interprétation difficile.