Zubnet AI學習Wiki › 神經元
基礎

神經元

別名:人工神經元、感知器、節點

神經網路的基本運算單元。人工神經元接收輸入,將每個輸入乘以一個權重,求和後加上偏差值,再通過啟動函數產生輸出。數千到數十億個這樣的神經元,按層組織並由學習到的權重連接,構成了驅動所有現代 AI 的神經網路。

為什麼重要

神經元是深度學習的原子。理解單一神經元 — 加權求和加上啟動函數 — 能讓神經網路架構的其餘部分變得直觀。一層是一組神經元。一個網路是層的堆疊。訓練是調整權重。其他一切都是細節(重要的細節,但仍是細節)。

深度解析

人工神經元大致受到生物神經元的啟發,但不應被視為精確的類比。生物神經元通過樹突接收電信號,在細胞體中整合,並通過軸突發射(或不發射)。人工神經元的計算方式為:output = activation(w1·x1 + w2·x2 + ... + wn·xn + bias)。權重(w)決定每個輸入的重要程度。偏差值移動啟動閾值。啟動函數(ReLU、GELU)引入非線性。

從感知器到深度學習

感知器(Rosenblatt,1958 年)是第一個人工神經元 — 一個能學習分類線性可分資料的單一單元。Minsky 和 Papert 在 1969 年證明單一感知器無法學習 XOR(一個簡單的非線性函數),這促成了第一次 AI 寒冬。解決方案:堆疊多層神經元(多層感知器 / MLP),只要有足夠的神經元就能學習任何函數。這就是通用近似定理 — 深度學習的理論基礎。

現代 LLM 中的神經元

像 Llama-70B 這樣的模型大約有 700 億個參數(連接神經元的權重和偏差值)。每個前饋層有數千個神經元。但現代研究表明,個別神經元通常不對應單一概念 — 相反,概念被編碼為跨多個神經元的啟動空間中的方向(疊加)。一個神經元可能參與編碼數十個不同的特徵,使得解讀變得具有挑戰性。

相關概念

← 所有術語
← 知識編輯 神經網絡 →
ESC