跳到主要內容
Zubnet AI › 學習 › Wiki

AI 維基

AI概念,由建造者解釋,而非教科書。沒有術語牆。沒有學術門檻。清晰、實用的定義。

375 術語 8 分類 2026-10-14 更新
💡
每日術語
Fireworks AI
一個 AI 推論平台,透過高速、按用量付費的 API 提供開放權重模型。它由 Meta PyTorch 團隊的工程師於 2022 年創立,既提供按 token 計費的無伺服器端點,也為高流量工作負載提供專用 GPU 部署,涵蓋大型語言模型,以及圖像、音訊與嵌入模型。
→
🧭 學習路徑 ▼
未找到匹配的術語。
01.AI01.AI、Yi、零一萬物
公司
李開復於 2023 年創立的中國 AI 公司,最知名的產品是 Yi 大型語言模型系列。01.AI 一方面發佈 Yi-34B 等開放權重模型——後者曾短暫登上開放模型排行榜榜首——另一方面透過…
A2AAgent2Agent、Agent2Agent Protocol
工具
A2A(Agent2Agent)是 Google 於 2025 年推出的開放協定,讓不同供應商與框架打造的 AI…
Activation FunctionReLU、GELU、SiLU、Swish
基礎
應用於神經元輸出的數學函數,為網路引入非線性。沒有啟動函數,神經網路——無論多少層——都只能學習線性關係。ReLU、GELU 和 SiLU/Swish 是現代架構中最常見的啟動函數。
Adam Optimizer別名:Adam、AdamW
訓練
訓練神經網路最廣泛使用的最佳化演算法。Adam(自適應動差估計)結合了動量(使用過去梯度的移動平均)和自適應學習率(透過過去梯度大小的倒數來縮放更新)。AdamW 加入了解耦權重衰減以獲得更好的正規化。幾乎所有現代 LLM 都使用…
AGI通用人工智慧
基礎
一個假設性的AI系統,能夠理解、學習並執行人類所能進行的任何智慧行動——具備跨領域知識轉移能力,無需針對每個領域進行特定訓練。與目前擅長處理特定任務(生成文字、分類影像)的AI不同,AGI將能處理新情境、進行抽象推理,並適應任何挑戰。AGI…
AI Energy ConsumptionAI Power Consumption、AI Energy Use、AI 能源消耗
基礎設施
AI 系統在整個生命週期中消耗的總電力,主要由兩個階段構成:產生模型的一次性訓練,以及回應每項使用者請求的持續推論。負載包括加速器本身,以及周邊冷卻、網路和電力輸送的額外消耗。隨模型與使用規模擴大,這項需求已大到足以重塑數個國家的電網規劃。
AI Ethics負責任 AI、倫理 AI
安全
研究 AI 開發和部署所引發的道德問題:AI 系統延續了什麼偏見?AI 出錯時誰受害?AI 的決策應如何解釋?當自主系統造成損害時誰負責?AI 倫理涵蓋公平性、透明度、問責制、隱私和 AI 系統的社會影響。
AI Observability別名:LLM 監控、AI 追蹤、LLMOps
基礎設施
監控和理解 AI 系統在生產環境中的行為——即時追蹤輸入、輸出、延遲、成本、錯誤和品質指標。AI 可觀測性就像應用程式監控(Datadog、New Relic),但專門針對…
AI RegulationEU AI Act、AI 政策
安全
管理 AI 系統開發和部署的法律和政策。歐盟 AI 法案(2024 年)是最全面的,按風險等級分類 AI 系統並據此施加要求。美國採取更具部門特定性的方法,透過行政命令和機構指引。中國則有針對生成式 AI、深偽技術和推薦演算法的監管規定。
AI SafetyAI 安全
安全
一個研究與工程領域,目標是讓 AI 系統可靠、可預測地運作,並符合人類意圖。它涵蓋對齊、可解釋性、穩健性、評估與治理,既處理幻覺和偏誤等近期危害,也關注能力極強的系統可能引發的長期問題。AI Safety 不同於 AI…
AI 垃圾內容AI Slop、生成式垃圾內容
安全
低品質、泛泛而談、不想要的AI生成內容,充斥於網際網路。這個詞語在2024年出現,作為對劣質AI文字、圖片和影片浪潮的貶義詞,這些內容污染了搜尋結果、社群媒體動態和線上市場。Slop是AI版本的垃圾郵件——技術上被稱為「內容」,卻毫無價值,…
AI 基準測試MMLU、HumanEval、ARC、HellaSwag
基礎
用於衡量和比較 AI 模型能力的標準化測試。MMLU 測試 57 個學術科目的知識。HumanEval 測試程式碼生成。ARC 測試科學推理。HellaSwag 測試常識推理。GSM8K…
AI 基礎設施AI 基建、ML 基礎設施
基礎設施
用於大規模訓練和部署AI模型所需的完整堆疊硬體、軟體與服務。這包括GPU與客製化晶片、資料中心、網路、儲存、編排平台(Kubernetes、Slurm)、模型服務框架(vLLM、TensorRT)以及整合所有資源的雲端服務供應商。AI基礎設…
AI 安全LLM 安全、AI 安全工程
安全
保護AI系統免受對抗性攻擊、數據污染、提示注入、模型竊取與濫用的實踐—同時防禦深度偽造(deepfakes)與自動化網絡攻擊等AI啟用的威脅。AI安全位於傳統網絡安全與機器學習系統所引發的獨特弱點的交界處。
AI 定價Token 定價、API 定價
基礎設施
AI 供應商如何對其模型的使用收費。主流模式是按 token 定價 — 您需為所傳送(輸入)與接收(輸出)的 token 數量付費,輸出的 token 通常費用是輸入的 3 到 5…
基礎
在經歷炒作和未實現期望的週期後,AI 研究的資金、興趣和進展減少的時期。歷史上有過兩次主要的 AI 寒冬:第一次從 1970 年代中期到 1980 年代初期(在專家系統未能擴展之後),第二次從 1980 年代末期到 1990…
AI 治理AI 監管、AI 政策
安全
引導人工智慧開發、部署與使用的架構、政策、法律與組織實踐。這包括政府規範(歐盟AI法案、行政命令)、產業自律(負責任擴展政策、model cards)、企業治理(AI倫理委員會、使用政策),以及國際間在AI安全標準上的協調。
AI 的 A/B 測試線上評估、分流測試
基礎設施
透過隨機將真實使用者分配到兩個 AI 系統變體(不同的模型、提示或配置),比較哪個在關鍵指標上表現更好。與離線評估(基準測試、測試集)不同,A/B 測試揭示變更如何影響實際使用者行為——參與度、滿意度、任務完成率和營收。
AI 程式編寫助手程式碼 Copilot、AI IDE
工具
協助開發者撰寫、審查、除錯與部署程式碼的人工智慧工具。從自動補全(GitHub Copilot、Codeium)到完全自主開發(Claude…
AI 網路安全AI 安全、AI 威脅偵測
安全
AI在網路安全中的雙重應用:使用AI來防禦系統(威脅檢測、異常檢測、自動化事件回應),以及AI所創造的新攻擊向量(AI生成的魚叉式詐騙、自動化漏洞發現、對機器學習系統的對抗性攻擊)。這個領域正處於一場軍備競賽中,攻擊者和防禦者都越來越依賴A…
AI 隱私AI 資料隱私、ML 隱私
安全
在不損害個人數據的情況下建立和使用人工智慧系統的挑戰。這涵蓋整個生命周期:可能包含私人資訊的訓練數據、可能記憶並重現個人細節的模型、追蹤用戶行為的推論日誌,以及人工智慧能力(隨數據增加而提升)與隱私權之間的根本矛盾。
公司
一家以色列 AI 公司,以 Jamba 聞名——第一個結合 Transformer 注意力層與 Mamba SSM 層的生產級混合架構。AI21 由 AI 研究者(包括 Yoav Shoham)創立,自 2017…
Aleph AlphaAleph Alpha
公司
一家於 2019 年在海德堡創立的德國 AI 公司,以 Luminous 大型語言模型家族,以及針對歐洲企業與政府的資料主權路線聞名。公司起初曾在模型開發前沿正面競爭,2024 年卻轉向…
AlexNetAlexNet
模型
在 2012 年 ImageNet 競賽中以巨大優勢獲勝的卷積神經網路,引發了深度學習革命。由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 創建,AlexNet 將圖像分類錯誤率從…
AlphaFoldAlphaFold 2、AlphaFold 3
模型
Google DeepMind 推出的蛋白質結構預測系統,可直接從胺基酸序列計算蛋白質的三維形狀。AlphaFold 2 在 2020 年 CASP14 評估中達到實驗方法的準確度,AlphaFold 3 則將這套方法延伸至蛋白質與…
AlphaGoAlphaZero、AlphaGo Zero
模型
Google DeepMind 打造的圍棋 AI 系統;2016 年 3 月,它在首爾舉行的五番棋中以 4–1 擊敗九段冠軍李世石,成為第一個戰勝頂尖人類職業棋手的電腦程式。AlphaGo…
AnthropicClaude、憲法式 AI、MCP
公司
AI安全公司Anthropic正在開發Claude。該公司由前OpenAI研究人員戴里奧與丹妮拉·阿莫迪共同創立,專注於開發可靠、可解釋且可導向的AI系統。
API應用程式介面
基礎設施
軟體之間進行溝通的結構化方式。在 AI 領域中,這通常表示將請求(您的提示)傳送至服務供應商的伺服器,並接收回應(模型的輸出結果)。透過 HTTPS 的 REST API 是標準做法。
Apple 的裝置端和雲端 AI 系統,整合於 iPhone、iPad 和 Mac。Apple Intelligence 在 Apple 晶片上本地運行較小的模型以處理隱私敏感任務(文字改寫、摘要、影像生成),並將複雜請求路由到…
Artificial IntelligenceAI、機器智慧
基礎
建造能夠執行通常需要人類智慧的任務的機器的廣泛領域——理解語言、辨識影像、做出決策、解決問題。AI 的範圍從擅長特定任務的狹義系統(垃圾郵件過濾器、西洋棋引擎)到能處理人類所能完成的任何智力任務的通用智慧這一遠大目標。
ASI人工超級智慧
基礎
一種理論上的AI系統,其認知能力在幾乎所有領域都超越所有人類——科學推理、社會智慧、創造力、戰略規劃等等。ASI超越AGI(與人類智慧相當)達到質的差異:一種能夠遞歸自我改進、解決人類甚至無法明確表述問題的智慧。目前尚無任何ASI存在,科學…
AssemblyAIUniversal-2 語音辨識、音訊智能
公司
Speech AI公司正在建立開發者友好的API,用於語音轉文字、說話者檢測與語音理解。他們的Universal-2模型在準確度上與OpenAI Whisper匹敵,同時內建說話者分離、情緒分析與主題檢測等功能。
Autoregressive(自回歸)自回歸模型、下一詞元預測
基礎
一種逐一生成輸出詞元的模型,其中每個新詞元都是基於之前所有詞元來預測的。每個現代 LLM — Claude、GPT、Llama、Gemini &mdash…
AWS Bedrock別名:Amazon Bedrock
公司
Amazon Web Services 的託管平台,用於透過統一的 API 存取和部署來自多個供應商(Anthropic、Meta、Mistral、Cohere、Stability AI、Amazon 自己的 Titan…
BaiduErnie、Wenxin Yiyan、Ernie Bot、文心一言
公司
中國科技巨擘,以搜尋引擎與文心一言(Ernie)最為知名——後者是它於 2023 年推出的聊天機器人及基礎模型家族,也是中國最早與 ChatGPT 競爭的主要產品之一。百度也營運蘿蔔快跑(Apollo…
Batch Size & Epoch小批量、訓練輪次
訓練
批量大小是模型在更新參數之前處理多少個訓練樣本。一個輪次(epoch)是對整個訓練資料集的一次完整遍歷。一個在 100 萬個樣本上以批量大小 1,000 訓練 3 個輪次的模型,每次更新處理 1,000 個樣本,每個輪次需要 1,000…
BERTBidirectional Encoder Representations from Transformers
模型
Google 於 2018 年推出的基於 Transformer 的模型,透過引入雙向預訓練徹底改變了自然語言處理——每個 token 都能關注其他所有 token,使模型具有深層的上下文理解能力。BERT…
Black Forest LabsFLUX.1 系列模型
公司
由 Stable Diffusion 的原始創作者在離開 Stability AI 後創立。他們的 FLUX 模型迅速成為開源圖像生成的新標準,超越了他們離開時所留下的模型的品質。
BLEU 與 ROUGEBLEU 分數、ROUGE 分數
基礎
通過將模型輸出與參考文本進行比較來評估文本生成品質的經典指標。BLEU(雙語評估替代方法)衡量生成文本中有多少 n-gram 出現在參考文本中 &mdash…
BPE位元組對編碼、子詞分詞
基礎
建構分詞器詞彙表最常用的演算法。BPE 從單個位元組或字元開始,反覆合併最頻繁的相鄰對成為新的 token。經過數千次合併後,常見的單詞會變成單一…
Bria授權訓練資料、企業級圖像生成
公司
以色列的人工智慧公司,僅使用獲得授權且標明來源的訓練數據來建立其影像生成模型,定位為企業在需要AI生成視覺內容時的首選方案——無版權風險。
CartesiaSonic、基於 SSM 的語音模型
公司
基於狀態空間模型(SSM)架構,而非 Transformer 架構的語音 AI 起點公司。他們的 Sonic 模型實現了超低延遲的語音生成,讓即時對話式 AI 首次感覺真正自然。
訓練
當神經網路在新任務上訓練時,失去了執行先前學習任務的能力。在客服資料上微調模型可能使其在客服方面表現出色,但在編碼方面變得糟糕。新的學習覆蓋了編碼舊能力的權重,「遺忘」了它們。
CerebrasCerebras Systems、WSE
公司
一家建造晶圓級 AI 處理器的晶片公司——晶片大小相當於整片矽晶圓,比標準 GPU 大 100 倍以上。Cerebras WSE-3(Wafer Scale Engine)包含 4 兆個電晶體和 900,000 個核心。其 CS-3…
Character.AI別名:c.ai
公司
一個用於建立和與 AI 角色聊天的平台——虛構人物、歷史人物和自訂角色,在對話中保持一致的個性、知識和說話模式。由前 Google Brain 研究人員創立,Character.AI 是首批實現大規模消費者採用的 AI…
Chatbot ArenaLMSYS Arena、ELO 排名
基礎
一個由 LMSYS 開發的群眾外包平台,使用者與兩個匿名 AI 模型並排聊天,並投票選出哪個回應更好。結果用於計算 ELO 評分——與西洋棋使用的相同排名系統——建立一個基於真實人類偏好而非自動化基準的持續更新模型品質排行榜。
使用AI
用於對話式 AI 互動的軟體介面。現代聊天機器人(Claude、ChatGPT、Gemini)由 LLM 驅動,能處理開放式對話、程式碼、圖片和工具。
Classification分類器、分類法
基礎
將輸入分配到預定義類別之一的任務。「這封電子郵件是垃圾郵件嗎?」(二元分類)。「這張影像是貓、狗還是鳥?」(多類別分類)。「這些標籤中哪些適用於這篇文章?」(多標籤分類)。分類是最常見的監督式學習任務,也是無數實際 AI 應用的基礎。
ClaudeClaude Sonnet、Claude Opus、Claude Haiku
模型
Claude 是由 Anthropic 打造的大型語言模型系列,分為 Haiku、Sonnet、Opus 三個等級,在速度、成本與能力之間取捨。它以聊天助手、API 和一組代理型工具的形式提供,並採用 Anthropic 的…
CLIP對比語言-圖像預訓練
模型
OpenAI(2021 年)的一個模型,透過在 4 億個圖像-文字描述對上訓練來學習連接圖像和文本。CLIP 將圖像和文本編碼到同一個嵌入空間中,其中匹配的圖像-文本對距離近,不匹配的對距離遠。它是大多數現代多模態 AI…
CNN卷積神經網路、ConvNet
模型
一種設計用於處理網格狀資料(影像、音訊頻譜圖)的神經網路架構,透過在輸入上滑動小型濾波器(核)來偵測邊緣、紋理和形狀等局部模式。CNN 從 2012 年(AlexNet)到 2020 年左右 Vision Transformer…
CohereCommand、Embed、Rerank 模型
公司
以企業應用為導向的人工智慧公司,由Aidan Gomez共同創立,他是原始《Attention Is All You Need》Transformer論文的共同作者之一。專注於針對企業應用場景優化的模型、RAG技術以及多語言支援。
Computer Use電腦操作代理、GUI 代理、Computer-Using Agent (CUA)
使用AI
一種讓 AI 模型像人類一樣操作實際桌面或瀏覽器的能力:查看螢幕截圖,再發出滑鼠與鍵盤動作。模型不呼叫 API,而是感知螢幕、決定要點選或輸入什麼,再由執行器實際操作;這個迴圈會持續到任務完成或代理放棄。Anthropic 的…
安全
Anthropic 開發的一種對齊技術,模型被訓練為遵循一套原則(「憲法」),而不是僅依賴人類回饋來做每個決策。模型根據這些原則批評和修改自己的輸出,然後在修改後的輸出上進行訓練。這減少了對人類標註者的需求,並使對齊標準變得明確和可審計。
Contamination資料污染、基準洩漏
基礎
當基準測試資料出現在模型的訓練資料中,使其分數被膨脹而不反映真正的能力。如果模型在訓練期間看到了測試題目而「事先複習了答案」,其基準效能就毫無意義。隨著訓練資料集越來越大並抓取更多的網際網路內容(基準資料通常在網上公布),污染正成為日益嚴重…
Context Engineering上下文工程
使用AI
設計、組合並維護模型在上下文視窗中看到的一切——包括系統提示詞、檢索到的文件、工具輸出、記憶及對話紀錄——使模型能可靠完成工作的實務。這個詞於 2025…
ControlNet控制網路
模型
一種為圖像生成模型增加空間控制的架構。ControlNet 不是只用文字描述你想要什麼(「一個人站著」),而是讓你指定怎麼做 &mdash…
Convolution別名:Conv、卷積層、核、濾波器
基礎
一種數學運算,將一個小型濾波器(核)滑過輸入以偵測局部模式。在影像中,一個 3×3…
公司
一家完全圍繞 AI 工作負載的 GPU 運算而打造的專業雲端供應商。CoreWeave 營運大規模 NVIDIA GPU 叢集(H100、H200),並已獲得數十億美元的股權和債務融資來建設 GPU 資料中心。包括微軟和數家 AI…
公司
AI 原生程式碼編輯器(VS Code 分支)。深度 LLM 整合:行內生成、多檔案編輯、程式碼庫感知的上下文。
DALL-E別名:DALL-E 2、DALL-E 3
模型
OpenAI 的影像生成模型系列。DALL-E 1(2021)使用離散 VAE + Transformer 方法。DALL-E 2(2022)使用 CLIP + 擴散。DALL-E 3(2023)整合到 ChatGPT…
透過建立現有樣本的修改版本來人工擴展訓練資料集的技術。對於影像:翻轉、旋轉、裁剪、色彩偏移。對於文本:改寫、回譯、同義詞替換。對於音訊:速度變更、雜訊注入。目標是教會模型不變性——無論影像被翻轉、變暗還是裁剪,貓就是貓。
Databricks別名:Mosaic ML、DBRX、Unity Catalog
公司
一個資料和 AI 平台,提供統一的分析、資料工程和機器學習能力。Databricks 於 2023 年收購了 Mosaic ML 以增加 LLM 訓練能力,並發布了 DBRX,他們自己的開放權重 LLM。該平台建構在 Apache…
Dataset訓練集、資料
基礎
用於訓練、評估或測試機器學習模型的結構化資料集合。資料集可以是標註的(每個範例都有已知的正確答案)或未標註的(沒有註解的原始資料)。資料集的品質、大小、多樣性和代表性從根本上決定了模型能學到什麼。
Decart AI即時世界模擬、遊戲生成
公司
以色列AI公司突破即時AI生成的界限。其技術能夠即時生成互動式遊戲般的環境,模糊傳統渲染與AI生成之間的界限。
Decoder別名:解碼器網路、生成器
基礎
一個從表示中生成輸出的神經網路組件。在 Transformer 中,解碼器使用因果(從左到右)注意力逐個生成 token。在影像生成中,VAE…
Deep ResearchDeep Research Agents、Agentic Research、深度研究
使用AI
多款 AI 助手提供的一種模式,模型會自主規劃並執行多步驟網路研究任務,再傳回附有引用的結構化報告。它不會只進行一次快速搜尋便回答,而是花費數分鐘閱讀數十個來源、追查線索,並整合研究結果。Google 於 2024 年 12 月率先在…
DeepgramNova 語音轉文字、Aura 文字轉語音
公司
語音 AI 公司,專注於開發快速且準確的語音辨識與文字轉語音 API。他們的 Nova 模型在準確度上與 OpenAI 的 Whisper 競爭,甚至經常超越它,同時在即時應用中運行速度顯著更快。
DeepL神經機器翻譯、DeepL Pro
公司
這家德國AI公司被廣泛視為全球最優秀的機器翻譯服務提供商—由一群計算語言學家打造,他們的表現始終超越Google Translate及其他大型科技公司的產品,尤其是在歐洲語言方面。
DeepSeekDeepSeek-V3、DeepSeek-R1
公司
中國AI實驗室於2025年初以DeepSeek-R1震撼業界,該推理模型僅需極低的訓練成本即可匹敵前沿實驗室。由量化對沖基金High-Flyer資助。
DevinCognition Devin、Cognition AI
工具
Cognition AI 打造的自主式 AI 軟體工程師,可接收高階任務並端到端完成:制訂計畫、撰寫程式碼、執行測試、除錯,再於自身的沙箱環境中建立 pull request。Devin 於 2024 年登場,是第一款以「AI…
Diffusion LLMText Diffusion Model、dLLM、文字擴散模型
模型
一種透過反覆去除雜訊來生成文字的大型語言模型,不再由左至右、一次預測一個 token。它從完全被遮罩或擾動的序列開始,經少量步驟並行精修每個位置,將圖像擴散模型的核心概念改造成適合離散文字的版本。
一種將擴散模型中傳統使用的 U-Net 骨幹替換為 Transformer 的架構。DiT 將注意力機制應用於影像生成,實現了使 LLM 如此強大的相同擴展行為。Sora、Flux、Stable Diffusion 3…
訓練
訓練一個較小的「學生」模型來模仿一個較大的「教師」模型,方法是從教師的軟機率分布(而非硬標籤)中學習。軟輸出編碼了硬標籤無法傳達的類別間關係。
DPO直接偏好優化
訓練
RLHF 的替代方案,用於模型對齊。DPO 使用偏好/拒絕回應的配對直接優化模型,無需獨立的獎勵模型或強化學習。更簡單、更穩定、更省算力。
Dropout正則化、權重衰減
訓練
一種正則化技術,在每個訓練步驟中隨機「關閉」一部分神經元,將其輸出設為零。這防止網路過度依賴任何單一神經元,迫使其學習分散的、穩健的表示。在推理時,所有神經元都是活躍的,但會進行相應的縮放。
Early Stopping別名:耐心值、基於驗證的停止
訓練
當在保留的驗證集上的效能停止改善時就停止訓練,而不是訓練固定數量的步數。隨著訓練持續,訓練損失持續下降,但驗證損失最終開始上升——模型正在對訓練資料過擬合。提前停止捕捉到這個拐點,在品質下降之前保存最佳模型。
Edge AI(邊緣 AI)裝置端 AI、本地 AI
基礎設施
在終端使用者的裝置上(手機、筆電、汽車)而非雲端上運行 AI。隱私、零延遲、離線可用。
ElevenLabs語音合成、語音複製、配音
公司
一家讓超逼真語音合成技術普及化的語音AI公司。其技術支援語音克隆、即時配音與文字轉語音,涵蓋32種語言,模糊人類與AI語音之間的界限。
Embodied AIEmbodied Intelligence、Robotics Foundation Models、具身智慧
基礎
一種讓模型控制實體機器的人工智慧方法——機器人不只在螢幕上處理文字與圖像,而能在現實世界中感知、移動並操控物體。核心主張是,真正的智慧需要身體:感知、推理與運動控制必須透過和環境互動一併學習。這個詞涵蓋倉庫機械手臂、…
Encoder別名:編碼器網路、特徵擷取器
基礎
一個神經網路組件,將輸入資料轉換為壓縮的、資訊豐富的表示(編碼)。在 Transformer 中,編碼器使用雙向注意力處理完整輸入並產生上下文表示。在自編碼器中,編碼器將輸入壓縮到潛在瓶頸。在影像生成中,VAE…
由編碼器(壓縮輸入)和解碼器(生成輸出)組成的架構。T5/BART 是編碼器-解碼器架構。GPT/Claude 是純解碼器架構。BERT 是純編碼器架構。
EU AI ActAI Act、European AI Act、歐盟人工智慧法案
安全
歐盟規範人工智慧的綜合法律,自 2024 年 8 月起生效。它採取風險導向方法:AI 系統可能造成的危害愈大,適用義務就愈嚴格,從直接禁止少數做法,到只要求低風險工具履行簡單的透明度義務。
Facial Recognition別名:人臉辨識、Face ID
安全
從影像或影片中辨識或驗證一個人的身分。驗證(Verification)問的是「這個人是否是他們聲稱的人?」(1:1 匹配,用於手機解鎖)。辨識(Identification)問的是「這個人是誰?」(1:N…
FalconTII Falcon、Falcon LLM
模型
Falcon 是由阿布達比先進技術研究委員會旗下的應用研究機構——技術創新研究院(TII)——打造的開放權重大型語言模型系列。2023 年,Falcon 的 40B 與 180B 模型登上…
使用AI
在提示詞中提供範例輸入-輸出配對。零樣本(zero-shot)= 無範例,少樣本(few-shot)= 2–10 個範例。模型無需訓練即可學會模式。
Fireworks AIFireworks、fireworks.ai
公司
一個 AI 推論平台,透過高速、按用量付費的 API 提供開放權重模型。它由 Meta PyTorch 團隊的工程師於 2022 年創立,既提供按 token 計費的無伺服器端點,也為高流量工作負載提供專用 GPU…
Flash AttentionFlashAttention、FlashAttention-2
基礎設施
一種 GPU 最佳化的注意力機制實作,比標準注意力快 2–4 倍,且顯著減少記憶體使用。Flash Attention 的實現方式不是改變注意力計算的內容,而是重新組織計算在 GPU 硬體上的執行方式——最小化 GPU HBM…
FLOPs浮點運算、FLOP/s、算力
基礎
浮點運算 — AI 中計算工作量的標準衡量單位。訓練一個模型需要一定數量的 FLOPs(總操作數)。硬體以 FLOP/s(每秒操作數)評定。一個 H100 GPU 在 FP16 下可以執行約 2,000 TFLOP/s(每秒…
生成式技術:學習從雜訊到資料的平滑、直接路徑。比擴散模型以更少的步驟達到可比的品質。
Function Calling工具呼叫、Tool Use API
使用AI
AI 模型在對話過程中請求執行外部函數的結構化方式。你定義具有名稱、描述和參數模式的函數。當模型判斷某個函數有助於回答查詢時,它會輸出結構化的函數呼叫(帶有參數)而非文本。你的程式碼執行該函數並將結果返回給模型以納入回應。
GAN生成對抗網絡
模型
一種模型架構,其中兩個神經網絡相互競爭:生成器產生假資料,而判別器試圖分辨真假。透過這種對抗訓練,生成器會變得更擅長產生逼真的輸出。從2014年至約2022年主導影像生成技術。
GeminiGoogle Gemini、Bard
模型
Google 的旗艦大型語言模型家族,由 Google DeepMind 打造,是 PaLM 與 Bard 聊天機器人的後繼者。這些模型天生就是多模態的 — 從一開始就在文字、圖像、音訊和影片上訓練 &mdash…
GemmaGoogle Gemma、Gemma 3
模型
Google 推出的開放權重語言模型家族,由 Google DeepMind 以 Gemini 背後的同一套研究與技術打造。Gemma 從設計之初就走小模型路線——參數規模從 10 億到 270…
GGUFGGML 統一格式
基礎設施
透過 llama.cpp、Ollama 和其他本機推理工具在本機執行量化語言模型的標準檔案格式。GGUF 檔案包含量化格式的模型權重(將精度從 16 位元降至 4 位元或 8…
工具
GitHub 與 OpenAI 合作打造的 AI 程式編寫助手,於 2021 年推出,普遍被視為第一個主流 AI…
GNN圖神經網路
模型
設計用於在圖結構資料上運作的神經網路——資料中的實體透過關係連接(社交網路、分子、知識圖譜、交通網路)。GNN 透過在連接的節點之間傳遞訊息來學習,讓每個節點根據其鄰居更新其表示。它們處理不適合網格(影像)或序列(文字)的資料。
Google DeepMindGemini、AlphaGo、AlphaFold
公司
Google 的統一 AI 研究部門,由 DeepMind 與 Google Brain 於 2023 年合併而成。推動 Gemini、AlphaGo、AlphaFold 等,以及許多推動現代 AI 的基礎研究。
GPTChatGPT、GPT-4、GPT-5
模型
GPT(Generative Pre-trained Transformer)是 OpenAI 的大型語言模型家族:採用僅含 Decoder 的 Transformer 架構,先透過預測下一個 token…
GPU圖形處理器
基礎設施
最初設計用於渲染圖形的 GPU,結果證明其非常適合用於 AI,因為它們可以同時執行數千個數學運算。訓練和運行 AI 模型基本上就是大規模矩陣乘法 — 這正是 GPU 所設計用來處理的。NVIDIA 在這個市場中佔據主導地位。
GQA分組查詢注意力
基礎
一種注意力變體,多個查詢頭共享單一的鍵值頭,減少 KV 快取大小而不顯著降低品質。GQA 不是每個查詢頭都有自己的 K 和 V 投影(標準 MHA),而是讓一組查詢頭共享 K 和 V 投影。Llama 2…
Gradient Descent(梯度下降)隨機梯度下降、反向傳播
訓練
透過計算梯度並沿著下坡方向調整參數來反覆降低損失。反向傳播(Backpropagation)能高效地計算各層的梯度。
GrokxAI Grok
模型
Grok 是由 Elon Musk 的人工智慧公司 xAI 打造的大型語言模型家族,也是這些模型所驅動的聊天機器人助手的名稱。它的特色在於與 X 社交網路的深度整合,可即時存取公開貼文,並且在內容限制上採取比競爭對手助手更寬鬆的立場。
GroqGroq LPU
公司
專為 AI 推理設計的自研晶片(LPU)。專為序列性詞元生成打造。500–800 tok/s,通常比 GPU 快 10 倍。
GRPOGroup Relative Policy Optimization、群體相對策略最佳化
訓練
一種用於微調語言模型的強化學習演算法,由 DeepSeek 於 2024 年提出,並因 DeepSeek-R1…
Guidance Scale別名:CFG 比例、無分類器引導
使用AI
控制影像生成模型遵循文字提示強度的參數。低引導(1–3):模型自由生成,產生多樣但可能偏離主題的影像。高引導(7–15):模型嚴格遵循提示,但可能產生飽和度過高、帶有瑕疵的影像。通常的最佳範圍是…
HeyGenAI 數位人影片、唇形同步配音
公司
專注於生成寫實對話頭像與自動口型同步配音的AI視頻平台。被企業用於行銷、培訓和本地化——將一個視頻轉換為數十種語言,並搭配同步的口型動作。
HiDreamHiDream 圖像生成模型
公司
崛起中的影像生成公司,正在開發高品質的擴散模型。他們的開放權重版本在創意AI社群中受到關注,因其強大的提示遵循能力與視覺品質。
公司
開源 AI 的中心樞紐。500K+ 模型、100K+ 資料集、Transformers 程式庫、Spaces。AI 界的 GitHub。
Hume共情語音介面、情緒辨識
公司
專注於開發能理解並表達人類情感的人工智慧公司。其 Empathic Voice Interface 可即時偵測語調、情感與情緒脈絡,使人工智慧對話能回應的不只是你說的話,還有你說話的方式。
Hyperparameter Tuning別名:HPO、超參數最佳化、網格搜尋
訓練
系統性地搜尋最佳超參數——那些在訓練過程中不會被學習、但必須在開始前設定的配置選擇。學習率、批量大小、層數、Dropout 率和 LoRA…
Ideogram圖像中的文字渲染、Ideogram 2.0
公司
由前Google Brain研究員創立的AI圖像生成公司,因解決圖像生成中最困難的問題之一——在圖像中生成可讀且準確的文本——而聲名大噪。
Image Segmentation別名:語義分割、SAM、實例分割
使用AI
將影像中的每個像素分類到一個類別中。語義分割按類別標記像素(道路、人行道、建築物、天空)。實例分割區分個別物件(人 1、人 2)。全景分割同時做到兩者。Meta 的 SAM(Segment Anything…
Image-to-Imageimg2img、圖像條件化
使用AI
根據現有圖像加上文字提示生成新圖像。與從純噪音開始的文字轉圖像不同,擴散過程從輸入圖像的噪音版本開始,在根據提示修改圖像的同時保留其結構。「這張照片的賽博龐克版本」會保留構圖,但轉換風格和細節。
ImageNetImageNet Challenge、ILSVRC、ImageNet 挑戰賽
訓練
一個大規模圖像資料集,包含約 1,400 萬張人工標註的圖片,分為 20,000 多個類別,最早由李飛飛帶領的團隊於 2009 年發布。相關的年度競賽 ImageNet Large Scale Visual Recognition…
In-Context LearningICL、上下文學習
基礎
大型語言模型從提示詞中的範例或指示學會一項任務,卻完全不更新模型權重的能力。只要給它看幾組輸入與輸出,它便能在新輸入上延續模式,相當於在收到請求時以純文字為模型編寫程式。OpenAI 於 2020 年發表的 GPT-3…
Inflection AIInflection、Pi
公司
Inflection AI 是一家由 Mustafa Suleyman、Reid Hoffman 與 Karén Simonyan 於 2022 年創立的 AI 公司,最知名的產品是…
Inpainting別名:影像修復、外擴繪圖
使用AI
用 AI…
Jina AIEmbedding 嵌入、Reader API、Rerank 重排序
公司
總部位於柏林的人工智慧公司,專注於搜尋與嵌入技術。他們的 jina-embeddings 模型與 Reader API(可將任何 URL 轉換為適合 LLM 的文字)已成為全球 RAG 管道中不可或缺的基礎設施。
基礎設施
儲存先前計算的注意力鍵/值張量,使得每生成一個新詞元時無需重新計算。以記憶體換取速度。
Lambda LabsLambda、Lambda Cloud
公司
一家專注於 AI 和機器學習工作負載的 GPU 雲端供應商。Lambda 提供隨需和預留的 NVIDIA GPU 執行個體(A100、H100、H200),用於訓練和推論,價格與 AWS、GCP 和 Azure 持平或更低。他們也銷售…
工具
一個用於使用語言模型建構應用程式的流行開源框架。LangChain 為常見模式提供抽象:將 LLM 連接到資料來源(RAG)、建構多步驟的 LLM…
Leonardo.ai創意圖像生成、遊戲素材建立
公司
澳洲AI影像平台,在Midjourney與Stable Diffusion之間佔據一席之地。因其經過微調的模型、即時畫布以及專注於可直接用於製作的創意資源,廣受遊戲開發者與數位藝術家歡迎。
Liquid AILiquid 基礎模型、液態神經網絡
公司
麻省理工學院衍生公司正在探索受生物神經電路啟發的、與傳統截然不同的神經網絡架構。他們的 Liquid Foundation Models…
LlamaLLaMA、Meta Llama
模型
Meta 推出的大型語言模型家族,其權重可依自訂社群授權自由下載。歷經四個主要世代,參數規模從 1B 到 405B 不等,Llama 模型已成為微調、本地推論與開放研究的預設起點。這個名稱原本是 Large Language Model…
工具
一個開源 C/C++ 函式庫,用於在消費級硬體上執行 LLM 推理,由 Georgi Gerganov 創建。llama.cpp 無需 CUDA、PyTorch 或 Python 即可執行量化推理——它可以在 CPU、Apple…
LlamaIndexGPT Index
工具
一個開放原始碼資料框架,用來在私有資料上建構 LLM 應用程式。LlamaIndex 負責接通文件與模型間的管線:從數百種來源載入資料、切成區塊並建立索引,在查詢時取回相關片段,再編排最終送給 LLM 的提示。
LLM-as-JudgeLLM Judge、LLM-as-a-Judge、LLM 評審
訓練
一種評估技術,使用大型語言模型為另一個模型(或自身)的輸出評分,而不依賴人類評分人員。評審會收到原始提示詞、一或兩個候選回答與評分規準,再傳回分數、偏好判定或評析。對於 BLEU、ROUGE…
Logits原始分數、Softmax 前輸出
基礎
模型在透過 softmax 函數轉換為機率之前輸出的原始、未正規化的分數。對於語言模型,logits 是一個向量,詞彙表中每個 token 對應一個值——更高的值表示模型認為更可能的 token。Logits…
LoRA低秩適配
訓練
一種技術,透過僅訓練少量額外參數而非修改整個模型,大幅降低微調成本。LoRA 「adapters」是輕量級附加元件(通常僅需數百MB),能在不重新訓練其數十億個參數的情況下,修改模型的行為。
訓練
衡量預測的錯誤程度。對 LLM 來說:交叉熵損失 = 對實際下一個詞元的驚訝程度。訓練的目標就是最小化這個值。
LSTM長短期記憶
模型
一種專為學習序列資料中的長距離依賴而設計的遞迴神經網路(RNN)。LSTM 引入了一個「細胞狀態」 — 一條記憶高速公路,可以在多個時間步驟中不變地傳遞資訊 &mdash…
Luma AIDream Machine、Ray2
公司
專注於視頻和3D生成的人工智慧公司。他們的Dream Machine是首批可近用的高品質AI視頻生成器之一,而Ray2則大幅提升了視頻的品質與連貫性。
Machine Translation別名:MT、神經機器翻譯、NMT
使用AI
自動將文字從一種語言翻譯成另一種語言。現代神經機器翻譯(NMT)使用在平行語料庫(文字及其翻譯)上訓練的編碼器-解碼器 Transformer。Google 翻譯、DeepL 和基於 LLM…
Mamba選擇性狀態空間模型
模型
由 Gu 和 Dao 提出的選擇性狀態空間模型。序列長度線性縮放,而非 Transformer 的二次方。壓縮的隱藏狀態會選擇性地更新 — 重要資訊被保留,無關的則衰減。
MCP模型上下文協定
工具
一個開放協議(由 Anthropic 所開發),用以標準化 AI 模型如何連接外部工具與資料來源。可以把它想成 AI 的 USB-C — 一個標準介面,而非為每個工具開發客製化整合。MCP 伺服器公開功能;MCP 客戶端(如…
在神經元/電路/特徵層面逆向工程神經網路內部發生的事情。不只是模型輸出什麼,而是它如何計算。
Meta AILlama、FAIR、PyTorch
公司
Meta 的 AI 研究部門,FAIR(基礎 AI 研究)的所在地。負責開發開放權重的 Llama 模型系列及 PyTorch —— AI 產業中絕大多數團隊使用的深度學習框架。
公司
以美學精煉著稱的 AI 圖像生成。透過 Discord 和網頁運營。小團隊、盈利、注重品質。
MiniMaxMiniMax 模型、海螺 AI、影片生成
公司
中國 AI 公司,在文本、語音和影片領域建構大規模模型。以其消費者平台「海螺 AI」和競爭力日益增強的多模態模型聞名。
Mistral AIMistral、Mixtral、Codestral、Le Chat
公司
由前 DeepMind 和 Meta 研究員創立的歐洲 AI 強者。以高效模型「以小搏大」聞名,並在推動開放權重分發的同時兼顧商業產品。
Model Registry別名:模型儲存庫、模型目錄
基礎設施
一個集中式系統,用於在整個生命週期中對訓練好的機器學習模型進行版本控制、追蹤和管理。就像套件註冊表(npm、PyPI)但用於 ML…
Model ServingvLLM、TGI、TensorRT-LLM、推理伺服器
基礎設施
在生產環境中運行已訓練 AI 模型的基礎設施和軟體,處理傳入請求、管理 GPU 記憶體、批量處理以提升效率並返回回應。模型服務框架如 vLLM、TGI(Text Generation Inference)和 TensorRT-LLM…
Music Generation別名:AI 音樂、文字轉音樂
使用AI
使用 AI 模型從文字描述、旋律或其他音訊輸入建立音樂。「一首節奏輕快的電子曲,帶有朗朗上口的合成器旋律,120 BPM」可產出完整的音樂作品。Suno、Udio、MusicLM(Google)和 Stable Audio…
Named Entity Recognition別名:NER、實體擷取
使用AI
辨識和分類文字中的命名實體——人名、組織、地點、日期、金額和其他專有名詞。在「Apple 宣布在慕尼黑投資 30 億美元,時間是週二」中,NER 辨識出 Apple(組織)、30…
Negative Prompt別名:負面條件化
使用AI
描述你不想在生成影像中出現的文字,與主提示一起使用。提示:「一片美麗的風景。」負面提示:「模糊、低品質、文字、浮水印、人物。」模型在生成過程中主動遠離負面提示中的概念。負面提示主要用於 Stable Diffusion…
NormalizationLayerNorm、RMSNorm、BatchNorm
訓練
透過將流經網路的數值正規化為一致的尺度來穩定神經網路訓練的技術。層正規化(LayerNorm)在每個樣本的特徵維度上進行正規化。RMSNorm 是其簡化變體。批次正規化(BatchNorm)在批次維度上進行正規化。每個…
NVIDIAGPU、CUDA、H100/H200、NeMo
公司
其 GPU 驅動著幾乎所有 AI 訓練和大部分推理的公司。這家從顯示卡起家的公司成為 AI 產業中最關鍵的硬體供應商,一度讓 NVIDIA 成為全球市值最高的企業。
Object Detection別名:YOLO、邊界框偵測
使用AI
在影像或影片中辨識和定位物件,透過在物件周圍繪製邊界框並分類每個框中包含的內容。「在位置 (x1,y1,x2,y2) 有一輛車,在 (x3,y3,x4,y4)…
OCR別名:光學字元辨識、文字辨識
使用AI
從影像中擷取文字——文件照片、螢幕截圖、標誌、手寫筆記,或任何包含文字的影像。現代 OCR 結合了文字偵測(找到影像中文字出現的位置)和文字辨識(讀取文字內容)。深度學習 OCR…
工具
一個使用者友善的工具,可以用單一命令在本機執行語言模型。Ollama 將 llama.cpp 包裝成類似 Docker 的體驗:ollama run llama3 下載並執行 Llama…
ONNX開放神經網路交換格式
基礎設施
一種用於表示機器學習模型的開放格式,可實現不同框架之間的互通性。在 PyTorch 中訓練的模型可以匯出為 ONNX,然後使用 ONNX Runtime、TensorRT 或其他針對特定硬體最佳化的推論引擎運行。ONNX…
OpenAIGPT、ChatGPT、DALL-E、Sora
公司
ChatGPT 和 GPT 系列模型背後的公司。最初是一個非營利研究實驗室,當 ChatGPT 於 2022 年 11 月推出後,OpenAI 成為 AI 革命的公眾代言人。
公司
OpenRouter 是一個統一 API 閘道,讓開發者透過單一 API 金鑰與一個 OpenAI 相容介面,存取來自不同供應商的數百個大型語言模型。它由 Alex Atallah 於 2023 年推出,負責在…
PagedAttention分頁注意力
基礎設施
一種借鑑作業系統虛擬記憶體的 KV 快取記憶體管理技術。PagedAttention 不是為每個請求的 KV 快取分配一塊連續的 GPU…
PerplexityAI 驅動的搜尋引擎、Sonar API
公司
AI 搜尋引擎,結合即時網路搜尋與語言模型推理,直接給出附有來源的答案,而非一串連結。一個世代以來對 Google 搜尋霸權最具可見度的挑戰。
衡量模型預測文字能力的指標。exp(平均交叉熵損失)。代表「模型在多少個詞元中做選擇」。越低越好。
PhiMicrosoft Phi
模型
Microsoft 的小型語言模型家族,參數規模約在 10 億到 140 億之間,旨在以可於筆記型電腦或手機上執行的規模,提供強大的推理與程式設計能力。Phi 模型主要以精心篩選的網頁文字和 LLM…
PikaPika Labs
公司
一家 AI 影片生成公司,其網頁應用程式可將文字提示、靜態圖像與上傳素材轉換成短影片片段。Pika 由史丹佛大學博士生 Demi Guo 與 Chenlin Meng 於 2023 年創立,以快速迭代消費級版本(從 Pika 1.0 至…
PixVersePixVerse 影片生成
公司
中國影片生成公司,打造易於使用的 AI 影片工具。以生成速度快和免費方案聞名,幫助他們在國際市場上快速建立龐大的用戶基礎。
Positional Encoding位置嵌入、RoPE、ALiBi
基礎
一種告知 Transformer 模型序列中 token 順序的機制。與按序列處理 token 的 RNN 不同(因此位置是隱式的),Transformer 平行處理所有…
Post-TrainingPost-training
訓練
模型在預訓練後接受的一系列訓練階段,可將原始的下一個 token 預測器轉變成實用的助手。它通常結合使用示範資料的監督式微調、根據人類或 AI…
PPOProximal Policy Optimization、近端策略最佳化
訓練
PPO(Proximal Policy Optimization)是一種強化學習演算法,會限制每次更新偏離策略先前行為的幅度,讓策略以小幅且受控的步驟更新。它由 OpenAI 於 2017 年提出,後來成為 RLHF…
Prompt(提示詞)提示、Prompt
基礎
你提供給 AI 模型以獲取回應的文字。提示詞可以是一個問題、一條指令、一份創意摘要,或是一段你想要解釋的程式碼。模型所做的一切都始於你輸入的內容。提示詞的品質、具體性和結構直接決定了回應的品質。
Question Answering別名:QA、閱讀理解
使用AI
一種回答以自然語言提出的問題的系統。擷取式 QA 在給定文件中找到答案段落(「根據第三段,答案是……」)。生成式 QA 從一個或多個來源綜合出答案。開放領域 QA 在沒有特定文件的情況下回答任何問題。基於 RAG 的 QA…
Qwen通義千問(Tongyi Qianwen)
模型
Qwen 是由 阿里雲開發的開放權重大型語言模型家族。產品線橫跨多個世代 —— Qwen 1.5、2、2.5 和 3 —— 參數規模從 5…
RAG檢索增強生成
工具
一種在生成回應前先檢索相關文件來為 AI 模型提供外部知識的技術。RAG 不只依賴模型在訓練期間學到的知識,而是搜尋知識庫、找到相關片段,並將其作為上下文放入提示中。
RecraftRecraft V3、向量圖形生成
公司
專注於專業級影像和向量圖形生成的 AI 設計工具。最早產出真正可用的設計素材的公司之一 —— SVG、品牌一致的風格以及設計師實際想要使用的可投入生產的輸出。
RekaReka Core、Reka Flash
公司
由前DeepMind、Google Brain與FAIR研究人員創立的人工智慧研究公司。正在開發原生多模態模型,能夠從頭開始處理文字、圖片、視頻和音頻。
公司
一個透過簡單 API 執行機器學習模型的雲端平台,無須管理任何基礎設施。它託管數千個公開的開放權重模型——涵蓋圖像、影片、音訊與語言——開發者也可使用平台的開放原始碼容器工具…
RerankingRe-ranking、Cross-Encoder Reranking、重新排序
工具
檢索管線中的第二輪評分,使用更準確——但也更昂貴——的相關性模型,重新排列第一輪取得的候選文件。向量搜尋或關鍵字搜尋等快速的第一階段會先傳回排名最高的數十個候選項目,重新排序器再逐一根據查詢為…
Resemble AI語音複製、語音合成、浮水印技術
公司
加拿大語音AI公司,專注於高保真語音克隆與即時語音合成。率先推出神經音頻水印技術用於深度偽造檢測,從一開始就重視語音克隆的倫理影響。
RLAIF來自 AI 回饋的強化學習
訓練
RLHF 的一個變體,其中偏好標籤來自 AI 模型而非人類標註員。一個強大的 AI 模型比較回應對並指出哪個更好,為強化學習提供回饋訊號。這將對齊擴展到超越人類標註的瓶頸,同時保持合理的品質。
RLHF基於人類回饋的強化學習
訓練
一種訓練技術,由人類評估員對模型輸出按品質排序,這些回饋用於訓練一個獎勵模型,引導 AI 產出更好的回應。它將一個只會預測下一個詞的原始預訓練模型轉變為有用且無害的助理。
RLVRReinforcement Learning with Verifiable Rewards、RL with Verifiable Rewards、可驗證獎勵強化學習
訓練
一種強化學習方法,其獎勵訊號來自自動化的程式驗證器——例如數學答案是否完全正確,或生成的程式碼能否通過單元測試——而非人類偏好標籤或經過訓練的獎勵模型。由於能以程式自動驗證正確性,訓練迴圈可擴…
RNN遞迴神經網路、LSTM、GRU
模型
一種透過維護在每一步更新的隱藏狀態來處理序列的神經網路——它「記住」迄今看到的內容。LSTM 和 GRU 是改進的變體,解決了原始 RNN 容易忘記長距離依賴關係的問題。在 2018 至 2020 年左右 Transformer…
RunwayGen-1、Gen-2、Gen-3 Alpha
公司
先驅的AI視頻生成公司。共同創建了最初的Stable Diffusion架構,之後轉向視頻領域,其Gen系列模型確立了AI電影製作工具的最新技術水準。
Safe Superintelligence(SSI)是一家 AI 研究公司,由 Ilya Sutskever、Daniel Gross 與 Daniel Levy 於 2024…
SambaNovaSN40L 晶片、超快速推論
公司
專門設計自訂晶片(RDUs)用於 AI 工作負載的人工智慧硬體公司。他們的 SambaNova Cloud 提供目前最快的推理速度,與 Groq 在「speed-first」方法上競爭。
Sarvam AISarvam 模型、印度語言 AI
公司
印度的人工智慧公司正在開發特別針對印度語言多樣性進行最佳化的模型。他們的模型能夠流暢處理印地語、泰米爾語、泰盧固語、孟加拉語等其他印度語言,達到全球模型一直難以應對的流暢度。
公司
最大的 AI 資料標註公司,提供大多數主要 AI 模型所依賴的人工標註訓練資料。Scale AI 為自動駕駛、政府和 AI 公司標註影像、文本、影片和 3D 資料。他們還提供評估服務、RLHF 資料收集和微調用的資料整理。主要客戶包括…
Scaling Laws(縮放定律)神經網路縮放定律、Chinchilla
基礎
冪律關係,顯示效能隨著模型大小、資料集大小和算力的增加而可預測地提升。你可以在花費數百萬之前估算效能。
一種模型從未標記資料中自行生成監督訊號的訓練方法。隱藏輸入的一部分,訓練模型預測被隱藏的部分。對 LLM 來說:遮蔽下一個詞元並預測它。對視覺來說:遮蔽影像的區塊。
Sentiment Analysis別名:意見探勘
使用AI
自動判斷文字的情感基調——正面、負面或中性。「這個產品太棒了!」是正面。「糟糕的客戶服務」是負面。除了簡單的極性判斷之外,進階情感分析可以偵測特定情緒(憤怒、喜悅、沮喪)、面向層級情感(「食物很好吃但服務很慢」),以及反諷。
SGLangSGLang Runtime、SRT
工具
SGLang 是一款為大型語言模型打造的開放原始碼服務引擎,目標是讓推論在大規模正式環境中既快速又節省成本。它於 2024 年由出身 UC Berkeley 與 LMSYS 團隊的研究人員發布,其標誌性概念是…
Sigmoid邏輯函數、S 型函數
基礎
一個數學函數,將任何實數壓縮到 (0, 1) 的範圍:σ(x) = 1 / (1 + e^(−x))。歷史上是神經網路的預設激活函數,現在在隱藏層中已大部分被 ReLU 和 GELU…
SLMSmall Language Model、Small Language Models、小語言模型
基礎
一種以效率為設計目標的語言模型,通常具有約 1 億至 150 億個參數。SLM 規模小到足以在筆記型電腦、手機或單張 GPU…
SoftmaxSoftmax 函數、正規化指數
基礎
一個將原始數值向量(logits)轉換為機率分布的函數——所有值變為正值且總和為 1。Softmax 放大值之間的差異:最大的輸入獲得最高機率,較小的輸入獲得指數級更小的機率。它出現在注意力機制、分類輸出和 token 預測中。
SoraOpenAI Sora
模型
Sora 是 OpenAI 的影片生成模型家族,可根據文字提示或靜態圖像創作短影片。它於 2024 年 2 月首次亮相,並在同年 12 月以 Sora Turbo 之名向訂閱使用者開放;模型將擴散過程與 Transformer…
Sovereign AISovereign AI、主權 AI
基礎設施
一項建立國內人工智慧能力的國家策略——包括本國的運算基礎設施、模型與資料——使關鍵 AI 工作負載不必依賴外國供應商。實務上,這代表由政府支援的 GPU…
小型草稿模型生成候選詞元,大型模型一次性驗證所有候選。猜對的 = 每步多個詞元。速度提升 2–3 倍,輸出品質完全相同。
Stability AIStable Diffusion、SDXL、Stable Audio
公司
在2022年將Stable Diffusion作為開放原始碼釋出,從而普及影像生成技術的公司。儘管經歷領導層波動,其模型仍是開放原始碼影像生成生態系統的核心。
Stable Diffusion別名:SD、SDXL、SD3
模型
最廣泛使用的開源影像生成模型,由 Stability AI 與學術研究人員合作建立。Stable Diffusion 使用潛在擴散從文字提示生成影像——在壓縮的潛在空間而非像素空間中執行去噪過程,使其能在消費級 GPU 上快速運行。SD…
Streaming(串流)伺服器推送事件、SSE
使用AI
在生成時逐詞元發送輸出,透過 HTTP 上的 SSE(Server-Sent Events)。這就是為什麼文字在聊天介面中是逐字出現的。
讓 AI 以機器可解析的格式(JSON、XML、schema)回應。大多數供應商都原生支援:定義一個 schema,模型保證符合。
SunoAI 音樂生成
公司
讓任何人都能透過文字提示創作完整的歌曲——人聲、樂器、製作——的AI音樂生成公司。數個月內從無人知曉成長至數百萬用戶,迫使音樂產業正面應對AI創造力的挑戰。
一種使用標記範例進行訓練的方法 — 即提供正確答案的輸入-輸出配對。模型調整其參數,以最小化其預測與已知正確答案之間的差異。
SwiGLU門控線性單元、GLU 變體
基礎
現代 Transformer 前饋層中使用的門控激活函數。SwiGLU 將 SiLU/Swish 激活與門控機制結合:SwiGLU(x) = (x · W1 · SiLU) ⊗ (x…
Synthetic Data(合成資料)AI 生成的訓練資料
訓練
由 AI 模型生成的訓練資料。已成為訓練管線中的標準做法。
Tensor別名:多維陣列
基礎
多維數字陣列——深度學習中的基本資料結構。純量是 0 維張量(單個數字)。向量是 1 維張量。矩陣是 2 維張量。影像是 3 維張量(高度 × 寬度 × 通道)。一批影像是 4…
Text Summarization別名:摘要、TL;DR
使用AI
自動生成保留關鍵資訊的文字縮短版本。擷取式摘要選取並組合最重要的現有句子。抽象式摘要生成捕捉原意的新句子——就像人類摘要一樣。現代 LLM 擅長抽象式摘要,能為文件、文章和對話產出流暢、準確的摘要。
Thinking MachinesThinking Machines Lab、TML
公司
一家由 OpenAI 前 CTO Mira Murati 與一群知名研究人員於 2025 年創立的 AI 研究及產品公司。其首款產品 Tinker 是一套微調 API,讓開發者無須自建 GPU 基礎設施,就能自訂開放權重語言模型。
Throughput每秒 Token 數、TPS
基礎設施
系統在所有並行請求中每秒可生成的 token 總數。與延遲(單一請求被服務的速度)不同。具有高吞吐量的系統可同時服務許多使用者。具有低延遲的系統讓每個個別使用者感覺很快。兩者之間通常存在權衡。
公司
一個用於運行和訓練開源 AI 模型的雲端平台。Together AI 以具有競爭力的價格提供流行開源模型(Llama、Mistral、Qwen 等)的推理 API,以及微調和自訂訓練基礎設施。由 AI…
Token詞元
基礎
AI模型處理文字的基本單位。一個 token 通常是單字或單字片段 — 「understanding」可能是單個 token,而「un」+「der」+「standing」則可能是三個。平均來說,一個 token…
Tokenizer(分詞器)分詞、Tokenization
基礎
在模型處理文字之前,將原始文字轉換為 tokens 的演算法。分詞器維護一個固定的詞元類型詞彙表,並將任何輸入文字拆分為這些詞元的序列。不同的模型使用不同的分詞器 — 同一個句子在 Claude、GPT 和 Llama…
TPUTensor Processing Unit、張量處理單元
基礎設施
Google 專為機器學習工作負載設計的一系列客製化 AI 加速器晶片(ASIC)。TPU 捨棄 GPU 的通用彈性,採用以大型矩陣乘法單元為核心的脈動陣列架構,在主導深度學習的張量運算上提供高吞吐量與能源效率。Google 自 2015…
利用從一個任務或資料集中學到的知識來提升在不同但相關任務上的表現。你不必每次都從頭訓練,而是從一個已經理解一般模式(語言結構、視覺特徵)的模型開始,再將其調適到你的特定需求。預訓練然後微調是現代 AI 的主導範式。
模型
幾乎所有現代大型語言模型 (LLM) 和許多影像/音訊模型所採用的神經網絡架構。由 Google 於 2017 年發表的論文《Attention Is All You Need》所提出,Transformers…
Tripo文字轉 3D、圖像轉 3D
公司
AI公司專注於從文字或圖片生成3D模型。在大多數3D生成技術僅能產出無法使用的塊狀物的領域中,Tripo則以生成精緻且可直接投入生產的網格模型而脫穎而出,讓遊戲開發者與設計師能夠實際使用的模型。
Turing Test模仿遊戲
基礎
Alan Turing 在 1950 年論文《Computing Machinery and…
Twelve Labs影片檢索、Pegasus、Marengo
公司
視頻理解公司,讓您能使用自然語言來搜索、分析和生成視頻內容。可以把它想成是「視頻的 RAG」— 他們的模型理解視頻內容的方式,就像大型語言模型(LLM)理解文字一樣。
公司
一家 AI 音樂生成公司,其網頁應用程式可將文字提示變成完整歌曲,包括人聲、歌詞與配器。公司由前 Google DeepMind 研究人員創立,於 2024 年公開上線,隨後與 Suno…
一種模型在沒有被告知要尋找什麼的情況下從資料中發現模式的訓練方法。沒有標籤、沒有正確答案 — 只有原始資料和一個自行發現結構的模型。聚類、降維和異常偵測是經典的任務。
UpstageSolar 模型、Document AI
公司
韓國AI公司以Solar模型系列和Document AI產品聞名。證明規模較小但訓練良好的模型在許多方面可以超越規模遠大的模型——其Solar 10.7B在國際基準測試中的表現遠超其規模。
Validation Set別名:開發集、保留集
訓練
從訓練中保留的資料子集,用於在開發過程中評估模型效能和調整超參數。三向劃分:訓練集訓練模型,驗證集引導關於模型的決策(學習率、架構、何時停止),測試集提供最終的、無偏的效能估計。驗證集是你在開發過程中的鏡子。
VeoGoogle Veo、Veo 2、Veo 3
模型
Google DeepMind 的影片生成模型系列,可將文字提示或靜態圖像轉換成簡短的高解析度影片片段。該系列從最初的 Veo(2024),經 Veo 2 發展至 Veo 3(2025);Veo 3…
Vibe CodingVibe Coding、氛圍程式設計
使用AI
一種建構軟體的方式:以自然語言描述需求,讓 AI 模型撰寫程式碼,再接受結果而不仔細審查。Andrej Karpathy 於 2025 年 2…
ViduVidu 影片生成、長片段連貫性
公司
生聲科技的視頻生成平台,生產一些物理上連貫的AI生成視頻。因出色的運動質量和多鏡頭一致性,能夠與西方競爭對手相媲美。
Vision TransformerViT、視覺 Transformer
模型
將 Transformer 架構應用於圖像的方法,透過將圖像分割為固定大小的區塊(例如 16×16 像素),將每個區塊視為「token」,然後用標準的 Transformer 注意力處理區塊序列。ViT(Dosovitskiy…
vLLMvLLM
工具
一個開源的 LLM 服務引擎,透過 PagedAttention 和連續批次處理實現高吞吐量。vLLM 處理 GPU 記憶體管理、請求排程和 KV 快取最佳化的複雜工程,提供 OpenAI 相容的…
Voice Cloning別名:語音合成、語音複製
使用AI
從短音訊樣本中建立特定人物語音的合成副本,使文字轉語音聽起來像那個人。現代系統(ElevenLabs、PlayHT、Resemble AI)只需短短 15 秒的音訊即可以驚人的保真度克隆語音,捕捉音調、口音、說話風格和情感範圍。
Voyage AIvoyage-3、領域專用 embedding
公司
嵌入模型公司專門為程式碼、法律、金融及多語言搜尋建立專業向量。他們的模型在 MTEB 排行榜上名列前茅,透過 API 提供目前最佳的檢索品質。
VRAM顯存、GPU 記憶體
基礎設施
GPU 上的記憶體,與系統記憶體 (RAM) 無關。AI 模型必須符合 VRAM 容量才能在 GPU 上運行。一個 70 億參數模型在 16 位元精準度下需要約 14GB 的 VRAM。消費級 GPU 有 8-24GB;資料中心…
安全
AI 內容中用於偵測的隱形訊號。文字:在統計上偏置詞元選擇。圖像:隱形的像素圖案。
Weight Initialization別名:Xavier 初始化、Kaiming 初始化、He 初始化
訓練
在訓練開始前如何設定神經網路權重。糟糕的初始化可能讓訓練在開始之前就失敗(消失或爆炸的激活值)。好的初始化確保激活值和梯度在各層之間維持合理的量級。Xavier 初始化(用於 tanh/sigmoid)和 Kaiming/He…
Weights & BiasesW&B、WandB
公司
主導的 MLOps 平台,用於追蹤機器學習實驗。W&B 讓你在訓練期間記錄指標、超參數、模型輸出和系統效能,然後以視覺化方式比較不同運行。它已成為 ML…
WhisperOpenAI Whisper
模型
OpenAI 於 2022 年發佈的開放原始碼語音辨識模型。Whisper 使用以 68 萬小時弱監督音訊訓練的編碼器-解碼器…
WindsurfCodeium、Windsurf Editor
公司
一個以 AI 為核心的程式碼編輯器(前身為 Codeium),在 AI 程式編寫助手領域與 Cursor 競爭。與 Cursor 類似,Windsurf 作為 VS Code 的分支,深度整合…
xAIGrok
公司
Elon Musk 的 AI 公司(2023 年成立)。Grok 系列模型、X 平台資料存取權、Colossus 叢集(100K+ H100)。
YAMLYAML Ain't Markup Language
基礎設施
一種可讀性高且廣泛應用於 AI 與 DevOps 的資料序列化格式,用於設定檔、流程定義與模型元資料。YAML 使用縮排來表示結構(沒有括號或大括號),使其易於閱讀,但以空白字元極其敏感而聞名。在 AI 工作流程中處處可見 &mdash…
Zero-shot / Few-shot上下文學習
使用AI
零樣本學習是指讓模型在沒有任何範例的情況下執行任務—僅僅根據指令。少量示例則是在實際請求前,在提示中提供少量的輸入-輸出範例。例如:「這裡有3個如何格式化此數據的範例……現在請處理這個。」模型僅從上下文中學習模式,無需進行訓練。
上下文視窗上下文長度
使用AI
模型在單次對話中可處理的最大文字量(以 token 為單位)。這包括您的輸入和模型的輸出內容。如果某模型具有 200K 的上下文視窗,這大約相當於 15 萬字 — 約等同於兩本小說的篇幅。
上下文長度擴展YaRN、NTK 縮放、RoPE 縮放
基礎設施
使語言模型能夠處理比訓練中見過的序列更長序列的技術。在 4K token 上訓練的模型可以透過修改其位置編碼(通常是 RoPE)並結合對較長序列的短期微調,擴展到 32K 或 128K。這避免了從頭在長序列上訓練的巨大成本。
世界模型內部世界模型、學習到的模擬器
模型
一種模型,建立世界如何運作的內部表示 — 不僅是統計相關性,還包括因果關係、物理定律和空間推理。關於 LLM 是否擁有世界模型的辯論是 AI…
事實接地Grounding
使用AI
將模型的回應與事實性且可查證的來源相連接,而非僅依賴其訓練數據。接地技術包括 RAG、網頁搜索整合與引用要求。接地回應會說明「根據 [來源]」,而非僅斷言事實。
交叉注意力編碼器-解碼器注意力
基礎
一種注意力機制,其中查詢來自一個序列,而鍵/值來自另一個不同的序列。在編碼器-解碼器模型中,解碼器的查詢關注編碼器的鍵和值,讓解碼器在生成輸出時能「看到」輸入。交叉注意力也是文字在擴散模型中調控影像生成的方式——影像生成過程關注文字提示。
交叉驗證K-Fold CV、留一法
訓練
一種在沒有足夠資料建立獨立測試集時評估模型效能的技術。K 折交叉驗證將資料分成 K 等份,用 K−1 份進行訓練並在剩餘一份上評估,輪轉 K 次使每個資料點都被用於訓練和評估。所有 K…
人工評估人工評測、手動評估
基礎
通過讓人類直接判斷來評估 AI 輸出品質。人類評估流暢性、準確性、有用性、安全性,以及輸出是否真正符合要求。儘管昂貴且緩慢,人工評估仍然是黃金標準,因為自動化指標往往忽略了對使用者真正重要的東西。
代理工作流程智能體架構、AI 工作流程
使用AI
一種設計模式,其中 AI 智能體編排多步驟流程 — 規劃、執行工具、評估結果並迭代 &mdash…
安全
AI輸出中系統性模式—反映或放大訓練數據中存在的社會偏見。偏見可能出現在文本生成、圖像生成、招聘工具,以及模型做出影響人們不同的決定的任何地方。
內容審核AI 審核、信任與安全
安全
運用AI來大規模偵測與過濾有害、非法或違規的內容。這包括文字分類(恨意言論、垃圾訊息、威脅),影像分析(NSFW檢測、CSAM),以及影片審查。現代系統會結合AI分類器與人工審查,但AI本身所產生的內容數量正造成審查危機—如今你…
分散式訓練資料平行化、模型平行化、FSDP
基礎設施
同時在多個 GPU 或機器上訓練模型。資料平行化給每個 GPU 一份模型副本並分割訓練資料。模型平行化在模型太大而無法放入一個 GPU 時將模型本身分割到多個 GPU 上。FSDP(完全分片資料平行化)和 DeepSpeed…
前饋網路FFN、MLP 區塊
基礎
Transformer 每一層中的組件,透過兩個線性轉換和之間的啟動函數獨立處理每個 token。注意力在 token 之間混合資訊(哪些 token 與哪些相關),而前饋網路獨立處理每個 token…
剪枝模型剪枝、權重剪枝
訓練
從已訓練的模型中移除不必要的參數(權重、神經元或整個層),使其更小更快且不會顯著損失品質。就像修剪樹木:剪掉貢獻最少的枝條,樹仍然保持健康。結構化剪枝移除整個神經元或注意力頭。非結構化剪枝將個別權重歸零。
參數權重、模型參數
基礎
神經網絡在訓練過程中學習到的內部值 — 本質上是將模型的「知識」編碼為數字。當有人說一個模型有「70 億 參數」時,意思是這70 億…
反向傳播Backprop、反向傳遞
基礎
計算神經網路中每個參數對誤差的貢獻程度的演算法,使梯度下降能有效地更新參數。反向傳播透過網路反向應用微積分的鏈式法則:從輸出的損失開始,將梯度逆向傳播通過每一層,以確定每個權重應承擔的責任。
取樣解碼策略、Top-p、Top-k
基礎
從模型預測的機率分布中選擇下一個要生成的 token 的過程。貪婪解碼總是選擇最可能的 token。隨機取樣根據機率比例選擇。溫度、top-p(核)和 top-k…
可靈 AI可靈影片生成、長影片生成
公司
快手(中國第二大短視頻平台)的AI影片平台。因生產出一些在物理上最連貫且在時間上最一致的AI生成影片,而迅速引起國際關注。
向量資料庫Qdrant、Pinecone、Weaviate、ChromaDB
工具
一個用於儲存和搜尋嵌入(向量)的資料庫。與傳統資料庫透過匹配精確關鍵字不同,向量資料庫會找出語意上最相近的項目。當你詢問「如何修復記憶體洩漏」時,它會回傳關於「除錯 RAM 使用量」的文件,因為嵌入的相似度較高。
基準測試Benchmark
訓練
用來評估和比較AI模型的標準化測試。基準測試會衡量特定能力—推理(ARC)、數學(GSM8K)、程式設計(HumanEval)、一般知識(MMLU)—並產生可跨模型比較的分數。
基礎
一個基於廣泛資料訓練的大型模型,作為許多不同任務的基礎。Claude、GPT、Gemini 和 Llama…
多代理系統多代理、代理群
使用AI
多個 AI 代理協作、辯論或分工的架構,用以解決單一代理無法獨立處理的問題。每個代理可能有不同的角色(研究員、編碼者、審查者)、不同的工具或不同的模型。它們透過結構化訊息、共享記憶或直接交接進行通訊。
基礎
能夠理解和/或生成多種類型資料的模型:文本、影像、音訊、影片、程式碼。Claude 能閱讀影像和文本;某些模型還能生成影像或語音。「多模態」與只能處理單一類型的「單模態」模型形成對比。
基礎
平行執行多個注意力操作,每個都有自己學習到的查詢、鍵和值的投影。多頭注意力不是用一個注意力函數查看完整的模型維度,而是將維度分割成多個「頭」(例如,4096 維模型的 32 個頭,每個 128 維)。每個頭可以同時專注於不同類型的關係。
基礎
一種透過大量文本訓練的神經網絡,用以理解和生成人類語言。「大型」指的是參數數量(十億級)與訓練數據規模(兆級別的 token 數量)。Claude、GPT、Gemini、Llama 和 Mistral 都屬於 LLM。
姿態估計身體姿態、骨架偵測、關鍵點偵測
使用AI
透過定位關鍵解剖點——關節、面部特徵點、指尖——來偵測圖像或影片中人體(或動物、手、臉)的位置和方向。輸出是一個骨架:一組連接的關鍵點,代表身體的姿態。OpenPose、MediaPipe 和 YOLO-Pose 是常見的實作方案。
字節跳動豆包、TikTok、AI 驅動的推薦系統
公司
母公司為TikTok,也是全球最有價值的科技公司之一。其AI實驗室開發了Doubao模型家族,並驅動每日服務超過十億用戶的推薦演算法。
存在風險X 風險、AI 末日
安全
一種假設,認為足夠先進的 AI 系統可能對人類存在構成威脅或永久地限制人類的潛力。X 風險的擔憂範圍從具體的近期場景(AI 輔助的生物武器、自主武器)到推測性的長期場景(一個追求與人類價值不一致目標的超級智慧 AI)。這個議題在頂尖 AI…
學習率排程LR 排程、暖身、餘弦退火
訓練
在訓練過程中改變學習率的策略,而非保持恆定。大多數現代訓練使用暖身(從接近零逐漸增加到峰值)後接衰減(逐漸降低到接近零)。餘弦退火是最常見的衰減排程。學習率控制每次梯度更新步驟的大小 — 可以說是訓練中最重要的超參數。
模型
一種架構,模型包含多個「專家」子網路,但每次輸入只啟動其中少數幾個。一個路由網路負責決定哪些專家與給定的 token 相關。這意味著模型可以擁有超過 1000 億的總參數,但每次前向傳遞只使用 200 億。
對比學習SimCLR、InfoNCE
訓練
一種自監督學習方法,透過對比正對(相似的項目,應在嵌入空間中接近)和負對(不相似的項目,應在嵌入空間中遠離)來訓練模型。CLIP 對比匹配的圖像-文本對和不匹配的對。SimCLR…
安全
讓AI系統以符合人類價值和意圖的方式運作的挑戰。一個對齊的模型會執行你真正想表達的內容,而不仅仅是字面上的字句 — 即使沒有明確被告知不要這樣做,也能避免有害的行為。
小米MiLM、消費電子 AI
公司
全球最大的消費電子公司之一,現正自行開發AI模型。MiLM驅動小米手機、智慧家居設備與電動車等生態系統中的各項功能 — 為未來十億用戶的AI解決方案。
層隱藏層、神經網路層
基礎
一組神經元,在神經網路中的特定抽象層級處理資料。輸入層接收原始資料。隱藏層(中間層)學習越來越抽象的表示。輸出層產生最終結果。「深度」學習意味著有許多隱藏層 — 現代 LLM 有 32 到 128 層以上。
嵌入向量嵌入
訓練
一種將文字(或圖片、或音頻)表示為數字列表(即向量)的方法,能夠捕捉其含義。在這個數字空間中,相似的概念會彼此靠近——「cat」和「kitten」會靠近,而「cat」和「economics」則相距甚遠。
嵌入層Token 嵌入、嵌入表、查找表
基礎
一個查找表,將詞彙表中的每個 token 對映到一個密集向量(token 的嵌入)。當模型接收 token ID 42 時,嵌入層返回學習矩陣的第 42 行。這個向量是模型對該 token 的初始表示 &mdash…
工具使用函式呼叫
工具
AI 模型在對話過程中呼叫外部函數或工具的能力。除了僅生成文字外,模型可以決定在網路上搜尋、執行程式碼、查詢資料庫或呼叫 API — 然後將結果納入其回應中。模型輸出結構化的「工具呼叫」,由主機應用程式執行。
安全
一種數學框架,保證在聚合資料分析和模型訓練中的個人隱私。使用差分隱私,添加或移除任何單一個人的資料最多只會將輸出改變一個小的、有界的量。這意味著你可以從資料集中學習有用的模式而不洩露其中任何特定個人的資訊。
使用AI
當 AI 模型生成看似自信且合理,但事實上錯誤或完全捏造的資訊時。模型並不是在「撒謊」— 它只是透過模式匹配來產生流暢的文本,而沒有真理的概念。虛假的引用、捏造的統計數據,以及不存在的 API 方法都是常見的例子。
延遲首 Token 時間 (TTFT)
基礎設施
傳送請求與收到第一個回應之間的延遲。在 AI 領域,這通常以「首次 Token 產生時間」(Time to First Token,TTFT)&mdash…
訓練
一種訓練架構,其中AI代理透過與環境互動、執行動作並獲得獎勵或懲罰來學習。不同於監督學習(透過標記過的範例學習),強化學習是從經驗中學習——透過試錯。強化學習讓AlphaGo擊敗世界冠軍,教導機器人行走,並是RLHF中的「RL」,讓聊天機器…
影像生成文字到影像、AI 藝術
基礎
使用 AI 模型從文字描述建立影像。你輸入「水彩風格的山景日落」,模型就會生成匹配的影像。目前的方法包括擴散模型(Stable Diffusion、DALL-E)、流匹配(Flux)和自迴歸模型。這個領域已從 2020 年的模糊人臉進步到…
影片生成文字到影片、AI 影片
基礎
使用 AI 模型從文字描述、影像或其他影片建立影片。Sora(OpenAI)、Kling(快手)、Runway Gen-3、Vidu…
微調Fine-tuning
訓練
透過在較小且特定的數據集上進一步訓練預訓練模型,使其行為更加專門化。就像讓全科醫生接受外科住院醫師訓練—相同的基礎知識,新的專業技能。
使用AI
一種提示技術,要求模型在給出最終答案前逐步展示其推理過程。模型不會直接下結論,而是—公開其思考過程—這大幅提升了在複雜任務中的準確性。
持續學習終身學習、增量學習
訓練
模型持續從新資料中學習而不忘記之前所學的能力。目前的 LLM 訓練一次後就凍結 — 更新它們需要昂貴的重新訓練。持續學習將允許模型從每次互動中學習、保持最新資訊,並隨時間適應個別使用者,就像人類自然學習的方式。
指令微調指令微調、IFT、SFT
訓練
在一組(指令,回應)配對的資料集上微調預訓練語言模型,教它遵循指令。一個只能預測文字的基礎模型變成一個能回答問題、遵循指示並表現得像助手的模型。這就是將 GPT 變成 ChatGPT,或將基礎 Llama 變成 Llama-Chat…
指令遵循指令遵從
使用AI
模型準確執行使用者要求的能力——遵守格式限制、長度要求、風格規範和行為指令。「用法文寫恰好 3 個要點關於 X」測試的是指令遵循:回應必須是要點(不是段落)、恰好 3 個(不是 2 個或 5 個)、用法文(不是英文),且關於 X(不是…
推理AI 推理、思維鏈推理
使用AI
AI模型能夠逐步思考、分解複雜問題,並得出邏輯嚴謹的結論。現代推理模型(如OpenAI的o1/o3與DeepSeek-R1)在回答前會經過訓練以生成明確的推理過程,大幅提升了在數學、程式設計與邏輯任務上的表現。這與單純的模式匹配不同——推理…
基礎設施
運行經過訓練的模型以生成輸出的過程。訓練是學習;推論是應用所學到的知識。每次你向Claude發送提示或使用Stable Diffusion生成圖片時,這就是推論。這就是消耗服務提供商GPU小時數以及你按每個token支付費用的環節。
提示快取上下文快取、前綴快取
使用AI
一種在多次 API 呼叫之間儲存和重複使用已處理的提示前綴的技術,避免冗餘計算。如果你每次請求都發送相同的系統提示和文件上下文(這很常見),提示快取只處理一次並在後續請求中重複使用快取的計算結果。這減少了延遲和成本。
提示注入間接提示注入
安全
一種攻擊方式,將惡意指令嵌入 AI 模型處理的內容中,導致模型遵循攻擊者的指令而非使用者或開發者的指令。直接注入:使用者輸入惡意指令。間接注入:惡意指令隱藏在模型在執行任務時讀取的網站、文件或電子郵件中。
提示範本範本、提示模式
使用AI
一種帶有可變佔位符的可重用提示結構,在執行時填入特定資料。你不必為每個使用者請求從頭撰寫新的提示,而是定義一次範本 — 「用 {language} 總結以下 {document_type},重點放在 {topic}」…
使用AI
精心設計輸入以從 AI 模型獲得更好輸出的實踐。從簡單技巧(具體明確、提供範例)到進階方法(思維鏈、少樣本提示、角色指定)都涵蓋在內。儘管名稱花俏,本質上是與統計系統清晰溝通。
模型
一種生成模型,透過從純噪音開始,逐步去除噪音,直到產生連貫的輸出(如圖片、影片或音訊)。該模型學習反轉將噪音添加到真實數據的過程。Stable Diffusion、DALL-E 3 和 Midjourney 都採用此方法的變體。
文字轉語音TTS、語音合成、語音 AI
使用AI
將書面文字轉換為自然流暢的語音音訊。現代 TTS 系統使用神經網路生成幾乎與人聲無法區分的語音,並能控制情感、節奏、語氣,甚至進行特定聲音的複製。ElevenLabs、OpenAI TTS 以及 Bark 和 XTTS…
智能體AI Agent、智能代理
工具
一個能夠自主規劃並執行多步驟任務的人工智慧系統,使用工具(網頁搜尋、程式碼執行、API 呼叫)來達成目標。與只能一次回答一個問題的簡單聊天機器人不同,代理會根據迄今所學來決定下一步該做什麼。
智譜 AIGLM、ChatGLM、CogView、CogVideo
公司
中國AI公司,由清華大學衍生出來。背後是GLM模型家族,並是中國領先的AI平台之一,在語言和視覺生成方面具有強項。
最佳化模型最佳化、推論最佳化
訓練
用來讓AI模型更快、更小、更便宜或更準確的一系列廣泛技術。這包括訓練優化(混合精度、梯度檢查點、數據並行)、推論優化(量化、剪枝、蒸餾、預測解碼)和服務優化(批次處理、緩存、負載平衡)。優化技術讓你能在筆電上運行14B參數的模型。
月之暗面Kimi、超長上下文模型
公司
中國 AI 公司,因推出擁有 200 萬 token 上下文視窗的聊天機器人 Kimi 而引起轟動。由楊植麟創立,他是長上下文建模領域關鍵創新的研究員。
梯度檢查點激活檢查點、重新具體化
訓練
一種以計算換記憶體的訓練節省記憶體技術。梯度檢查點不是儲存前向傳遞中的所有中間激活(反向傳播所需),而是只在某些「檢查點」層儲存激活,在反向傳遞期間重新計算其他的。這可以將記憶體使用量減少多達 5–10 倍,代價是大約 30%…
標註資料標記、資料標註
訓練
向原始資料添加標籤、標記或後設資料的過程,使其可用於監督學習。標註圖像意味著在物體周圍繪製邊界框。標註文本意味著標記實體、情感或意圖。為 RLHF 標註意味著按品質排列模型回應。標註是將原始資料轉化為訓練資料的人工勞動。
模型AI 模型、ML 模型
基礎
一個經過訓練的數學系統,根據從數據中學習到的模式來接收輸入並產生輸出。在AI中,「model(模型)」是萬用術語,指你實際使用的東西——無論是GPT-4生成文字、Stable…
模型卡模型文件、資料表
安全
一份標準化文件,描述機器學習模型的預期用途、效能特性、訓練資料、限制和倫理考量。由 Mitchell 等人(2019 年)提出,模型卡旨在提高透明度,幫助使用者做出關於模型是否適合其使用案例的明智決定。
模型合併TIES、DARE、SLERP、Frankenmerge
訓練
將多個微調模型的權重組合成單一模型,無需任何額外訓練。如果模型 A 擅長程式設計而模型 B 擅長創意寫作,合併它們可以產生一個兩者都擅長的模型。流行的合併方法包括 SLERP(球面線性插值)、TIES(解決符號衝突)和…
模型崩塌資料回饋迴路
訓練
當 AI 模型在先前 AI 模型生成的資料上訓練時發生的退化,形成一個誤差和偏差跨代累積的回饋迴路。每一代都會失去一些多樣性並放大前一代的某些偽影,最終產生生成重複、通用或扭曲輸出的模型。
基礎
電腦科學中廣泛的領域,系統透過資料學習模式,而非遵循明確的規則。不是透過列出特徵(四隻腳、尖耳朵、鬍鬚)來編程讓電腦辨識貓,而是展示數千張貓的照片,讓它自行找出模式。機器學習涵蓋從簡單的線性回歸到驅動當代人工智能的深層神經網絡…
檢查點模型檢查點、快照
訓練
在訓練過程中儲存的模型狀態快照 — 權重、最佳化器狀態、學習率排程和訓練步數。檢查點讓你能在中斷後恢復訓練(硬體故障、被搶佔)、評估模型的中間版本,以及在訓練退化時回退到較早的版本。每隔幾千步儲存檢查點是標準做法。
檢索資訊檢索、IR
基礎
從大型集合中找到相關文件、段落或資料以回應查詢的過程。在 AI 中,檢索是 RAG 中的「R」——在將上下文提供給語言模型之前獲取相關資訊的步驟。檢索可以使用關鍵字匹配(BM25)、語意相似度(嵌入)或結合兩者的混合方法。
權重模型權重、神經網絡權重
訓練
神經網絡中在訓練過程中會被調整以最小化誤差的數值。每個神經元之間的連接都有一個權重,用來決定前一個神經元對下一個神經元的影響程度。當你下載一個模型文件——例如 .safetensors、.gguf 或 .pt…
歸納頭Induction Head
基礎
在 Transformer 中發現的一個特定的雙注意力頭電路,透過模式匹配實現上下文內學習。如果模型在上下文中較早看到了模式「A B」,現在又看到了「A」,歸納頭就會預測「B」將跟隨。這個簡單的機制被認為是 LLM…
殘差連接跳躍連接、捷徑連接
基礎
一種繞過一個或多個層的連接,透過將輸入直接加到輸出:output = layer(x) + x。每一層不需要學習完整的轉換,只需要學習「殘差」— 與恆等函數之間的差異。殘差連接存在於每個 Transformer…
池化最大池化、平均池化
基礎
一種透過將區域總結為單一值來減少資料空間維度的操作。最大池化取每個區域的最大值。平均池化取平均值。在 CNN 中,池化層在卷積層之間對特徵圖進行降採樣。在 Transformer 中,池化將 token 表示組合成單一向量(例如用於分類)。
注意力注意力機制、自注意力
模型
Transformers 中的核心機制,讓模型能夠權衡輸入中哪些部分彼此之間最相關。與較早期的模型從左到右閱讀文字不同,注意力機制讓每個詞彙可以同時「檢視」其他所有詞彙,以理解上下文。
注意力視覺化注意力圖、注意力熱力圖
基礎
透過將注意力權重顯示為熱力圖來視覺化 Transformer 模型「關注」了什麼。對於每個查詢 token,注意力圖顯示它對其他每個 token 分配了多少權重。高權重(亮點)表示強關注——模型認為那些 token 與當前計算高度相關。
深度偽造合成媒體、AI 生成的偽造內容
安全
AI生成的圖像、影片或音頻,旨在逼真地描繪真實人物說或做他們從未做過的事情。原本基於GAN技術,現代的深度偽造技術現在使用擴散模型和聲音克隆,產生越來越難與現實區分的輸出。檢測工具雖然存在,但始終落後於生成技術的進步。
基礎
深度學習是機器學習的一個子領域,它使用具有許多層(因此稱為「深度」)的神經網絡來學習數據的層次化表示。每一層都會將其輸入轉換為稍微更抽象的東西——從像素到邊緣,再到形狀、物件與概念。深度學習正是使現代 AI…
混合精度訓練FP16、BF16、半精度
訓練
使用較低精度的數字格式(16 位元而非 32 位元)進行大部分計算來訓練神經網路,同時保持關鍵運算使用全精度。這使 GPU 的有效記憶體容量和計算速度翻倍,對模型品質的影響極小。BF16(bfloat16)是 LLM 訓練的標準;FP16…
測試時計算推論時計算、思維鏈、思考 Token
基礎
在推論過程中(模型生成回應時)使用額外計算以提高答案品質。模型不是立即生成答案,而是「思考」更長的時間 — 生成推理 token、探索多種方法或驗證自己的輸出。在測試時使用更多計算會產生更好的答案,特別是對於複雜的推理任務。
湧現湧現能力、湧現行為
基礎
在規模較大的AI模型中出現但未經過明確訓練的能力——一旦模型達到某種規模或訓練門檻,這些能力似乎會突然…
使用AI
一個控制模型輸出隨機性或確定性的參數。溫度值為 0 時,模型會始終選擇機率最高的下一個 token(確定性、專注)。溫度值為 1+ 時,模型會更願意選擇機率較低的 token(創造性、不可預測)。大多數 API 的預設值約為 0.7。
漂移偵測資料漂移、模型漂移、概念漂移
基礎設施
監控資料分佈或模型行為隨時間的變化,這些變化可能降低效能。資料漂移:輸入資料改變(客戶人口統計轉變、新產品類別出現)。概念漂移:輸入與正確輸出之間的關係改變(什麼構成垃圾郵件在演變)。模型漂移:即使模型本身沒有改變,其預測也逐漸變得不準確。
特徵學習到的表示、啟動
基礎
神經網路學習在其輸入中偵測的模式或概念。在視覺中,早期層的特徵是邊緣和紋理;後期層的特徵是物體部件和完整物體。在語言模型中,特徵從簡單的(字母「a」、特定語法模式)到抽象的(諷刺的概念、特定推理策略)不等。特徵被表示為跨神經元的啟動模式。
模型
Transformers 的替代方案,透過維持壓縮的「狀態」來處理序列,而非對所有 token 使用注意力機制。Mamba 是最著名的 SSM 架構。SSMs…
獎勵模型RM、偏好模型
訓練
一種經過訓練來預測人類對 AI 回應偏好的模型。給定一個提示和兩個候選回應,獎勵模型評分人類會偏好哪個回應。在 RLHF 流程中,獎勵模型提供訓練語言模型產生更好回應的訊號——它是人類判斷的學習代理。
基礎
人工智能系統會生成新的內容——文字、圖片、音訊、影片、程式碼、3D模型——而非僅分析或分類現有資料。生成式人工智能是涵蓋從ChatGPT寫作文章到Stable…
疊加特徵疊加、多義性
基礎
神經網路通過將特徵表示為啟動空間中的方向而非為每個特徵指定單一神經元,來編碼遠多於神經元數量的特徵(概念、模式)的現象。單一神經元同時參與編碼數十個特徵,每個特徵則分布在許多神經元中。
知識圖譜KG、本體論
基礎
將知識以實體(節點)透過關係(邊)連接的網路形式進行結構化表示。「巴黎(實體)是(關係)法國(實體)的首都。」知識圖譜以支援推理、查詢和發現的方式編碼事實。Google 的 Knowledge Graph、Wikidata…
知識截止日期訓練資料截止、知識日期
基礎
模型在此日期之後沒有訓練資料的日期,意味著它缺乏關於該日期之後發生的事件、發現或變化的知識。如果一個模型的截止日期是 2024 年 4 月,它不知道 2024 年 5 月或之後發生的任何事情——新產品、新聞事件、科學論文或更新的事實。
知識編輯模型編輯、事實編輯
訓練
在不重新訓練的情況下修改已訓練模型中特定事實的技術。如果模型在新選舉後仍錯誤地表示「法國總統是馬克宏」,知識編輯可以透過修改有針對性的權重來更新這一特定事實,而不影響模型的其他知識或能力。目標是外科手術般的精確:改變一個事實,其他一切保持不…
矩陣乘法Matmul、GEMM
基礎
所有神經網路底層的基本數學運算。將權重矩陣乘以輸入向量(或矩陣)產生輸出向量。每一個線性層、每一個注意力計算、每一個嵌入查詢,歸根究柢都是矩陣乘法。AI 硬體(GPU、TPU)的效能以它們執行矩陣乘法的速度來衡量。
神經元人工神經元、感知器、節點
基礎
神經網路的基本運算單元。人工神經元接收輸入,將每個輸入乘以一個權重,求和後加上偏差值,再通過啟動函數產生輸出。數千到數十億個這樣的神經元,按層組織並由學習到的權重連接,構成了驅動所有現代 AI 的神經網路。
基礎
一種大致受生物大腦啟發的計算系統,由多層互相連結的「神經元」(數學函數)組成,從資料中學習模式。資訊流經各層,逐步被轉換,直到網路產出輸出結果。每個現代 AI 模型都是某種類型的神經網路。
稀疏注意力局部注意力、滑動窗口注意力
模型
只處理 token 配對子集而非完整 N×N 注意力矩陣的注意力機制。滑動窗口注意力只關注附近的 token(在固定窗口內)。稀疏模式(如 Longformer 的局部+全域注意力組合)讓特定 token…
模型
一個經過訓練的神經網路,透過帶有稀疏性約束的瓶頸來重建模型的內部激活 — 一次只有少數特徵可以啟動。學習到的特徵通常對應於可解釋的概念(特定主題、語言模式、推理策略),使 SAE 成為解開大型語言模型內部疊加特徵的主要工具。
端點Endpoint
基礎設施
一個特定的 URL,用於接收 AI API 的請求。例如,Anthropic 的 message 端點就是用來向 Claude 發送提示的。不同的端點用於不同的功能:文本生成、嵌入、圖像創建、模型清單。
精確率與召回率F1 分數、混淆矩陣
基礎
兩個互補的分類器評估指標。精確率回答「模型標記為正的項目中,有多少是真正的正?」召回率回答「所有實際的正中,模型找到了多少?」高精確率的垃圾郵件過濾器很少將真正的郵件標記為垃圾郵件。高召回率的過濾器則能捕捉到大部分垃圾郵件。F1…
系統提示詞系統訊息
使用AI
在對話開始時給予模型的一個特殊指示,用以設定其行為、性格和規則。與用戶訊息不同,系統提示語應具備持久性和權威性 — 它定義了此會話中模型的身分。「你是一個有助益的程式編寫助手。請始終使用 TypeScript。」
紅隊測試Red Teaming
安全
刻意嘗試讓AI模型失敗、行為不當或產生有害輸出的實踐方式。紅隊會探測潛在漏洞:越獄、偏見、錯誤資訊生成、隱私洩漏等。此名稱源自軍事推演中「紅隊」扮演敵對方的傳統。
聚類K-Means、DBSCAN、聚類分析
基礎
一種無監督學習任務,在沒有預定義標籤的情況下將相似的資料點分組在一起。給定客戶購買資料,聚類可能會發現不同的客戶群體(特價獵人、奢侈品買家、偶爾購物者)。K-means 是最常見的演算法:選擇 K…
聯邦學習FL、協作學習
訓練
一種在不共享原始資料的情況下跨多個裝置或組織訓練模型的方法。每個參與者在自己的資料上訓練模型的本地副本,並僅將模型更新(梯度)發送給中央協調者,而非將資料發送到中央伺服器。協調者匯總所有參與者的更新以改進全域模型。
自主代理AI 代理、代理式 AI
使用AI
一種能夠在最少人類監督下獨立規劃、決策和執行多步驟任務的 AI…
自動化AI 自動化、工作流程自動化
工具
利用 AI 來執行以往需要人工介入的任務。這範圍從簡單的自動化(自動分類電子郵件、生成報告)到複雜的自主工作流程(AI 代理程式進行研究、撰寫、測試和部署程式碼)。從傳統自動化(僵硬的規則)轉向 AI 自動化(彈性的智慧)的關鍵在於,AI…
自注意力縮放點積注意力
基礎
一種注意力機制,其中序列會關注自身 — 每個 token 計算與同一序列中其他所有 token 的相關性。查詢、鍵和值都來自相同的輸入。這讓每個 token 能從所有其他 token 中收集資訊,並按相關性加權。自注意力是每個…
基礎
人工智慧的一個分支,專注於讓機器能夠理解、詮釋和生成人類語言。NLP 涵蓋從基本文字處理(tokenization、stemming、part-of-speech tagging)到複雜任務,例如情緒分析、機器翻譯、總結與問答系統等。在…
萬相Wan 影片模型、開放權重影片生成
公司
阿里巴巴專屬的視頻生成計畫,釋出高品質開放權重的視頻模型。這是阿里巴巴在各個模態中領先開放源碼 AI 的更廣泛策略的一部分。
視覺輸入多模態視覺、圖像理解
使用AI
語言模型理解並推理圖像以及文本的能力。你可以發送一張照片並問「這張圖像中有什麼?」或上傳一張圖表並問「總結趨勢」。具備視覺能力的模型(Claude、GPT-4V、Gemini)將圖像編碼為 token,語言模型將這些 token 與文本…
記憶AI 記憶、持久化上下文
使用AI
讓AI模型能夠保留並回憶超越單次對話資訊的機制。這包括上下文記憶(使用上下文視窗)、外部記憶(RAG、向量資料庫)、持續對話記憶(記住用戶在不同會話中的偏好),以及工作記憶(在多步驟代理任務中維持狀態)。記憶正是讓AI感覺像協作者而非無狀態…
評估Evals、模型評估
訓練
用來衡量AI模型表現的方法。這遠遠超出基準測試—它包括人工評估(讓人類評分輸出結果)、A/B測試(在真實流量中比較模型)、紅隊測試(對抗性測試)、特定領域測試(醫療準確性、程式碼正確性),以及社群排行榜(Chatbot…
詞嵌入Word2Vec、GloVe、詞向量
基礎
詞的密集向量表示,其中含義相似的詞具有相似的向量。Word2Vec(2013 年)和 GloVe(2014 年)開創了這個領域:它們在詞共現模式上訓練,產生向量,使得「king − man + woman &asymp…
詞彙表詞表、Token 詞彙表
基礎
模型能夠辨識和產生的固定 token 集合。詞彙表由分詞器在訓練期間構建,通常包含 32K 到 128K 個條目 — 常見詞彙、子詞片段、單個字元和特殊 token。模型處理的任何文本都必須能表達為此詞彙表中的 token…
語料庫資料集、訓練資料
訓練
用來訓練模型的文本資料(或其他數據)。語料庫的範圍可以從精選的書籍和論文集合,到對整個互聯網的大規模抓取。語料庫的品質與組成根本影響模型所掌握的知識以及其行為方式。
語言偵測語言識別、LangID
使用AI
自動識別文字是用哪種語言撰寫的。「Bonjour le monde」→ 法語。「こんにちは世界」→ 日語。現代模型僅需幾個詞就能區分 100 多種語言,處理混合語言文字(語碼轉換),並識別高度相似的語言(挪威語 vs.…
語音 AI語音 AI、對話式 AI
工具
用於生成、理解與操控人類語音的人工智慧系統。這包括文字轉語音(TTS)、語音轉文字(STT/ASR)、聲音克隆、即時語音翻譯、語音情緒辨識,以及對話式語音代理人。此領域已發展到 AI 生成的語音往往與人類語音難以區分的程度。
語音辨識STT、語音轉文字、ASR
使用AI
將口語音訊轉換為文字。現代語音辨識使用深度學習模型(最著名的是 OpenAI 的 Whisper),能以接近人類的準確度轉錄 100 多種語言的音訊。該技術為語音助手、會議轉錄、字幕生成和無障礙工具提供支持。
說話者分離誰在何時說話
使用AI
在多人音訊錄音中判斷誰在何時說話。給定一段會議錄音,分離結果為「說話者 A:0:00–0:15,說話者 B:0:15–0:32,說話者…
訓練
一種以有意義的順序 — 通常從簡單到困難 — 呈現範例的訓練策略,而非隨機呈現。就像教學生先學算術再學微積分,課程學習先給模型基礎模式,然後逐步增加複雜性。這可以帶來更快的收斂,有時也能帶來更好的最終效能。
諂媚行為AI 諂媚、過度迎合
安全
AI模型傾向於告訴用戶他們想聽的,而不是事實。阿諛模型會同意錯誤的前提,驗證壞主意,即使最初正確,當受到質疑時也會改變立場,並優先考慮被喜愛而非提供幫助。阿諛是RLHF訓練的直接副作用—模型學到討喜的回應會獲得人類評估者的更高評…
護欄Guardrails
安全
防止 AI 模型生成有害、不適當或離題內容的安全機制。這些安全機制可以在模型訓練期間內建(如 RLHF),透過系統提示進行應用,或由外部過濾器在內容傳達給用戶前進行檢查與強制執行。
資料中心AI 資料中心、GPU 叢集
基礎設施
用以容納伺服器、GPU、網路設備與冷卻系統等硬體設施,這些設施用於訓練與運行人工智慧模型。現代人工智慧資料中心專為大規模平行運算而設計,耗電量可達兆瓦級,且需要專業冷卻系統。單一前沿模型的訓練作業可能需要整個設施中數千個GPU運行數個月。
資訊擷取IE、結構化擷取
使用AI
從非結構化文字中自動擷取結構化資訊。給定一篇新聞文章,擷取:誰做了什麼、何時、何地、為什麼。給定一份合約,擷取:當事人、日期、義務和金額。IE 結合了…
超參數訓練超參數
訓練
在訓練開始前設定的參數,用來控制模型的學習方式—與模型自行學習的參數不同。超參數包括學習率(每次更新步長的大小)、批次大小(一次處理的範例數量)、訓練週期數(遍歷數據的次數)、優化器選擇(Adam、SGD、AdamW)、權重衰減…
超解析度升頻、影像增強、SR
使用AI
透過生成原始圖像中不存在的合理細節來提高圖像解析度。一張 256×256 的照片變成清晰的 1024×1024 圖像。AI…
越獄越獄、對抗性提示
安全
欺騙 AI 模型繞過其安全訓練並生成它被設計拒絕的內容的技術——危險活動的指令、有害內容,或違反模型使用政策的行為。越獄利用了模型被訓練拒絕的內容與巧妙提示能引出的內容之間的差距。
迴歸線性迴歸、預測
基礎
一種預測連續數值而非類別的機器學習任務。「明天的氣溫會是多少?」(迴歸:預測一個數字)vs.「明天會下雨嗎?」(分類:預測一個類別)。線性迴歸擬合一條直線;神經網路迴歸可以學習輸入和輸出之間任意的非線性關係。
基礎設施
對每分鐘/每小時/每天能發出多少 API 請求的限制。供應商施加速率限制以防止伺服器過載並確保公平使用。限制通常按 API 金鑰套用,可以限制每分鐘請求數(RPM)和每分鐘 token 數(TPM)。
訓練
模型過度記憶訓練資料而失去對新輸入泛化能力的現象。就像一個學生背熟了模擬考的答案卻無法解決新問題。模型在訓練資料上表現極佳,但在未見過的資料上表現糟糕。
遮罩語言建模MLM、遮罩 LM、填空任務
訓練
一種自監督訓練目標,將輸入中的隨機 token 替換為 [MASK] token,模型必須從上下文中預測原始 token。BERT 推廣了 MLM:遮罩 15% 的…
量化GGUF、GPTQ、AWQ
基礎設施
降低模型的精度使其更小更快。以 32 位元浮點數訓練的模型可以被量化到 8 位元、4 位元甚至更低 —— 大小縮減 4-8 倍且品質損失驚人地小。GGUF 是透過 llama.cpp 進行本地推理的流行格式。
開放 vs. 封閉開源 vs. 專有、開放權重辯論
基礎
關於 AI 模型應該開放發布(權重公開可用,如 Llama 和 Mistral)還是保持專有(僅通過 API 可用,如 Claude 和…
開放權重開源 (AI 語境)
安全
當一家公司釋出模型的已訓練參數供任何人下載和運行。「開放權重」比「開源」更精確,因為大多數釋出的模型並不包含訓練資料或訓練程式碼 —— 你得到的是成品模型而非配方。Llama、Mistral…
開發者工具AI SDK、AI 框架
工具
由程式庫、框架和平台組成的生態系統,讓開發 AI…
阿里雲通義千問、Qwen 系列模型
公司
阿里巴巴集團旗下的雲端計算部門,以及 Qwen 模型家族的開發者。Qwen 模型採用完全開放權重,支持多語言,並在目前可取得的開放模型中功能最強。
階躍星辰Step 系列模型、多模態 AI
公司
中國AI新創公司正在開發具競爭力的大型語言和多模態模型。其Step系列在國際基準測試中表現出色—並依靠大量的計算資源投入支持。
安全
對大型語言模型的批評指出,它們僅僅是高階的模式匹配器,僅能拼接出看似合理但缺乏真正理解的文本。這個術語由艾米莉·班德(Emily Bender)、蒂米妮特·格布魯(Timnit Gebru)及其同事在其具有影響力的2021年論文《On…
雙重用途雙用途技術
安全
既可用於有益目的也可用於有害目的的技術。AI 本質上是雙重用途的:同一個幫助醫生診斷疾病的模型可能幫助壞人合成危險化合物。同一個加速軟體開發的程式碼生成模型可能幫助創建惡意軟體。管理雙重用途風險是 AI 治理的核心挑戰。
電腦視覺CV、機器視覺
基礎
人工智慧領域專注於讓機器能夠解釋和理解來自世界的視覺資訊——圖片、視頻、3D場景和文件。電腦視覺推動了從人臉辨識與自動駕駛到醫療影像與AI影像生成等各項應用。核心任務包括物件偵測、影像分類、分割、OCR與姿勢估計。
訓練
初始的大規模訓練階段,模型從龐大的語料庫中學習語言(或其他模態)。這是最昂貴的部分 —— 數千顆 GPU 運行數週或數月,耗資數百萬美元。結果是一個理解語言但尚未針對任何任務特化的基礎模型。
風格轉換神經風格轉換
使用AI
將一張圖片的視覺風格(繪畫、照片、設計)應用到另一張圖片的內容上。「讓這張照片看起來像梵谷的畫」就是風格轉換。神經風格轉換利用深度網路將內容(圖片中的物體)與風格(圖片的外觀)分離,然後重新組合。
餘弦相似度餘弦距離、向量相似度
基礎
一種基於兩個向量之間夾角的相似度度量,忽略它們的大小。餘弦相似度為 1 表示兩個向量指向同一方向(意義相同),0 表示垂直(不相關),-1 表示方向相反。它是在語意搜尋、RAG 和推薦系統中比較文本嵌入的標準相似度指標。
騰訊混元大模型、微信、遊戲 AI
公司
微信背後的中國科技巨擘,也是全球最大的遊戲公司之一,並逐漸成為生成式AI領域的重要力量。其Hunyuan模型驅動著騰訊龐大的生態系統中的各項功能,服務超過十億用戶。
ESC