為什麼重要
YOLO 模型是應用電腦視覺的主力。它們清點貨架上的商品,發現生產線上的缺陷,在體育轉播中追蹤球員,測量交通流量,為無人機和機器人導航,還用於監測野生動物。它們小到可以在手機、攝影機或廉價的嵌入式開發板上執行,用自訂資料集微調只需一個下午。
在巨型多模態模型的時代,YOLO 提醒我們:小而專的模型往往才是合適的工具。它處理每張影像的成本比視覺語言模型低幾個數量級,速度也快得多。
深度解析
YOLO 是「You Only Look Once」(你只看一次)的縮寫。在它之前,最好的物件偵測器分兩個階段工作:先提出可能包含物體的區域,再對每個區域分類。這樣做準確,但很慢。2015 年,Joseph Redmon 和同事證明,單個神經網路可以把整張影像看一遍,直接預測出每個邊界框及其類別。第一版 YOLO 每秒能跑 45 幀,足以處理即時影片,而當時準確的偵測器每秒只能處理寥寥幾幀。
此後,「YOLO」與其說是一個模型,不如說是一個譜系:來自不同團隊的十幾個版本,都圍繞著快速單階段偵測這一思路建構。
工作原理
YOLO 模型是一個由三部分組成的卷積網路:backbone(骨幹網路)負責提取特徵;neck(頸部)把不同尺度的特徵融合起來,讓大小物體都能被看到;head(偵測頭)則為影像各個位置預測邊界框、信心度分數和類別。
原始輸出裡,同一個物體會對應許多重疊的框。一個叫作非極大值抑制(NMS)的後處理步驟會保留最好的那個,去掉重複的。一些較新的版本經過訓練後,每個物體只輸出一個框,完全跳過 NMS,從而簡化了部署。
一張糾纏不清的族譜
Redmon 寫了前三個版本,隨後在 2020 年離開了電腦視覺研究,理由是擔心軍事和監控用途。這個名字在沒有主人的情況下延續了下來:
- YOLOv4(2020 年)來自 Alexey Bochkovskiy 和同事。
- YOLOv5(2020 年)、YOLOv8(2023 年)和 YOLO11(2024 年)來自 Ultralytics 公司,它易用的 Python 套件讓 YOLO 的流行遠遠超出了研究者的圈子。
- YOLOv6、v7、v9、v10 以及之後的版本來自各個學術和產業團隊。
版本號並不構成一條清晰的改進序列,數字更大也不代表更適合你的任務。現代的 YOLO 軟體套件也不止於偵測:同一個家族還能做實例分割、姿態估計、旋轉框偵測和物件追蹤。
尺寸與指標
每個版本都有若干種尺寸,通常是 nano、small、medium、large 和 extra-large。nano 模型可以在手機上即時執行,更大的模型更準確,但需要 GPU。準確率以 COCO 資料集上的 mAP(mean average precision,平均精度均值)來報告,COCO 包含 80 個日常物體類別。對你自己的專案來說,在你的資料和硬體上的速度與準確率,比 COCO 分數更重要。
訓練你自己的模型
預訓練的 YOLO 模型只認識 COCO 的 80 個類別。要偵測別的東西,就需要微調:收集幾百到幾千張影像,用邊界框做標註,再在一塊 GPU 上訓練一小時左右。標註才是真正的工作量,基於 Segment Anything 或視覺語言模型建構的工具可以大大加快這一步。部署時,模型通常會匯出為 ONNX、TensorRT、Core ML 或類似格式。
授權條款與替代方案
要留意授權條款。Ultralytics 的模型以 AGPL-3.0 發布,這要求你把使用這些模型的軟體開源,除非購買商業授權。採用寬鬆授權條款的替代方案包括 YOLOX,以及 RT-DETR、RF-DETR 等基於 Transformer 的即時偵測器,它們的準確率如今已經持平甚至超過 YOLO。
YOLO-World、Grounding DINO 等開放詞彙偵測器無需任何訓練,就能找到用文字描述的物體,代價是速度和準確率有所下降。視覺語言模型也能偵測物體,適合做原型和標註,但對於大批量或即時的工作,一個訓練好的小型偵測器仍然實用得多。