什麼是邏輯回歸(Logistic Regression)?

什麼是 Logistic Regression 邏輯回歸?

Logistic Regression(邏輯回歸)是機器學習中最經典的二分類模型。它專門用來處理只有兩個類別的問題,並透過 Sigmoid 函數把模型輸出的原始分數,平滑地轉換成 0 到 1 之間的機率值,讓輸出可以直接被解讀為「這件事屬於正類的機率」。

現實生活中,很多重要決策本質上就是「是」或「否」的二元選擇,因此 Logistic Regression 成為實務上應用最廣泛的模型之一。舉個最常見的例子:在垃圾郵件過濾系統裡,模型不需要列出所有可能的類別,而是直接判斷一封郵件是「垃圾郵件」還是「正常郵件」,並給出明確的機率。

Sigmoid 是什麼?

Sigmoid 函數曲線與公式

Sigmoid 負責把模型輸出的「原始分數」(logit)轉換成一個介於 0 到 1 之間的機率值。在模型內部,輸入資料會先經過線性轉換得到一個 logit 分數,這個分數本身沒有明確的意義,可能很大、可能很小,完全取決於特徵和權重。

Sigmoid 的核心作用,就是把這個任意範圍的分數平滑壓縮到 0~1 之間,讓它可以直接被解讀為「這是正類的機率」。換句話說,它把「模型覺得這筆資料有多接近正類」這種相對概念,變成「這是正類的機率是多少」這種明確且可解釋的結果。

公式試算

假設我們收到一封可疑郵件,模型根據郵件中的可疑關鍵字數量、連結數量等特徵,計算出 logit 分數 t = 2.5,並將 t 代入 Sigmoid 公式,其中 e 是數學常數,約等於 2.718,無論 t 是多麼大的正數或負數,它都能讓結果平滑地落在 0 到 1 之間。

計算後得到 0.924,也就是 92.4% 的機率是垃圾郵件。

訓練時如何學習?

光有 Sigmoid 還不夠,模型還需要「知道自己錯得有多離譜」才能不斷進步。這時候最常用的損失函數就是 Cross-Entropy Loss(交叉熵損失)。

簡單來說,Cross-Entropy 就像是給模型打分數的老師:它會比較「模型輸出的機率」跟「真實答案(0 或 1)」之間的差距。差距越大,損失值越高;差距越小,損失值越低。訓練過程中,模型會使用梯度下降不斷調整權重,讓這個損失值越來越小。

這樣一來,原本垃圾郵件算出的 logit 分數 t = 2.5,就會隨著權重調整而越來越大(機率越來越接近 1),讓模型越來越會判斷垃圾郵件。

模型是如何做出預測的?

Logistic Regression 本質上是線性回歸的延伸。線性回歸輸出的是連續的分數,而我們再用 Sigmoid 把這個分數壓縮到 0~1 之間,變成可解釋的機率。

因此,在高維空間中,Logistic Regression 其實就是在找一條決策邊界(Decision Boundary),把兩個類別清楚分開。想像成一條線(或一個平面),這一邊是「垃圾郵件」,那一邊是「正常郵件」。

預測的完整流程其實很簡單:

  1. 計算 logit 分數: 模型先對輸入資料做線性轉換:透過權重與偏差算出 logit(就像前面垃圾郵件例子中的 t = 2.5)。
  2. 轉換成機率: 把 logit 丟進 Sigmoid 函數,得到介於 0 到 1 之間的機率值。這個值可以直接解讀為「模型的信心程度」(例如 0.924 代表 92.4% 可能是垃圾郵件)。
  3. 套用門檻值: 設定一個 threshold(最常用的是 0.5)。機率大於門檻就預測為正類(1),小於則為負類(0)。在實際專案中,這個 0.5 可以根據業務需求調整(例如垃圾郵件過濾想更嚴格,就可能調到 0.3)。

以上就是 Logistic Regression 從輸入資料到最終預測的完整流程。看似簡單的幾個步驟,背後卻是透過大量標註資料訓練出來的權重,才能在真實世界中做出可靠又可解釋的判斷。

Logistic Regression 與 Softmax Regression 的關係

Logistic Regression 是專門用來處理二分類問題的模型(只有兩個類別,例如「是垃圾郵件」或「不是垃圾郵件」)。當類別數量增加到三個以上時,我們就會改用 Softmax Regression 多項邏輯回歸 來處理多分類問題。

從結構上來看,Logistic Regression 可以被視為 Softmax Regression 多項邏輯回歸 的特例。當類別數只有兩個時,Softmax 函數實際上就會退化成 Sigmoid 函數。

也因此,在實務上可以直接把 Logistic Regression 看成 Softmax Regression 的二分類版本。

結論

Logistic Regression 雖然名字裡有「回歸」兩個字,卻是機器學習領域最經典、最實用的二分類模型之一。它的核心價值在於:把線性計算出來的 logit 分數,透過 Sigmoid 函數轉換成 0 到 1 之間的可解釋機率,讓模型不只能做出「是或否」的判斷,還能清楚告訴我們「有多大的信心」。

從垃圾郵件過濾、停車場滿位預測,到醫療診斷、金融風險評估,Logistic Regression 幾乎無處不在。它的訓練過程(Cross-Entropy Loss + 梯度下降)簡單卻強大,而預測時的三步驟(計算 logit → 轉機率 → 套用門檻)也極具可解釋性,這正是它至今仍被廣泛使用的原因。

Logistic Regression 就是「把複雜的特徵轉成簡單可信的機率」的經典工具,也是理解 Softmax Regression 與所有現代分類模型最重要的基礎。