邏輯迴歸

此條目需要精通或熟悉相關主題的編者參與及協助編輯。 (2016年9月17日) 請邀請適合的人士改善本條目。更多的細節與詳情請參見討論頁。

邏輯迴歸（英語：Logistic regression，又譯作邏輯斯迴歸、羅吉斯迴歸、邏輯斯諦迴歸、對數機率迴歸），在統計學中是一種對數機率模型（英語：Logit model，又譯作邏輯模型、評定模型、分類評定模型），是離散選擇法模型之一，屬於多變量分析範疇，是社會學、生物統計學、臨床、數量心理學、計量經濟學、市場行銷等統計實證分析的常用方法。

通過使事件的對數發生率（log-odd）成為一個或多個自變數的線性組合，對事件發生的機率進行建模。形式上，在二元邏輯迴歸中，有一個二元應變數，由指示變量編碼，其中兩個值標記為「0」和「1」，而自變數每個都可以是二元變量（兩個類，由指示變量）或連續變量（任何實值）。標記為「1」的值的相應機率可以在0和1之間變化；將對數發生率轉換為機率的函數就是邏輯斯諦函數，因此得名。對數發生率單位稱為logit，來自logistic unit。^[1]

二元變量在統計學中廣泛用於對某一類別或事件發生機率的建模，例如團隊獲勝機率、患者健康機率等，而其中，邏輯模型則自大約1970年以來最常用的二元迴歸模型。^[2]當存在兩個以上可能值（例如圖像是否是貓、狗、獅子等）時，二元變量可以推廣為分類變量，並且二元邏輯迴歸推廣為多項邏輯迴歸。如果多個類別是有序的，則可以使用序數邏輯迴歸。邏輯迴歸模型本身只是簡單地根據輸入對輸出機率進行建模，並不執行統計分類。^[3]

以一個例子說明邏輯迴歸如何解決實際問題：

一個小組20名學生，各自花費0~6小時準備考試，他們不同的學習時數如何影響通過考試的機率？

問題中的應變數是考試「通過」或者「掛科」，這是用邏輯迴歸的原因，雖然分別用「1」和「0」表示，但這兩個數字不代表基數。如果問題發生變化，用0-100的成績（基數）代替通過、掛科，則可以使用迴歸分析。

下表顯示每個學生花費在學習上的小時數，以及他們通過（1）或掛科（0）。

對學習時間（x_k）和測試結果（y_k = 1 表示通過，0 表示掛科）組成的數據進行擬合。數據點由下標k索引，該下標從1到20。x變量稱為「自變數」，y變量稱為「分類變量」，由「通過」或「失敗」兩個類別組成，分別對應於分類值1和0。

統計學系列條目
迴歸分析
模型
線性迴歸 簡單線性迴歸 普通最小平方法（OLS） 多項式迴歸 一般線性模型
廣義線性模式 離散選擇（英語：Discrete choice） 對數機率迴歸 多項羅吉特（英語：Multinomial logit） 混合羅吉特 波比（英語：Probit model） 多項式波比（英語：Multinomial probit） 排序性模型（英語：Ordered logit） 有序波比（英語：Ordered probit） 卜瓦松迴歸
等級線性模型 固定效應（英語：Fixed effects model） 隨機效應（英語：Random effects model） 混合模型（英語：Mixed model）
非線性迴歸 非母數 半母數 穩健 分位數迴歸 保序迴歸 主成分 最小角 局部（英語：Local regression） 分段
含誤差變量（英語：Errors-in-variables models）
估計
最小平方法 普通最小平方法 線性 偏最小平方迴歸 母體（英語：Total least squares） 廣義 加權 非線性 非負（英語：Non-negative least squares） 重複再加權（英語：Iteratively reweighted least squares） 脊迴歸（嶺迴歸） LASSO
最小絕對值導數法（英語：Least absolute deviations） 貝葉斯（英語：Bayesian linear regression） 貝葉斯多元
背景
迴歸模型驗證（英語：Regression model validation） 平均響應和預測響應（英語：Mean and predicted response） 誤差和殘差 適合度 學生化殘差（英語：Studentized residual） 高斯-馬可夫定理
機率與統計主題
閱 論 編

邏輯函數形式為：

${\displaystyle p(x)={\frac {1}{1+e^{-(x-\mu )/s}}}}$

其中μ是位置參數（曲線的中點，其中${\displaystyle p(\mu )=1/2}$），s是尺度參數。該式可重寫為：

${\displaystyle p(x)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

${\displaystyle \beta _{0}=-\mu /s}$稱為截距，是直線${\displaystyle y=\beta _{0}+\beta _{1}x}$的y截距。${\displaystyle \beta _{1}=1/s}$是反比例參數或速率參數，是作為"x"函數的對數發生率的"y"截距和斜率。反之，${\displaystyle \mu =-\beta _{0}/\beta _{1}}$，並且${\displaystyle s=1/\beta _{1}}$。

${\displaystyle P(Y=1|X=x)={\frac {e^{x'\beta }}{1+e^{x'\beta }}}.}$

其中參數${\displaystyle \beta }$常用最大概似估計。

全名為Independent and irrelevant alternatives假設，也稱作IIA效應，指Logit模型中的各個可選項是獨立的。

市場上有A，B，C三個商品相互競爭，分別占有市場份額：60%，30%和10%，三者比例為：6:3:1

一個新產品D引入市場，有能力占有20%的市場——

如果滿足IIA假設，各個產品獨立作用，互不關聯：新產品D占有20%的市場份額，剩下的80%在A、B、C之間按照6:3:1的比例瓜分，分別占有48%，24%和8%。

如果不滿足IIA假設，比如新產品D跟產品B相似度高，則新產品D的CP值高而奪去產品B的部分市場(總份額的20%)，則產品B剩餘10%，而產品A和C的市場份額保持60%和10%不變。

• 可以獲得每個個性化的選擇集合的一致的參數估計
• 各個類別的子集的一般化的估計
• 大大節省時間
• 可選項數目很多的時候尤其如此

傑里·A·奧斯曼和丹尼爾·麥克法登提出的。

機器學習與資料探勘
範式 監督學習 無監督學習 線上機器學習 元學習（英語：Meta-learning (computer science)） 半監督學習 自監督學習 強化學習 基於規則的機器學習（英語：Rule-based machine learning） 量子機器學習
問題 統計分類 生成模型 迴歸分析 聚類分析 降維 密度估計（英語：density estimation） 異常檢測 數據清洗 自動機器學習 關聯規則學習 語意分析 結構預測（英語：Structured prediction） 特徵工程 表徵學習 排序學習（英語：Learning to rank） 語法歸納（英語：Grammar induction） 本體學習（英語：Ontology learning） 多模態學習（英語：Multimodal learning）
監督學習 (分類 · 迴歸) 學徒學習（英語：Apprenticeship learning） 決策樹學習 集成學習 Bagging 提升方法 隨機森林 k-NN 線性迴歸 樸素貝葉斯 人工神經網絡 邏輯迴歸 感知器 相關向量機（RVM） 支持向量機（SVM） 遷移學習 微調
聚類分析 BIRCH CURE算法（英語：CURE algorithm） 層次 k-平均 Fuzzy 期望值最大化（EM） DBSCAN OPTICS 均值飄移（英語：Mean shift）
降維 因素分析 CCA ICA LDA NMF（英語：Non-negative matrix factorization） PCA PGD（英語：Proper generalized decomposition） t-SNE（英語：t-distributed stochastic neighbor embedding） SDL
結構預測（英語：Structured prediction） 圖模式 貝氏網路 條件隨機域 隱藏式馬可夫模型
異常檢測 RANSAC k-NN 局部異常因子（英語：Local outlier factor） 孤立森林（英語：Isolation forest）
人工神經網絡 自編碼器 認知計算 深度學習 DeepDream（英語：DeepDream） 多層感知器 RNN LSTM GRU（英語：Gated recurrent unit） ESN（英語：Echo state network） 儲備池計算（英語：reservoir computing） 受限玻爾茲曼機 GAN SOM CNN U-Net Transformer Vision transformer（英語：Vision transformer） 脈衝神經網絡（英語：Spiking neural network） Memtransistor（英語：Memtransistor） 電化學RAM（英語：Electrochemical RAM）（ECRAM）
強化學習 Q學習 SARSA 時序差分（TD） 多智能體（英語：Multi-agent reinforcement learning） Self-play（英語：Self-play (reinforcement learning technique)） RLHF
與人類學習 主動學習（英語：Active learning (machine learning)） 眾包 Human-in-the-loop（英語：Human-in-the-loop）
模型診斷 學習曲線（英語：Learning curve (machine learning)）
數學基礎 內核機器（英語：Kernel machines） 偏差–變異數困境（英語：Bias–variance tradeoff） 計算學習理論（英語：Computational learning theory） 經驗風險最小化 奧卡姆學習（英語：Occam learning） PAC學習（英語：Probably approximately correct learning） 統計學習 VC理論
大會與出版物 NeurIPS ICML（英語：International Conference on Machine Learning） ICLR ML（英語：Machine Learning (journal)） JMLR（英語：Journal of Machine Learning Research）
相關條目 人工智慧術語（英語：Glossary of artificial intelligence） 機器學習研究數據集列表（英語：List of datasets for machine-learning research） 機器學習概要（英語：Outline of machine learning）
閱 論 編

可以將可選項間的相關性建模

巢式（Nested）表示可選項被分作不同的組，組與組之間不相關，組內的可選項相關，相關程度用1-λ_g來表示（1-λ_g越大，相關程度越高）

配體結合分析的典型校準曲線是S形的，下邊界（漸近線）靠近背景信號（非特異性結合），而上漸近線靠近最大的飽和響應。 四參數邏輯模型通常是擬合這種形狀校準曲線的首選，可以準確描述測量信號值與分析物濃度之間的S形關係。當不對稱性明顯時會添加第五個參數，但可能會導致擬合算法變得不穩定。^[4]

• 僅有兩個可選項：V_1n，V_2n

• 多重變量分析

• UFLDL：Logistic迴歸 （頁面存檔備份，存於網際網路檔案館）
• 南佛羅里達大學Logistic迴歸課程
• 線上計算Logistic迴歸 （頁面存檔備份，存於網際網路檔案館）