逻辑回归（Logistic Regression)详解

逻辑回归作为广义线性回归的一种，是机器学习中研究的工具之一，主要用于解决二元分类问题。
通过训练数据，逻辑回归模型学习分类规则，然后预测某些测试数据。
训练模型基于n组数据，每组数据来自索引p。
逻辑回归主要处理分类任务。
例如，可以使用身高和体重这两个指标来确定某人是“胖”还是“瘦”。
首先，收集n个人的数据，将“胖”和“瘦”分别标记为0和1，并使用这些数据来训练模型。
之后，输入每个数字的身高和体重，模型预测其属于“胖”或“瘦”类别。
数据点很多，二维空间可以用点表示，三维空间可以用点表示，p维空间可以用点表示。
经过逻辑回归后，训练模型是一条直线（二维情况）、一个平面（三维）或一个超平面（p>3），它将数据空间分为两类。
逻辑回归的核心是sigmoid函数，它用来描述0到1之间的输入来预测概率。
参数 w 和 b 在整个训练过程中进行优化，以使预测准确。
逻辑回归的主要步骤包括参数的训练和求解。
在训练期间，使用最大似然估计或损失函数（例如交叉熵损失或均方误差）来优化参数。
求解过程涉及损失函数的求导，常用的是梯度下降法。
完成后，需要处理数据、调整参数以及用于形成它们的算法。
实现时，选择一个数据集（如Dry_Bean_Dataset）进行处理和可视化，可以直观地观察模型效果。
逻辑回归适用于线性可分离的数据，非线性逻辑回归可用于不可分离的数据，例如使用多项式函数。
对于多分类问题，使用softmax函数代替sigmoidal函数。
综上所述，逻辑回归具有二元和多元能力，适用于不同维度的数据，并用于优化参数。
其模型结构和预测过程与神经网络类似，但逻辑回归更简单。
了解逻辑回归方法的原理和实现将有助于您在实际问题中顺利应用它。

逻辑回归模型解决什么问题

逻辑回归模型解决的问题如下：

1． Logistic回归处理的数据

Logistic回归用于分类。
例如，我们指定一个人的两个指标【身高、体重】，然后判断这个人是属于“胖”还是“瘦”类别。
对于这个问题，我们可以先测量n个人的身高和体重以及对应的指标“胖”和“瘦”，将胖和瘦分别表示为0和1。

将这n个数据集输入到模型中进行训练。
训练完成后，将要分类的人的身高和体重输入到模型中，以确定该人是“胖”还是“瘦”。
如果数据有两个指标，则数据可以用平面上的点来表示，其中一个是x轴，另一个是y轴。
如果数据具有三个指标，则数据可以用平面空间中的点来表示； 如果它是 p 维（p>3），则它是 p 维空间中的点。

3）。
而这条直线或平面将空间中的分散点一分为二，属于同一类别的大部分数据分布在曲线或平面的同一侧。

2. 算法原理

首先我们处理二分类问题。
由于分为两类，所以我们将一类的标签设置为0，另一类的标签设置为1。
我们需要一个函数，可以将每组输入数据映射为0到1之间的数字。
并且如果函数值大于0.5则判断为1，否则为0。
另外，该函数需要未确定的参数。
通过使用样本训练，这个参数可以对训练集中的数据做出非常准确的预测。

3. 求解参数

这部分是逻辑回归的核心问题。
下面图图就介绍两种方法。
最大似然估计是数理统计中参数估计的重要方法。
这个想法是，当一个事件发生时，该事件发生的概率是最大的。

对于样本 i 来说，它是类别。
对于样本 i，可以将其视为概率。
如果yi等于1，则概率为h(xi)，即xi属于1的可能性； 如果yi对应0，则概率为1-h(xi)，因此xi属于它的可能性为0。
然后构造最大似然函数。

通俗理解：线性回归vs逻辑回归

线性回归和逻辑回归是两种常见的预测模型，各自适用于不同类型的数据和任务。
线性回归的本质是寻找自变量X和连续因变量Y之间的线性关系。
这种关系用系数β来描述，适合预测定量输出，例如考试成绩。
该模型必须满足独立同分布和方差齐性的假设。
例如，预测明天的温度。
相反，逻辑回归处理离散因变量 Y，它可以是连续变量、离散变量或虚拟变量。
它假设因变量Y服从伯努利分布，这意味着它用于解决分类问题，例如判断考试是否通过。
这种情况下，必须通过函数变换（如sigmoid函数）将离散的Y映射为实数区间，并将区间划分为对应不同的类别，如二元分类。
逻辑回归就起源于这个转换过程。
尽管逻辑回归和线性回归都是广义线性模型，但它们的基本假设和应用是不同的：线性回归侧重于连续输出，而逻辑回归侧重于二元或多类定性输出。
了解这些差异有助于我们在实际问题中选择合适的模型。