LR多分类与softmax多少分类，他们的目标函数是什么？他们的区别是？他们分别适用于什么场景？

复盘：LR多分类与softmax多少分类，他们的目标函数是什么？他们的区别是？他们分别适用于什么场景？

提示：系列被面试官问的问题，我自己当时不会，所以下来自己复盘一下，认真学习和总结，以应对未来更多的可能性

关于互联网大厂的笔试面试，都是需要细心准备的
（1）自己的科研经历，科研内容，学习的相关领域知识，要熟悉熟透了
（2）自己的实习经历，做了什么内容，学习的领域知识，要熟悉熟透了
（3）除了科研，实习之外，平时自己关注的前沿知识，也不要落下，仔细了解，面试官很在乎你是否喜欢追进新科技，跟进创新概念和技术
（4）准备数据结构与算法，有笔试的大厂，第一关就是手撕代码做算法题
面试中，实际上，你准备数据结构与算法时以备不时之需，有足够的信心面对面试官可能问的算法题，很多情况下你的科研经历和实习经历足够跟面试官聊了，就不需要考你算法了。但很多大厂就会面试问你算法题，因此不论为了笔试面试，数据结构与算法必须熟悉熟透了
秋招提前批好多大厂不考笔试，直接面试，能否免笔试去面试，那就看你简历实力有多强了。

---

文章目录

• 复盘：LR多分类与softmax多少分类，他们的目标函数是什么？他们的区别是？他们分别适用于什么场景？
• • @[TOC](文章目录)
• 面试官：LR多分类与softmax多少分类，他们的目标函数是什么？他们的区别是？他们分别适用于什么场景？
• lr的损失函数是啥？
• Lr多分类的目标函数是什么？
• • one vs one策略
  • one vs all策略
• Lr在二分类中用到了sigmoid函数，多分类中是softmax函数，当softmax函数用于二分类问题的时候，这两个的区别？
• • softmax回归，softmax函数的定义
  • softmax函数表达式
• 直接用Softmax函数进行多分类和用sigmoid的函数二分类组合进行多分类的区别，各自适用于怎么样的场景？
• 总结

面试官：LR多分类与softmax多少分类，他们的目标函数是什么？他们的区别是？他们分别适用于什么场景？

lr的损失函数是啥？

关于这个问题，我之前说的很清楚了

其实就是给定x的情况下，二分类为y=1，0的概率是多少？
组合的公式就是：

它的似然函数和损失函数咋算的？

看这里：
【1】机器学习面试题——线性回归LR与逻辑回归LR
损失函数

就是一个典型的交叉熵损失函数，很easy的

LR用到的激活函数是sigmoid

Lr多分类的目标函数是什么？

那么LR一般是做二分类，要是多分类咋搞呢？？

LR实现多分类
LR是一种传统的二分类模型，也可以做多分类模型，其实现思路如下：

将多分类模型拆分成多个二分类模型
分别训练二分类模型
将多个二分类模型进行集成，选取概率值最大的那个作为最终的分类结果

懂？

一般来说，可以采取的拆分策略有：

one vs one策略

假设我们有N个类别，该策略基本思想就是不同类别两两之间训练一个分类器，
这时我们一共会训练出C(N,2)组合数这么多种不同的分类器。

在预测时，我们将样本提交给所有的分类器，
一共会获得N(N-1)个结果，最终结果通过投票产生。

one vs all策略

该策略基本思想就是将第i种类型的所有样本作为正例，
将剩下的所有样本作为负例，进行训练得到一个分类器。

这样我们就一共可以得到N个分类器。

在预测时，我们将样本提交给所有的分类器，一共会获得N个结果，
我们选择其中概率值最大的那个作为最终分类结果。

这下你明明白了吧？美团的面试官常考这个玩意，他们熟悉这个东西，简单，所以就经常问

Lr在二分类中用到了sigmoid函数，多分类中是softmax函数，当softmax函数用于二分类问题的时候，这两个的区别？

softmax回归，softmax函数的定义

softmax函数又称为归一化指数函数,
是逻辑函数一种推广式，
它能将一个含任意实数的K维向量z “压缩”到另一个K维实向量中，
使得每一个元素都在(0,1)之间,所有元素的和为1。

softmax函数表达式

softmax函数的表达式为：

下图为y=exp(x）的图像，

我们可以知道指数函数的值域取值范围是零到正无穷。

softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。

softmax就是这么搞的

为了确保各个预测结果的概率之和等于1。
我们只需要将转换后的结果进行归一化处理。

方法就是将转化后的结果除以所有转化后结果之和，
可以理解为转化后结果占总数的百分比。

这样就得到近似的概率。【0–1的值，谁概率大，类别就是它j】

直接用Softmax函数进行多分类和用sigmoid的函数二分类组合进行多分类的区别，各自适用于怎么样的场景？

上面俩问题一样

LR 多分类与softmax的区别

若待分类的类别互斥，则用Softmax方法

若待分类的类别有相交，则用多分类LR，再通过投票表决

这两句话是面试官想要的答案

---

总结

提示：重要经验：

1）LR的损失函数，就是释然函数，关键在理解给定x判定为y的概率这个函数，就好办了，LR当然还可以做多分类，只是训练多个二分类模型，共同投票
2）softmax每个类别是互斥的，就是推导概率为1的情况，当k=2时，就是LR二分类
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。