Focal Loss

Paper https://arxiv.org/abs/1708.02002

Binary Cross Entropy Loss

以二分类交叉熵为例

$$L_{CE}(p,y) = \begin{cases} -log(p) , y =1 \\ -log(1-p) , \text{otherwise} \end{cases}$$

简化一下，令

$$p_t = \begin{cases} p \ ,\ y = 1 \\ 1-p \ ,\ \text{otherwise} \end{cases}$$

得到$L_{CE}(p,y)=-log(p_t)$ , $p_t$表示$p$ 与 $y$ 的接近程度， $p_t$越高，$p$与$y$越接近，分类越准确

平衡类别的交叉熵 Balanced Cross Entropy

目标检测任务中，大多数情况负样本远大于正样本，导致交叉熵难以学习正样本，摆烂直接全都输出负样本

一个朴素的想法就是统计ground truth 中正负样本比例，作为权重加到Loss上。（论文中直接设了个超参$\alpha$）

$L_{CE}(p_t) = -log(p_t) \times \alpha$

Focal Loss

无论是设一个超参$\alpha$还是每一个样本都统计正负样本比例，都是确定的权重，不够adaptive。

Focal Loss 还是从$\alpha$上下手

$$L_{FL}(p_t) = -log(p_t) \times (1-p_t)^{\gamma}$$

$\gamma \gt 0$ 为超参数， 当$\gamma = 0$时等于Cross Entropy

加上一个与$p$相关的权重，因为$p_t$表示准确程度，那么$1-p_t$就是不准确程度，代表这个分类更难。

当样本分类困难时，$1-p_t$高，Loss 权重高

当样本分类简单时，$1-p_t$低，Loss 权重低

由于$0\lt 1-p_t \lt 1$，$\gamma$越高，简单样本的权重越低，困难样本则影响不大，从上图中也能看出来，差异较大的部分在$0.1\lt p \lt0.6$