Focal Loss | StriveZs的博客

Focal Loss

Focal Loss

介绍

本质上讲,Focal Loss就是一个解决分类问题中类别不平衡、分类难度差异的一个Loss。该损失函数降低了大量的简单的负样本在训练中所占的权重。

figure.1

CE为交叉熵Loss,而FL为Focal Loss

Focal Loss——二分类

Focal Loss的形式(没有引入权值 )是:

对于该式子 为预测值,而y为真实标签, 的作用就是调节权重曲线的陡度。

同时,可以引入一个权重调整, 会对结果有微小的提升。

在他的文章中,经过一系列调参得到了对于他的模型来说效果是最好的。如果需要对需要对进行选择的话,需要使用大的训练样本和算力进行调参。如果要求不太高的话,可以把设置为0.5即可。

简单说一下这里如果是我进行调参的话,我会使用控制变量法,设定一个的衰减系数,然后给定一个初始的参数值进行训练,每经过一次完整的训练则将这个α对应的准确率记录下来,经过n次衰减后,对比记录得到的结果进行参数alpha的选择。

Focal Loss——多分类

Focal Loss在多分类的形式可以根据二分类的形式得到:

其中为目标的的预测值,一般这个值是经过softmax之后结果。

如果我们引入权重值之后的样子是:

其中每个类别都有一个对应的,并且保证, 即所有类别的α之和为1.

StriveZs wechat
Hobby lead  creation, technology change world.