Loss函数总结
花了快一周的时间看了很多的Loss函数,分析的还不是很仔细,后面使用过程中有心得会持续更新,也欢迎大家补充和讨论。
Log Loss
L(Y,P(Y∣X))=−logP(Y∣X)
- 其基本思想就是让事情发生的概率最大,使用极大似然估计来更新参数
Logistic Loss
- logistic loss可以看作Log loss函数针对二分类问题的一个特例
KL Divergence Loss
Exponential Loss
L(y,f(x))=exp[−yf(x)]
Hinge Loss
L(y,f(x))=max(0,1−yf(x))
Focal Loss
L(pt)=−αt(1−pt)γlog(pt)
Large-Margin Softmax Loss
Li=−log(e∣∣wyi∣∣∣∣xi∣∣ψ(θyi)+∑j≠yie∣∣wj∣∣∣∣xi∣∣cos(θj)e∣∣wyi∣∣∣∣xi∣∣ψ(θyi))
- 其中ψ(θyi)是一个单调递减的函数,由参数m控制,m越大,模型越需要发现不同类别中的细微差别特征
- 可参考的函数
ψ(θ)=(−1)kcos(mθ)−2k
- 论文链接https://arxiv.org/pdf/1612.02295.pdf
Center Loss
Lc=21i=1∑m∣∣xi−cyi∣∣2
Δcj=1+∑i=1mδ(yi=j)∑i=1mδ(yi=j)<em>(cj−xi)
cjt+1=cjt−α</em>Δcjt
Triplet Loss
L=i∑N[∣∣f(xia)−f(xip)∣∣2−∣∣f(xia−f(xin))∣∣2+a]+
- +表示L小于0的时候L为0
- 模型输入为一个三元组,[本样本,正样本,负样本]d s
- 目标:增大正负样本之间的距离
- 论文链接:(https://arxiv.org/pdf/1503.03832.pdf)[https://arxiv.org/pdf/1503.03832.pdf]
Soft Distillation Softmax Loss
L=−log(∑jezj/Tezi/T)
Soft-Margin Softmax Loss
L=−log(ewyiT−m+∑j≠yiewjT−mewyiT−m)
Angular Softmax Loss
Li=−log(e∣∣xi∣∣ψ(θyi)+∑j≠yie∣∣xi∣∣cos(θj)e∣∣xi∣∣ψ(θyi))
L2-constrained Softmax Loss
L=−log(∑jewjTf(xi)+byiewyiTf(xi)+byi)
∣∣f(xi)∣∣2=α
Large Margin Cosine Margin
Li=−log(es(cos(θyi,i)−m)+∑j≠yies(cos(θj,i))es(cos(θyi,i)−m))
Additive Margin Softmax Loss
Li=−log(es(wyiTf(xi)−m)+∑j≠yies(wjTf(xi))es(wyiTf(xi)−m))
Angular Triple Loss
L=[∣∣xa−xp∣∣2−4tan2α∣∣xn−xc∣∣2]+
Coco Loss
Lrevise=∑∑ec(fi,cm)ec(fi,cli)
Large-Margin Gaussian Mixture Loss
Lcls=−log∑k=1kN(xi;uk,∑k)p(k)N(xi;uzi,∑zi)p(zi)]
Llkd=−logN(xi;uzi,zi∑)
LGM=Lcls+Llkd
Contextual Loss
dij=1−∣∣xi−uy∣∣<em>2∣∣yj−uy∣∣<em>2(xi−uy)(yi−uy)
uy=N1j∑yj
w</em>ij=exp(h1−minkdik+αd</em>ij)
CXij=wij/k∑wik
Lcx=−logCXf(x),f(y)