迁移学习简介


  • 核心层

    迁移学习

    简介

    ​ 什么是迁移学习?:一个系统将其他领域的一些知识运用到该应用当中,也就是利用相似领域的知识在目标域中完成任务。

    ​ 为什么要进行迁移学习?:数据标注非常的困难,模型的建立非常花费机器时间,对已有的知识进行运用是非常重要的。

    迁移学习与传统机器学习的区别
    • 训练和测试数据是否同分布

    • 数据标注是否足够

    • 是否可以重用之前的模型
      0_1551843641103_921d79ff-ec08-4b32-9426-e0f39aa4f29b-image.png

    迁移学习的一些定义

    ​ Domain:数据特征与特征分布

    ​ Task:学习任务

    ​ 迁移学习实际上是利用Sourse Domain Data 的Task,在目标域Target Domain上学习预测函数F(*)

    迁移学习分类
    • 按照迁移情景

      — 归纳式迁移(inductive transfer learning): 源域和目标域的学习任务不同

      — 直推式迁移(transductive transfer learning): 源域和目标域不同

      — 无监督迁移(unsupervised transfer learning): 源域和目标域都不同,都没有标签

    • 按照迁移的方法

      — 基于实例的迁移(instance based TL):通过加权的方法将源域样例用到目标域

      • TrAdaBoost
      • Kernel Mean Matching
      • Density ratio estimation

      — 基于特征的迁移(feature based TL):将两个域的特征变换到相同的空间

      • Transfer component analysis
      • spectral Feature Alignment
      • Geodesic flow kernel
      • Transfer kernel learning

      — 基于模型的迁移(parameter based TL): 利用源域和目标域的共享模型

      • TransEMDT
      • TRCNN
      • TaskTrAdaBoost

      — 基于关系的迁移(relation based TL):利用源域中逻辑网络关系

      • Predicate mapping and revising
      • Second-order Markov Logic
    • 按照特征空间

      — 同构迁移学习(Homegeneous TL):特征维度相同

      — 异构迁移学习(Heterogeneous TL):特征维度不同

    0_1551843657228_10fe3805-30d5-414b-a1b3-84449d25200c-image.png

    研究领域
    • Domain Adaptation(域适配问题)

      有标签的源域和无标签的目标域共享特征和类别,但是特征分布不同,如何利用源域标定目标域

      — 基于特征迁移的方式

      • Transfer component analysis
      • Geodesic flow kernel
      • Transfer kernel learning
      • TransEMDT

      — 基于实例的迁移方法

      • kernel mean matching
      • Covariate shift Adaptation

      — 基于模型的迁移方法

      • Adaptive SVM
      • Multiple convex combination
      • Domain Adaptation Machine
    • Multi-source TL

      多个源域和目标域,如何筛选

      • TrAdaBoost
      • MsTL-MvAdaboost
      • Transitive transfer learning
      • Distant domain TL
    • Deep TL

      利用深度神经网络的结构进行迁移学习

      • Joint CNN
      • SHL-MDNN
      • Deep Adaptation Network
      • Joint Adaptation Networks
      • Deep Hashing Network
      • Label Efficient Learning of Transferable Representations across Domains and Tasks
    • Heterogeneous TL

    0_1551843666052_45d0f560-3234-4ed7-a284-359963d2ea7f-image.png

    度量准则
    • 距离

      — 欧式距离

      — Minkowski distance

      — 马氏距离

    • 相似度

      — 余弦相似度

      — 互信息

      — 皮尔逊相关系数

      — Jaccard相关系数

    • KL散度与JS距离

    • 最大均值差异MMD

    • Principal Angle

    • A-distance

    • Hilbert-Schmidt Independence Criterion

    • Wasserstein Distance

    Reference

    [1]. Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on knowledge and data engineering,2010, 22(10): 1345-1359.

    [2]. Dai W, Yang Q, Xue G R, et al. Boosting for transfer learning[C]//Proceedings of the 24th international
    conference on Machine learning. ACM, 2007: 193-200.


 

Copyright © 2018 bbs.dian.org.cn All rights reserved.

与 Dian 的连接断开,我们正在尝试重连,请耐心等待