迁移学习简介
-
迁移学习
简介
什么是迁移学习?:一个系统将其他领域的一些知识运用到该应用当中,也就是利用相似领域的知识在目标域中完成任务。
为什么要进行迁移学习?:数据标注非常的困难,模型的建立非常花费机器时间,对已有的知识进行运用是非常重要的。
迁移学习与传统机器学习的区别
-
训练和测试数据是否同分布
-
数据标注是否足够
-
是否可以重用之前的模型
迁移学习的一些定义
Domain:数据特征与特征分布
Task:学习任务
迁移学习实际上是利用Sourse Domain Data 的Task,在目标域Target Domain上学习预测函数F(*)
迁移学习分类
-
按照迁移情景
— 归纳式迁移(inductive transfer learning): 源域和目标域的学习任务不同
— 直推式迁移(transductive transfer learning): 源域和目标域不同
— 无监督迁移(unsupervised transfer learning): 源域和目标域都不同,都没有标签
-
按照迁移的方法
— 基于实例的迁移(instance based TL):通过加权的方法将源域样例用到目标域
- TrAdaBoost
- Kernel Mean Matching
- Density ratio estimation
— 基于特征的迁移(feature based TL):将两个域的特征变换到相同的空间
- Transfer component analysis
- spectral Feature Alignment
- Geodesic flow kernel
- Transfer kernel learning
— 基于模型的迁移(parameter based TL): 利用源域和目标域的共享模型
- TransEMDT
- TRCNN
- TaskTrAdaBoost
— 基于关系的迁移(relation based TL):利用源域中逻辑网络关系
- Predicate mapping and revising
- Second-order Markov Logic
-
按照特征空间
— 同构迁移学习(Homegeneous TL):特征维度相同
— 异构迁移学习(Heterogeneous TL):特征维度不同
研究领域
-
Domain Adaptation(域适配问题)
有标签的源域和无标签的目标域共享特征和类别,但是特征分布不同,如何利用源域标定目标域
— 基于特征迁移的方式
- Transfer component analysis
- Geodesic flow kernel
- Transfer kernel learning
- TransEMDT
— 基于实例的迁移方法
- kernel mean matching
- Covariate shift Adaptation
— 基于模型的迁移方法
- Adaptive SVM
- Multiple convex combination
- Domain Adaptation Machine
-
Multi-source TL
多个源域和目标域,如何筛选
- TrAdaBoost
- MsTL-MvAdaboost
- Transitive transfer learning
- Distant domain TL
-
Deep TL
利用深度神经网络的结构进行迁移学习
- Joint CNN
- SHL-MDNN
- Deep Adaptation Network
- Joint Adaptation Networks
- Deep Hashing Network
- Label Efficient Learning of Transferable Representations across Domains and Tasks
-
Heterogeneous TL
度量准则
-
距离
— 欧式距离
— Minkowski distance
— 马氏距离
-
相似度
— 余弦相似度
— 互信息
— 皮尔逊相关系数
— Jaccard相关系数
-
KL散度与JS距离
-
最大均值差异MMD
-
Principal Angle
-
A-distance
-
Hilbert-Schmidt Independence Criterion
-
Wasserstein Distance
Reference
[1]. Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on knowledge and data engineering,2010, 22(10): 1345-1359.
[2]. Dai W, Yang Q, Xue G R, et al. Boosting for transfer learning[C]//Proceedings of the 24th international
conference on Machine learning. ACM, 2007: 193-200.
-