浅谈迁移学习

迁移学习（Transfer Learning）是一种机器学习方法，是把一个领域（即源领域）的知识，迁移到另外一个领域（即目标领域），使得目标领域能够取得更好的学习效果

一、背景

随着越来越多的机器学习应用场景的出现，而现有表现比较好的监督学习需要大量的标注数据，标注数据是一项枯燥无味且花费巨大的任务，所以迁移学习受到越来越多的关注。

传统机器学习(主要指监督学习)

基于同分布假设
需要大量标注数据

然而实际使用过程中不同数据集可能存在一些问题，比如

数据分布差异
标注数据过期：训练数据过期，也就是好不容易标定的数据要被丢弃，有些应用中数据是分布随着时间推移会有变化

如何充分利用之前标注好的数据（废物利用），同时又保证在新的任务上的模型精度？
基于这样的问题，所以就有了对于迁移学习的研究

在这里插入图片描述

二、定义及分类

Transfer Learning Definition:
Ability of a system to recognize and apply knowledge and skills learned in previous domains/tasks to novel domains/tasks.

2.1、目标

将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。

2.2、主要思想

从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果。

在这里插入图片描述

人在实际生活中有很多迁移学习，比如学会骑自行车，就比较容易学摩托车，学会了C语言，在学一些其它编程语言会简单很多。那么机器是否能够像人类一样举一反三呢？

在这里插入图片描述

上图是一个商品评论情感分析的例子，图中包含两个不同的产品领域：books 图书领域和 furniture 家具领域；在图书领域，通常用“broad”、“quality fiction”等词汇来表达正面情感，而在家具领域中却由“sharp”、“light weight”等词汇来表达正面情感。可见此任务中，不同领域的不同情感词多数不发生重叠、存在领域独享词、且词汇在不同领域出现的频率显著不同，因此会导致领域间的概率分布失配问题。

2.3、迁移学习的形式定义及一种分类方式

在这里插入图片描述

迁移学习里有两个非常重要的概念

域（Domain）
任务（Task）

域可以理解为某个时刻的某个特定领域，比如书本评论和电视剧评论可以看作是两个不同的domain

任务就是要做的事情，比如情感分析和实体识别就是两个不同的task

三、关键点

在这里插入图片描述

1.研究可以用哪些知识在不同的领域或者任务中进行迁移学习，即不同领域之间有哪些共有知识可以迁移。

2.研究在找到了迁移对象之后，针对具体问题所采用哪种迁移学习的特定算法，即如何设计出合适的算法来提取和迁移共有知识。

3.研究什么情况下适合迁移，迁移技巧是否适合具体应用，其中涉及到负迁移的问题。

当领域间的概率分布差异很大时，上述假设通常难以成立，这会导致严重的负迁移问题。
负迁移是旧知识对新知识学习的阻碍作用，比如学习了三轮车之后对骑自行车的影响，和学习汉语拼音对学英文字母的影响
研究如何利用正迁移，避免负迁移

四、基于实例的迁移

基于实例的迁移学习研究的是，如何从源领域中挑选出，对目标领域的训练有用的实例，比如对源领域的有标记数据实例进行有效的权重分配，让源域实例分布接近目标域的实例分布，从而在目标领域中建立一个分类精度较高的、可靠地学习模型。
因为，迁移学习中源领域与目标领域的数据分布是不一致，所以源领域中所有有标记的数据实例不一定都对目标领域有用。戴文渊等人提出的TrAdaBoost算法就是典型的基于实例的迁移。

在这里插入图片描述