MMD & Adversarial Domain Adaptation

What is MMD?

MMD: Maximum Mean Discrepancy

distance between two distributions

如何计算绿色和红色之间的distance?

全部计数是不可能的,只有通过sample才可以实现.

关于Domain Adaptation

https://www.youtube.com/watch?v=Mnk_oUrgppM

domain adaptation:

1. target domain上只有少量的标注的数据
2. 在target domain上有很多数据,但是没有label

要让target经过feature extractor之后产生的Image feature和由source image 传入之后产生的feature分不出差异.[蓝点和红点分不出差异]

如何分不出差异?

让feature extractor来骗过domain classifier

妙啊!!!

如果仅仅为了骗过domain classifier,那么对于feature extractor来说可以输出zero,这样classifier就无法分辨到底是source还是target了.

但是这种方法是不行的, 因为还要保证label predictor 生成的标签是正确的!!!

feature extractor: ** 目的是让输出的image feature 经过label predictor 预测越准确越好,并且让domain的分类越错误越好[即越难分辨]**

Label predictor: 目的是能够更精准地分辨

Domain Classifier: 目的是让domain的分类越正确越好

但是这并不是最好的做法:

因为现在的目标是让source和target越接近越好,但是无论是用Ld,还是-Ld,其目的都是为了将source和target分的越来越清.