【论文笔记】Deep Domain Confusion: Maximizing for Domain Invariance


论文题目:Deep Domain Confusion: Maximizing for Domain Invariance
论文作者:Eric Tzeng, Judy Hoffman, Ning Zhang, Kate Saenko, Trevor Darrell
会议期刊:arxiv 2014


简介

本文提出了一种新的卷积神经网络结构, 引入了自适应层(adaptation layer)和域混淆(domain confusion)损失函数, 从而可以学习到域不变(domain invariant)的特征表示.

同时, 本文指出域混淆度量可以用来进行模型的选择, 即确定自适应层的维度及其在CNN中的位置.


基于CNN的域不变表示

一个直观的想法是: 学习可以最小化源域和目标域之间分布差异的特征表示, 使得可以在带标签的源域数据上训练分类器, 并直接应用在目标域的数据中.

为此, 作者考虑使用最大均值差异(Maximum Mean Discrepancy, MMD)作为分布距离的度量.

目标函数

最终的目标函数为:

其中, $\mathcal{L}_{C}(X_L, y)$ 为带标签数据的分类损失, $MMD$ 为源域与目标域之间的分布差异, $\lambda$ 为权衡参数.

网络结构

网络结构

本文所使用的网络基于AlexNet修改而来, 使用两个共享权重的CNN, 并在全连接层fc7之后添加了自适应层. 经过fine-tuning后, 作者认为自适应层可以同时学习到具有判别性具有域不变性的特征表示.


实验结果

本文采用Office数据集, 包含三个域: Amazon,DSLRWebcam.

迁移任务: Amazon->Webcam, DSLR->Webcam, Webcam->DSLR

自适应层的位置

作者测试了将自适应层放置在不同的全连接层后面, 根据MMD准则, 发现放置在fc7后效果最好.

自适应层的维度

同时, 作者也测试了不同的自适应层维度, 根据MMD准则, 选择了256维.

迁移效果

有监督条件下的多分类精度
无监督条件下的多分类精度

正则化效果

有无正则化的测试精度