DANN&DDC&DAN

在前一篇文章中简述了DANN，那今天就继续往下面看吧~~

DDC

DDC采用的网络结构

如图：

网络包括两个流向：第一条流向的输入为源数据，是带标签的；另一条流向的输入是目标数据，包含少量的带数据标签或不包含带数据标签，两个流向的卷积神经网络共享权值。和以往不同的是，作者在两个流向的网络的特征层之间增加了一个适应层，并通过适应层的输出计算出一个domain loss，文中通过利用源域以及目标域特征之间的MMD(Maximum Mean Discrepancy)距离来作为domain loss，通过最小化MMD距离来减小源域与目标域之间的差异。

（大白话：在原有的AlexNet网络的基础上（没错，是一个确定的网络，论文中有说到），对网络的fc7层（分类器前一层，是通过计算MMD，取最小得到的）后加一层适配层。适配层的作用是，单独考察网络对源域和目标域的判别能力。如果这个判别能力很差，那么我们就认为，网络学到的特征不足以将两个领域数据区分开，因而有助于学习到对领域不敏感的特征表示）

使用MMD决定使用哪一层来激活最小化域分布距离

$MMD(X_S, X_T) = ||\frac{1}{X_S} \sum_{x_s \in X_S} \phi(x_s) - \frac{1}{X_T} \sum_{x_t \in X_T} \phi(x_t)||$

最终，网络的损失函数如下：

$L=L_C(X_L, y) + \lambda MMD^2 (X_S, X_T)$

其中 $L_C(X_L, y)$ 是分类损失， $MMD(X_S, X_T)$ 衡量了源域与目标域之间的距离

适应层(Adaption layer)位置的选取及大小的设定

网络的结构已经确定了，但是这个适应层的位置以及尺寸该如何确定呢？文中通过利用MMD距离来实现对两者的选择。首先在适应层位置的选取上，通过逐层的计算源数据与目标数据之间的MMD距离，来选择最小的MMD距离的层的位置为适应层的位置。确定适应层的位置后，通过尝试不同的尺寸的适应层，选择能使MMD距离最小的尺寸来作为适应层的尺寸。

DAN

参考：

https://blog.csdn.net/qq_24305433/article/details/80239412

https://zhuanlan.zhihu.com/p/27657910