- Spatiotemporal Multiplier Networks for Video Action Recognition

Inclusion of the multiplicative interaction increases the order of the network fusion from first to second order。
这里的相乘融合，对比相加，显示出了更strong的信息改变。在之前的例子中，motion信息直接缩放了appearance信息（Xal⨀f(Xml)）,在反向传播的时候，streams因为前向相加作用而均匀分布，如果是相乘的话，则是缩放的关系。后一种交互方式允许在学习过程中，信息流更有效地互动过程，相应的时空特征最终被捕获。
最后，相对于不对称的添加motion信息到appearance信息，我们采用了双向连接。相乘or相加都可以。实验结果表明，这样的连接方式性能比较差，作者人为是因为spatial stream在训练中支配了motion steam。

3.3. Temporal filtering with feature identity

10frames is not enough
采用了一维时间卷积结合特征空间变换来初始化恒等映射。

一维卷积能够非常有效的学习到时间依赖，比LSTM的开销也少得多。特征变换的初始化作为恒等映射，当应用于很深的网络是，网络中任一有意义的改变都会扭曲模型，因此移除了大多数表现力。

形式上，添加时间卷积层用于传递Cl个特征通道:

Xl+1=Xl∗Wl^+bl

bl初始化为0，Wl是时间核，是特征通道之间的恒等映射堆积起来的：

Wl^=1⨂f

⨂代表张量外积，f是长度为T的一维时间核。
因为我们的内核保留了特性标识，所以我们可以将它们放在网络中的任何一层，而不影响它的表示能力(在初始化)。然而在训练的时候，新添加的temporal conv层影响整个模型。
这里我们区分了两个主要变体，直接在shortcut path中直接加入这一层，这样会直接影响网络中的其它层。或者是在残差单元中加入这一层，这样局部的影响周围的block。这两个变体如图所示。

 

然后全局池化。

4. Architecture details 

采用了50-ResNet和152-ResNet.在imagenet上经过了预训练。
blocks的参数：

 

4.1. Training procedure

先分别训练两个stream，
lr：10−2and lower it 2 times after validation error saturates（饱和）。
光流：L=10 frames
dropout=0.8
random crop：256, 224, 192, 168
resize：224x224
batch size：128