文章信息

作者：Lennert Wouters, Victor Arribas, Benedikt Gierlichs and Bart Preneel
单位：imec-COSIC, KU Leuven Kasteelpark Arenberg 10, B-3001 Leuven-Heverlee, Belgium
出处：IACR Transactions on Cryptographic Hardware and Embedded Systems
标题：Revisiting a Methodology for Efficient CNN Architectures in Profiling Attacks

文章内容

研究背景

本文主要针对于Zaid在2020年发表论文中的部分论点进行实验取证，构造了不同的网络结构，不同的超参数。

前置知识

数据集

ASCAD
DPAv4
AES_HD
AES_RD

数据预处理

针对于时间序列分类任务，通常在训练模型之前需要对数据进行预处理，在针对设备进行侧信道攻击时，对于同一种加密操作，同种设备会因电压、温度、测量设备等外界因素而产生细微不同的结果，将采集到的数据通过缩放预处理可以减轻这些噪声带来的影响，在本文中作者最后采用横向预处理技术对数据进行增强。

可视化技术

在模型训练时是无法直接观测到神经网络的具体工作细节的，为了找到对模型结果影响较大的特征点，引入可视化技术来计算输入特征的重要程度。

对于权重可视化方法，主要是针对于展平层FL之后的第一个全连接层：

$W^{vis}_m = \frac{1}{n^{[flatten-1]}_f} \sum_{j=i \times n_{f}^{[flatten-1]}}^{(i+1)\times n_{f}^{[flatten-1]}} |W_{m}^{[flatten+1]}[j]| //$

这里 $W^{vis}_{m}[i]$ 是点 $i$ 处相对于全连接层的第m个神经元的权重 $W$ ，其中 $i \in [0, len([flatten - 1])]$ , 这里[flatten -1 ]代表flatten层前的卷积层， $n_{f}^{[flatten - 1]}$ 也就是卷积层的过滤器数量， $W_{m}^{flaten+1}$ 就是第一个全连接层的权重，注意：这里是Zaid论文中展示的计算展平层权重的公式，由于展平层并不涉及训练的权重，本文作者改为对[flatten + 1]也就是全连接层作可视化，公式如下：

$W^{vis}[i] = \frac{1}{n_{u}^{[flatten + 1]}} \sum_{m=0}^{n_u^{flatten+1}}W_{m}^{vis}[i]$

这里 $n_{u}^{[flatten +1]}$ 是展平层后的全连接层神经元数量

基于扰动的前向传播

基于反向传播

Layer-wise Relevance Propagation (LRP)
Gradient * Input
Integrated Gradients 梯度积分
DeepLIFT

热图 Heatmaps

感受野

模型结构

相较于Zaid提出的在输入部分新增卷积核大小为一的卷积层（瓶颈层），作者认为如果采用恰当的数据预处理技术可以省略该层以减少模型的训练参数量，因此作者删除了第一个卷积层和其后边的批量归一化层，但保留池化层，对输入的数据进行降维处理，删除前后训练参数量对比如表1所示。

作者结合不同的数据预处理（标准化、缩放）后，用于训练ASCAD能量迹数据集，epoch=50，batchsize=50，lr=0.005，Zaid提出的模型（以下称Zmodel）与简化后的模型（以下称Smodel）猜测熵收敛曲线如图1、图2所示。

图1 Zaid与本文简化模型在不同数据预处理条件下针对对齐数据集的猜测熵收敛曲线对比

图2 不对齐数据集上横向预处理后猜测熵收敛曲线对比

作者为了研究批量归一化层对模型的影响，同时删除Zmodel中的批量归一化层，通过新增横向标准化的预处理作对比，在ASCAD N100数据集上猜测熵收敛曲线如图3所示。

图3 删掉批量归一化后两模型收敛曲线对比

通过以上的实验数据可以得出，在经过横向标准化之后的Smodel与Zmodel在数据集上，在超参数保持一致的前提下，二者收敛曲线类似，模型效果相当

权重可视化方案

在Zaid等人的研究中，通过第一个全连接层来反映输入数据的权重，本文作者采用梯度*输入来定位兴趣点，在DPAv4数据集上结果如图4所示。可以看到随着过滤器大小的增加，Zaid等人提出的方案会展示出更模糊的兴趣点（权重值大的点变多），而采用梯度*输入方法，则更能精确地反映POI的位置（这里还没有去证实，只是论文里这样说的，但看起来兴趣点似乎确实被更精确地标记了）。如图4、8所示，