< Distilling the Knowledge in a Neural Network >

作为model compression系列中比较具有代表性的paper，选取这一篇做为开头。其实在这篇文章之前也有两篇是做出一定贡献的，不过不单独列出来写了，会在后文提到。

首先讲一下model compression的motivation：

其实应该是很直接的业界需求 － 一个很大的DNN往往训练出来的效果会比较好，并且多个DNN一起ensemble的话效果会更加的好，但是当用在实际的应用中的话，过于庞大的DNN ensemble在一起会增大计算量，从而影响应用。于是一个问题就被提出了：有没有一个方法，能使降低网络的规模，但是保持（一定程度上）精确度呢？

解决semantic segmentation的一种方向，可以end-to-end 训练的模型。15年的CVPR，达到state-of-the-art。之后基于这种思路又有人有了更加优化的，下一篇论文笔记讲。

这片论文中阐释的方法，大体思路是：

这里以AlexNet为例，我们知道AlexNet的结构是先五个conv layer，然后三个fc layer。最后一个输出为1*1000的vector，vector中最大的值即为所预测的结果。然而现在我们需要的不是一个单一的结果，我们需要对图像中每一个pixel都要一个对应的label，即，我们需要一个dense output。

1. Train

训练一个网络，我们需要创建一个solver，以caffenet为例：

solver = caffe.Solver(‘./models/bvlc_reference_caffenet/solver.prototxt’);

来看看这样一个solver.prototxt里面的定义：

1. Forward

forward propagation（fp）:

通过caffe.Net(model_def, model_weights, mode)可创建一个NN，model_def 为网络结构定义（一般是deploy.prototxt文件) model_weights 为网络权重(.caffemodel文件)

于是，这样一个net有的重要数据：

1. blobs

Feature selection is important in pratical machine learning cases, aiming to obtain the features that are more capable to classify. One principle of feature selection is based on mutual information. Here we will introduce the basic concept of this.