训练集样本不平衡问题对CNN的影响

来源:CSDN 时间:2017-2-17 09:36 阅读数:677 作者:何永灿

摘要:卷积神经网络(CNN)可以说是目前处理图像最有力的工具了。

卷积神经网络(CNN)可以说是目前处理图像最有力的工具了。而在机器学习分类问题中,样本不平衡又是一个经常遇到的问题。最近在使用CNN进行图片分类时,发现CNN对训练集样本不平衡问题很敏感。在网上搜索了一下,发现这篇文章对这个问题已经做了比较细致的探索。于是就把它简单整理了一下,相关的记录如下。

实验数据与使用的网络

所谓样本不平衡,就是指在分类问题中,每一类对应的样本的个数不同,而且差别较大。这样的不平衡的样本往往使机器学习算法的表现变得比较差。那么在CNN中又有什么样的影响呢?作者选用了CIFAR-10作为数据源来生成不平衡的样本数据。

CIFAR-10是一个简单的图像分类数据集。共有10类(airplane,automobile,bird,cat,deer,dog, frog,horse,ship,truck),每一类含有5000张训练图片,1000张测试图片。

CIFAR-10样例如图:

训练时,选择的网络是这里的CIFAR-10训练网络和参数(来自Alex Krizhevsky)。这个网络含有3个卷积层,还有10个输出结点。

之所以不选用效果更好的CNN网络,是因为我们的目的是在实验时训练很多次进行比较,而不是获得多么好的性能。而这个CNN网络因为比较浅,训练速度比较快,比较符合我们的要求。

类别不平衡数据的生成

直接从原始CIFAR-10采样,通过控制每一类采样的个数,就可以产生类别不平衡的训练数据。如下表所示:

这里的每一行就表示“一份”训练数据。而每个数字就表示这个类别占这“一份”训练数据的百分比。

Dist. 1:类别平衡,每一类都占用10%的数据。

Dist. 2、Dist. 3:一部分类别的数据比另一部分多。

Dist. 4、Dist 5:只有一类数据比较多。

Dist. 6、Dist 7:只有一类数据比较少。

Dist. 8: 数据个数呈线性分布。

Dist. 9:数据个数呈指数级分布。

Dist. 10、Dist. 11:交通工具对应的类别中的样本数都比动物的多

对每一份训练数据都进行训练,测试时用的测试集还是每类1000个的原始测试集,保持不变。

类别不平衡数据的训练结果

以上数据经过训练后,每一类对应的预测正确率如下:

第一列Total表示总的正确率,下面是每一类分别的正确率。

从实验结果中可以看出:

  • 类别完全平衡时,结果最好。
  • 类别“越不平衡”,效果越差。比如Dist. 3就比Dist. 2更不平衡,效果就更差。同样的对比还有Dist. 4和Dist. 5,Dist. 8和Dist. 9。其中Dist. 5和Dist. 9更是完全训练失败了。

过采样训练的结果

作者还实验了“过采样”(oversampling)这种平衡数据集的方法。这里的过采样方法是:对每一份数据集中比较少的类,直接复制其中的图片增大样本数量直至所有类别平衡。

再次训练,进行测试,结果为:

可以发现过采样的效果非常好,基本与平衡时候的表现一样了。

过采样前后效果对比,可以发现过采样效果非常好:

总结

CNN确实对训练样本中类别不平衡的问题很敏感。平衡的类别往往能获得最佳的表现,而不平衡的类别往往使模型的效果下降。如果训练样本不平衡,可以使用过采样平衡样本之后再训练。

这确实是一个“经验主义”的结论,但多少给我们平常训练CNN模型带来一些启发和帮助。

PHPChina

发布于:2017-2-17 09:36

分享到:
本文章共有0条评论
返回顶部
 
商务洽谈咨询
洽谈咨询
PHPChina在线客服
PHPChina在线客服