1、前言应用
在上一篇文章中讲了一下SVM在线性可分的情况下的的基本应用，是一个分类器将两种点分类的程序。这篇文章主要讲一下SVM在线性不可分的情况下的应用建模。在机器学习中SVM中一直都是比较优秀的，在人脸识别和手写文字识别上面也算是少有对手。
现在我们就拿人脸识别在做一个应用测试，使用的数据集是sklearn中自带的图片数据，具体的下载使用下面讲。
2、线性不可分的SVM应用测试
训练集：sklearn自带的人脸图片数据集。
先说一下，这个图片的数据集中得到特征值是比较多的，我们需要进行降维，用到了pca的降维方法。下面我们一步一步讲
首先介绍一下我们需要用到的几个库
|
1 2 3 4 5 6 7 8 9 10 |
#coding:utf8 from time import time import logging from sklearn.cross_validation import train_test_split from sklearn.datasets import fetch_lfw_people from sklearn.grid_search import GridSearchCV from sklearn.metrics import classification_report from sklearn.metrics import confusion_matrix from sklearn.decomposition import RandomizedPCA from sklearn.svm import SVC |
继续看代码：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
#打印日志信息 logging.basicConfig(level=logging.INFO, format='%(asctime)s%(message)s') ###########################数据预处理############################# #装载人脸的数据集 lfw_people = fetch_lfw_people(min_faces_per_person=70, resize=0.4) print lfw_people n_samples, h, w = lfw_people.images.shape #实例数(图片数)、h、w print n_samples,h,w X = lfw_people.data #所有的训练数据,1288张图片，每张图片1850个特征值 print "训练数据的X.shape:", X.shape n_features = X.shape[1] #特征向量的维度1850 Y = lfw_people.target #对应的人脸标记 target_names = lfw_people.target_names print "需要识别的人名字：",target_names n_classes = target_names.shape[0] #几个人需要识别 #分割训练集和测试集 X_train,X_test,y_train,y_test = train_test_split(X, Y, test_size=0.25) |
注意一下fetch_lfw_people这一行，我们是加载图片数据的，在第一次运行的时候电脑上是没有这些图片数据的，程序会自带去网上下载，下载所需的时间比较长，大小在200+M。下载后的图片默认保存位置在C:\Users\kTWO\scikit_learn_data\lfw_home\lfw_funneled，其中kTWO是我电脑的用户名，你懂得。
上面的代码就是对数据集进行的预处理，当然这个数据集是比较完整的，我们主要干了个分割的事情，将0.75的数据集分割成了训练集，0.25的测试集。另外我们还发现，特征向量的维度高达1850，这个数值太大了，有很多都是无用的特征值，所以我们下面就要进行降维处理。
降维主要分为两个步骤：
看代码：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 |
#############################降维度##################################### n_components= 150 #降维的参数，组成元素的数量，即保留下来的特征个数 t0 = time() #随机将高维的特征向量降低为低维的,先建立模型 pca = RandomizedPCA(n_components=n_components,whiten=True).fit(X_train) print ("time:%0.3fs" % (time()-t0)) print pca #提取人脸的特征值 #eigenface = pca.components_.reshape((n_components, h, w)) #print pca.components_ #使用进行数据模型降维,降成了150 t0 = time() X_train_pca = pca.transform(X_train) X_test_pca = pca.transform(X_test) print X_train_pca.shape print X_test_pca.shape print ("time:%0.3fs" % (time()-t0)) 代码中的n_comonents参数就是我们要降成的维度，这个降维使用的是随机降维。PCA模型建立好之后就可以执行pac.transform进行数据降维了。 数据已经准备好了，下一步就可以进行建立SVM模型的建立了。建模的时候要注意一点，有两个参数需要填写，C参数和gamma参数，这两个参数是不确定的，我们会给定几个数值，使用GridSearchCV进行自由组合，最终确定合适的组合。 看建模代码： print "开始建模" t0 = time() #C 是对错误部分的惩罚；gamma 合成点 param_grid = {'C': [1e3, 5e3, 1e4, 5e4, 1e5], 'gamma': [0.0001, 0.0005, 0.001, 0.005,0.01, 0.1],} #rbf处理图像较好，C和gamma组合，琼剧出最好的一个组合 clf = GridSearchCV(SVC(kernel='rbf', class_weight='auto'), param_grid) print clf #建模 clf = clf.fit(X_train_pca, y_train) print ("time:%0.3fs" % (time()-t0)) print clf.best_estimator_ #最好的模型的信息 |
在模型建立好之后，打印clf.best_estimator_可以看到这个模型的SVM的参数信息。
ok，下一步我们就使用测试集进行人脸的识别预测。
代码：
|
1 2 3 4 5 6 7 8 9 10 |
#############################数据预测################################# t0 = time() y_pred = clf.predict(X_test_pca) print ("time:%0.3fs" % (time()-t0)) #打印预测成绩报告 print classification_report(y_test,y_pred,target_names=target_names) #打印预测成绩混淆矩阵 print confusion_matrix(y_test,y_pred,labels=range(n_classes)) print y_test print y_pred |
看一下预测的结果：
classification_report结果：
解释一下，precision是预测的准确率，recall是召回率f1-score是一个兼顾考虑了Precision和Recall的评估指标。他们的数值越接近1说明预测的越准。
confusion_matrix混淆矩阵验证结果：
在这个矩阵中，如果全部都是100%预测，那么数据应该都排列在对角线上，也就是说，每一个行列对应之后就会在对角线上+1，可已看出，第一行上有15个预测正确，另外有9个预测失败，这个正确率比较低，不过剩下的几个就比较高了。
2019年10月13日 14:01 沙发
你好，我想问下，lfw_people.image[i] 里面存着87*65像素的灰度图，而lfw_people.data[i] 里面存着对应的特征数据，那么这个特征是是如何从image得到的呢？
2019年10月14日 16:37 1层
@请输入您的QQ号 我知道了，
print(np.all(lfw_people.images[0].reshape(-1) == lfw_people.data[0].reshape(-1)))
这个是True，说明data里面就是image里面每个像素这么一行行排下来，这其实把上下两个像素在一张图上是连续的信息都丢弃了啊