・ ７８・ 智能系统学报 第３卷 据映射到高维空间，从而将原低维空间的线性不可 分问题转化为高维空间上的线性可分问题，然后在 这个新空间中求取最优分类面． 支持向量机分类的目标就是根据结构风险最小 化原则，构造一个目标函数，寻找一个满足分类要求 的最优超平面，即寻找最优线性判别函数．设｛墨）Ｅ ＲＤ为两类的样本数据， Ｅ｛＋１，一１）为相应的类 别标号，ｉ一１，２，…， ．如果Ｘ 属于第１类，则Ｙ 一 １；如果ｚ 属于第２类，则Ｙ 一一１．线性判别函数的 一般形式为ｇ（ ）一ｗ・Ｘ＋ｂ，相应的分类面为Ｘ・ ＋ｂ＝０．为了使待分样本尽可能好地分开，要求分 类间隔（可表示为２／Ｉ１ ｗ ｌＩ）最大，这相当于使ｌ １ｗ ｌ Ｉ最小．寻找最优分类面可转化为求解数学形式的优 化问题，通常可分为３种情况［ ． １）线性可分问题． 针对线性可分情况，问题的目标函数的数学形 式为 （１） ２）线性不可分问题． 在处理线性不可分问题时，引人松弛变量ｅ。， 一１，２，…， 和惩罚因子Ｃ，对错分样本进行条件控 制．这样，式（１）可重新描述为 ｍ，ｉｎＪ（ｗ，ｓ）一 １ ｌ１ｗ ｌＩ ＋Ｃ∑ｅ ， ’ ’￡ Ｉ一１ Ｓ．ｔ． Ｙ Ｅ（ｗ・Ｘ ）＋ 一１＋ｅ ≥０， ｅ ≥０，ｉ一１，２，…， ，Ｃ＞０． （２） ３）非线性可分问题． 对于非线性情况，引人核函数 （ｚ）将原数据空 间的非线性问题转化为高维特征空间的线性问题， 即把Ｘ 替换为币（薯），其相应的内积Ｘｉ・Ｘｉ替换为 Ｋ（墨・Ｘ ）一 （墨） （墨），式（２）变为 ｍｉｎＪ（ｗ，ｓ）一 １ ｌＩ ＋Ｃ∑ｅ ， ，’ ｉ一１ Ｓ．ｔ． Ｙ Ｅ（ｗ・ （墨）＋ 一１＋ｅ ≥０， ｅ ≥０，ｉ一１，２，…， ，Ｃ＞０． （３） 对于上述凸优化问题，可引入拉格朗日乘子∞ （ 一１，２，…， ），根据目标函数及约束条件建立Ｌａ— ｇｒａｎｇｅ函数并将其转化为下面的对偶问题，即满足 约束条件： ∑ｙｉａｉ一０，０≤ｍ≤Ｃ，ｉ一１，２，…， ． 对ａ 求解下列函数的最大值： Ｑ（ ）一∑∞一 ∑ Ｙ Ｋ（ｘ ・ｘｊ）．（４） 一１ ｉ，ｊ＝ｌ 式中： 一［ａ ａ …ａ ］ ．设此矩阵方程的解为ａ ．这 是一个不等式约束下二次函数极值问题，存在唯一 解．且根据ＫＫＴ条件，这个优化问题的解必须满 足： ∞（ｙｌＥ（ｗ・ （墨））＋ 一１＋ｅ ）一０， ｉ一１，２，…， ． 因此，对多数样本的ａ 将为０，对分类问题不 起什么作用，只有取值不为０的ａ 对应的样本才 决定最终分类结果，这样的样本称之为支持向量，它 们通常只是全体样本中的很少一部分． 求解上述问题后得到最终的判别函数为 （ ）一ｓｉｇｎ｛ 口 ｙｉＫ（ｘｉ， ）＋ｂ ｝． （５） ｉ一１ 根据 （ ）的结果来确定ｘ属于哪一类． ２ 现有的多类支持向量机算法 目前对于多类分类问题，支持向量机的解决途 径有２种Ｌ２ ］：一种是通过构造多个两类ＳＶＭ分类 器并将它们组合起来实现多类分类，将多类问题转 化为两类分类问题；第２种是一次性解决多类分类 问题，即把所有子分类器的参数直接放在一个最优 化方程里同时优化，这种思想尽管看起来简洁，但在 最优化问题求解过程中的变量远远多于第１种，训 练速度及分类精度也不占优势，因此目前多采用第 １种方法，文中介绍的这几种多类支持向量机都属 于第１种方法． ２．１ １一ａ－ｒ ＳＶＭ算法 １一ａ－ｒ（ｏｎｅ－ａｇａｉｎｓｔ－ｒｅｓｔ）ＳＶＭ算法是解决多类 分类问题的最早的方法，对于ｋ（ｋ≥２）类ＳＶＭ分类 问题，把其中一类作为第１类，其余类视为另一类， 自然地将ｋ分类问题转化为ｋ个两类分类问题，得 到志个两类分类器，分类时未知样本最后的输出是 两类分类器输出为最大的那一类． ２．２ １一ａ－１ ＳＶＭ算法 １一ａ－１（ｏｎｅ－ａｇａｉｎｓｔ—ｏｎｅ）ＳＶＭ算法是在每两类 之间训练一个分类器，因此对于一个ｋ类问题，训练 阶段共构造 个两类分类器，每个分类器是取任意 ２个类别的数据进行训练．在测试阶段可以采用不 同的方式测试样本属于哪一类，最常用的一种方法 是“最大投票法”，即每个两类分类器都对样本的类 别进行判断，采用投票机制为其相应的类别“投上一 票”，最后得票最多的类别即是该未知样本的所属 类．因此，文中在此算法的基础上，提出了一种改进 的多类支持向量机分类方法． ３ 二次分类的多类支持向量机 支持向量机应用于实际植被的模式识别时，常 维普资讯 http://www.cqvip.com 第１期 赵春晖，等：一种改进的多类支持向量机超光谱图像分类方法 ．７９． 会出现某两类或某几类植被的光谱特性极为相似的 情况，它们在分类时往往会产生严重混淆的现象，导 致整体分类效果不够理想．这种现象产生的原因是 由于植物种类的分类精度很大程度上取决于植物长 势和叶面叶绿素含量，当不同物种叶面叶绿素的含 量相近时，容易错分，这就取决于实际拍摄图片的时 间和地点等各种因素．针对此现象文中提出了一种 二次分类的多类支持向量机，它是在１一ａ－１ ＳＶＭ算 法的基础上改进的多类支持向量机分类方法． 采用１一ａ－１ ＳＶＭ进行分类时，训练阶段需要在 每两类之间训练一个分类器，对于一个ｋ类问题需 要构造Ｃ１个两类分类器．对于第ｉ类和第 类之间 的训练，需要解决下列两类分类问题： １ 一 ａｒｉｎ去（ｚ ） ＋Ｃ＞ ｅ—ｔ （ ） ， ， ， （ ） （ ）＋ ≥１～ｅ ，Ｉｆ —ｉ， （ ） （ ）＋ｂｏ≤～１＋ｅ ，Ｉｆ ｙ ： ， ｅ ≥０． （６） 在测试时采用最大投票法，判断符号函数： 厂（ ）一ｓｉｇｎ（（ｗｏ） （ ）＋ｂ ）． （７） 若未知样本Ｘ属于第ｉ类则第ｉ类的票数加一， 反之第 类加一，Ｘ属于最后票数最多的那一类． 两类分类的支持向量机在训练阶段需要寻找最 佳惩罚因子Ｃ．如果惩罚因子选择的不恰当，分类精 度将会受到不良影响．采用１一ａ－１ ＳＶＭ算法进行分 类时，若类别数ｋ较大时，需要构造大量的两类分类 器．在实际应用中不可能做到把每个两类分类问题 都做多次实验来寻找最佳惩罚因子，因此提出了二 次分类的方法，分析采用１一ａ－１ ＳＶＭ进行第１次分 类的结果，找出混淆最严重的组合，对它们进行二次 分类，寻找最佳惩罚因子重新分类，这样就可以减小 这些类别之间的混淆程度．二次分类算法在训练阶 段的模型如图１所示． ＩＩ练样本 最终判决 函数 图１二次分类的训练阶段模型 Ｆｉｇ．１ Ｔｒａｉｎｉｎｇ ｓｔａｇｅ ｍｏｄｅｌ ｏｆ ｓｅｃｏｎｄａｒｙ ｃｌａｓｓｉｆｉｃａｔｉｏｎ 进行二次分类时需要单独解决这个组合的两类 分类问题．对于ｋ类问题，假设有一对混淆严重的组 合为第ｉ类和第 类，其相应的对偶问题为 １ＴＩａＸ∑口 一告∑ Ｋ（墨・ｘｊ）， ＝１ ‘一ｉ，ｊ一１ ０≤Ｏｌｉ≤Ｃ，∑ｙｉＯｔｉ一０，ｉ一１，２，…，，ｚ．（８） 式中：Ｃ为惩罚因子，用来对错分样本进行条件控 制，根据经验和多次实验得到最佳惩罚因子Ｃ ，设 此时的拉格朗日乘子ａ 为不等式约束的最优解，由 此得到权向量系数为 Ｗ 一∑口 ～Ｘ （９） 一１ 把这个最佳惩罚因子Ｃ 和最优的权系数向量 Ｘ 反馈到ｌ－ａ－１ ＳＶＭ算法中重新分类． ４ 实验结果与分析 光谱遥感图像进行实验．该图像取自１９９２年６月拍 摄的美国印第安纳州西北部印第安遥感试验区的一 部分［４］，它包含了农作物和森林植被的混合区． 文中采用混淆矩阵和总体分类精度来分析分类 Ｍ— ：：： ㈣ … ｊ 第 类中去的样本总数，，ｚ为类别数．如果混淆矩阵 中对角线上的元素值愈大，则表示分类结果的可靠 性愈高，如果混淆矩阵中非对角线上的元素值愈大， 则表示错误分类的现象愈严重，文中实验结果的混 淆矩阵采用表格的形式进行描述．像素的总体分类 ∑ ＯＡ一上 ・ （１１） 式中：Ｎ为参与分类的总样本数， 为第ｉ类正确 维普资讯 http://www.cqvip.com ・８０・ 智能系统学报 第３卷 （ａ）真实地物灰度图 （ｂ）９波段分类灰度图 图２基于１一ａ－１ ＳＶＭ的分类灰度图 Ｆｉｇ．２ Ｇｒｅｙ ｉｍａｇｅ ｂｙ １－ａ－１ ＳＶＭ ｃｌａｓｓｉｆｉｃａｔｉｏｎ 表１ ９波段的混淆矩阵 １＇ａｂｋ ｌ Ｍｉｘｔｕｒｅ ｍａｔｒｉｘ ｏｆ ９－ｗａｖｅｂａｎｄ 总体分类精度：７４．３０ ９／６． 从混淆矩阵中可以看出玉米和大豆这两类混淆 最严重，因此采用文中提出的二次分类方法，训练出 玉米和大豆两类别之间的最佳惩罚因子，并重新对 地物图像进行分类． 经过多次实验，得到玉米和大豆的惩罚因子ｃ 和分类精度之问的关系如表２所示． 表２ ９波段的惩罚因子和分类精度关系 Ｔａｂｌｅ ２ Ｒｄａｔｉ０ｆＩ ｂｅｔｗｅｅｎ ｐｅｎａｌｔｙ ｆａｃｔｏｒ ａｎｄ ｅｌａ￣＇ｉｆｉｃａｔｉｏｎ ｐｒｅｃｉｓｉｏｎ ｆｏｒ ９－ｗａｖｅｂａｎｄ 从表５中选取精度最大时对应的Ｃ为２００． 二次分类的分类灰度图和混淆矩阵如图３、表３ 所示． 图３基于二次分类的９波段分类灰度图 Ｆｉｇ．３ ９－ｗａｖｅｂａｎｄ ｇｒｅｙｉｍａｇｅ ｂｙ ｓｅｃｏｎｄａｒｙ ｃｌａｓｓｉｉｆｃａｔｉｏｎ 表３ ９波段的混淆矩阵 Ｔａｂｌｅ ３ Ｍｉｘｔｕｒｅ ｍａｔｒｉｘ ｏｆ ９一ｗａｖｅｂａｎｄ 总体分类精度：７４．９ ９／５． ２）１８波段的地物分类． 基于１一ａ－１ ＳＶＭ的分类灰度图和混淆矩阵如 图４、表４所示． 图４基于１一ａ－１ ＳＶＭ的１８波段分类灰度图 Ｆｉｇ ４ １８－ｗａｖｅｂａｎｄ ｇｒｅｙ ｉｍａｇｅ ｂｙ １－ａ－１ ＳＶＭ ｃｌａｓｓｉｉｆａｃｔｉｏｎ 表４ １８波段的混淆矩阵 Ｔａｂｌｅ ４ Ｍｉｘｔｕｒｅ ｍａｔｒｉｘ ｏｆ １８－ｗａｖｅｂａｎｄ 总体分类精度：７４．４４ ． １８波段的玉米和大豆的惩罚因子Ｃ和分类精 维普资讯 http://www.cqvip.com 第１期 赵春晖，等：一种改进的多类支持向量机超光谱图像分类方法 ．８１． 度之间的关系如表５所示． 表５ １８波段的惩罚因子和分类精度关系 ＩｂＩｅ ５ Ｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｐｅｎａｌｔｙ ｆａｃｔｏｒ ａｎｄ ｄａｓｓｉｉｆｃａｔｉｏｎ ｐｒｅｃｉｓｉｏｎ ｆｏｒ １８一ｗａｖｅｂａｎｄ 从表５中选取１８波段的最佳Ｃ为９０． 二次分类的分类灰度图和混淆矩阵如图５、表６ 所示． 图５基于二次分类的１８波段分类灰度图 Ｆｉｇ．５ １８－ｗａｖｅｂａｎｄ ｇｒｅｙ ｉｍａｇｅ ｂｙ ｓｅｃｏｒ１ｄａＩｙ ｃｌａｓｓｉｉｆｃａｔｉｏｎ 表６ １８波段的混淆矩阵 Ｔａｈｌｅ ６ Ｍｉｘｔｕｒｅ ｍａｔｒｉｘ ｏｆ １８－ｗａｖｅｂａｎｄ 总体分类精度：７５．６７ ． ３）５Ｏ波段的地物分类． 基于１一ａ一１ ＳＶＭ的分类灰度图和混淆矩阵如 图６、表７所示． 图６基于１一ａ－１ ＳＶＭ的５０波段分类灰度图 Ｆｉｇ．６ ５０－ｗａｖｅｂａｎｄ ｇｒｅｙｉＨＩａｇｅ ｂｙ１－ａ－１ ＳＶＭ ｃｌａｓｓｉｉｆｃａｔｉｏｎ 表７ ５０波段的混淆矩阵 Ｔａｂｋ ７ Ｍｉｘｔｕｒｅ ｍａｔｒｉｘ ｏｆ ５０－ｗａｖｅｂａｎｄ 总体分类精度：７４・８９ ・ ５Ｏ波段的玉米和大豆的惩罚因子Ｃ和分类精 度之间的关系如表８所示． ． 表８ ５０波段的惩罚因子和分类精度关系 ＩｂＩｅ ８ Ｉ／ｅｌａｔｉｏｎ ｂＩ 旧ｍ Ｏｅｎａｌｔｙ ｆａｃｔｏｒ ａｎｄ ｄａｍｉｔ＇￣ａｔｉｏｎ ｐｒｅｃｉｓｉｏｎ ｆｏｒ ５０－ｗａｖｅｂａｎｄ 从表中选取５Ｏ波段的最佳Ｃ是５Ｏ． 二次分类的分类灰度图和混淆矩阵如图７、表９ 所示． 图７基于二次分类的５０波段分类灰度图 Ｆｉｇ ７ ５０－ｗａｖｅｂａｎｄ ｇｒｅｙ ｉｍａｇｅ ｂｙ ｓｅｃｏｎｄａｒｙ ｃｌａｓｓｉｉｆｃａｔｉｏｎ 表９ ５０波段的混淆矩阵 Ｔａｂｌｅ ９ Ｍｉｘｔｕｒｅ ｍａｔｒｉｘ ｏｆ ５０－ｗａｖｅｂａｎｄ 总体分类精度：７８．１２ ． 表３、６、９所示的是利用文中提出的改进的二次 分类方法的结果，将其与１－ａ一１ ＳＶＭ分类方法的混 维普资讯 http://www.cqvip.com ・８２・ 智能系统学报 第３卷 淆矩阵表１、４、７相比较会发现，之前混淆较严重的 玉米一大豆这两类在新方法的分类结果中混淆样本 有了很大的改观．从分类的总体精度上还可以看出， 选取的波段数与分类精度也有很大的关系，波段数 目越多，所包含的光谱特性就越丰富，得到的分类结 果就越好． 分类总体精度提高不上去的主要原因是原始图 像的精度不高，由于使用的ＡＶＩＲＩＳ图像是从高空 拍摄，其分辨率仅为２０ Ｉｎ×２０ Ｉｎ，像元混合的概率 很大，而且图片拍摄于６月，玉米和大豆正处于生长 的早期，它们所反应的光谱特性极其相似，在这些客 观原因的影响下，这两类的分类精度不可能大幅度 的提高，仍存在一定的分类误差． ５ 结束语 该文提出的二次分类方法保留了１一ａ－１ ＳＶＭ 分类的优点，改善了超光谱图像分类中某些植被由 于光谱特性相似而产生严重混淆的问题．利用二次 分类方法可以在短时间内取得混淆最严重的类别的 最佳惩罚因子，将其应用到１一ａ－１ ＳＶＭ的训练过程 中，得到最优的权系数向量和支持向量，改善了分类 精度．它弥补了１一ａ一１ ＳＶＭ算法不能确定最佳惩罚 因子的缺陷，提高了支持向量机应用到超光谱图像 中的分类效果． 在许多的实际应用中都需要解决多类别的分类 问题，如何有效地将支持向量机推广到多类分类问 题仍有广阔的研究空间． 参考文献： ［１］任建峰，郭 雷．多类支持向量机的自然图像分类Ｉ－ｊ］． 西北工业大学学报，２００５，２３（３）：２９５—２９８． ＲＥＮ Ｊｉａｎｆｅｎｇ，ＧＵＯ Ｌｅｉ．Ｉｍｐｒｏｖｉｎｇ ｓｃｅｎｅ ｉｎ￣ｇｅ ｃｌａｓｓｉｆｉｃａ— ｔｉｏｎ ｗｉｔｈ ｍｕｌｔｉ－ｃｌａｓｓ ＳＶＭｓ Ｉ－Ｊ３．Ｊｏｕｒｎａｌ ｏｆ Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ，２００５，２３（３）：２９５—２９８． ［２￣ＨＳＵ Ｃ Ｗ，ＬＩＮ Ｃ Ｊ．Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｍｅｔｈｏｄｓ ｆｏｒ ｍｕｌ— ｔｉｃｌａｓｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ［－Ｊ３．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａ】Ｎｅｔｗｏｒｋｓ，２００２，１３（２）：４１５—４２５． ［３１刘志刚，李德仁，秦前清，等．支持向量机在多类分类问题 中的推广Ｉ－Ｊ３．计算机工程与应用，２００４（７）：１０—１３． ＬＩＵ Ｚｈｉｇａｎｇ，ＬＩ Ｄｅｒｅｎ，ＱＩＮ Ｑｉａｎｑｉｎｇ，ｅｔ ａ１．Ａｎ ａｎａｌｙｔ— ｉｃａｌ ｏｖｅｒｖｉｅｗ ｏｆ ｍｅｔｈｏｄｓ ｆｏｒ ｍｕｌｔｉ－ｃａｔｅｇｏｒｙ ｓｕｐｐｏｒｔ ｖｅｃ— ｔｏｒ ｍａｃｈｉｎｅｓ Ｉ－Ｊ３．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａ— ｔｉｏｎｓ，２００４（７）：１０—１３． ［４１ ＬＡＮＤＧＲＥＢＥ Ｄ．Ｍｕｌｔｉｓｐｅｃｔｒａｌ ｄａｔａ ａｎａｌｙｓｉｓ：ａ ｓｉｇｎａｌ ｔｈｅｏｒｙ ｐｅｒｓｐｅｃｔｉｖｅ［Ｒ］．Ｗｅｓｔ Ｌａｆａｙｅｔｔｅ，ＵＳＡ：Ｕｎｉｖｅｒｓｉ— ｔｙ，１９９８． ［５３刘春红，赵春晖，张凌雁．一种新的高光谱遥感图像降维 方法Ｉ－Ｊ３．中国图像图形学报，２００５，１０（３）：２１８—２２２． Ｉ ＩＵ Ｃｈｕｎｈｏｎｇ，ＺＨＡＯ Ｃｈｕｎｈｕｉ，ＺＨＡＮＧ Ｌｉｎｇｙａｎ．Ａ ｎｅｗ ｍｅｔｈｏｄ ｏｆ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｉｍａｇｅ ｄｉ— ｍｅｎｓｉｏｎａｌ ｒｅｄｕｃｔｉｏｎ［Ｊ３．Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｅ ａｎｄ Ｇｒａｐｈｉｃ， ２００５，１０（３）：２１８—２２２． ［６３赵英时．遥感应用分析原理与方法［Ｍ］．北京：科学出版 社，２００３． 作者简介： 赵春晖，男，１９６５年生，教授，博士 目目目生导师．获省部级科技奖５项．主要研 究方向为智能信息处理技术、图像处 理．出版著作３部，发表论文２００余篇． 陈万海，男，１９６３年生，副教授，博 士研究生．主要研究方向为超光谱遥感 图像处理技术，发表论文１８篇． 万建，男，１９８０年生，博士研究 生．主要研究方向为信号与图像处理， 发表论文５篇．
因篇幅问题不能全部显示，请点此查看更多更全内容