人工智能领域简报（第12期）——深度学习突破优化人工智能算法

深度学习突破优化人工智能算法

陈海燕

近年人工智能取得极大突破的重要原因之一便是以深度学习算为代表的核心算法改良应用。

在深度学习出现之前，机器学习领域的主流是各种浅层学习算法（如神经网络的反向传播算法(BP算法)、支撑向量机(SVM)、Boosting、最大熵方法(LR，Logistic Regression)等），这些算法或带有一层隐层节点（如SVM、Boosting）、或没有隐层节点（如LR）。这些浅层算法的局限性在于：在有限样本和计算单元情况下，其对复杂函数的表示能力有限；针对复杂分类问题，其泛化能力受到一定制约。

图1：深度学习算法与浅层学习算法的区别（资料来源：网络）

在浅层人工神经网络的基础上改进而来的深度学习算法（也叫深层神经网络）（Geoffrey Hinton and Ruslan Salakhutdinov，2006）采用（计算机科学中的）图模型直观表达“图模型的层数、每一层的节点数量”，通过构建多隐层机器学习模型学习更能刻画海量数据本质的“特征”（从而有利于可视化或分类）、通过“逐层初始化”克服训练上的难度，最终实现更准确的分类或预测。

图2：真实神经元和人工神经元（左图）、传统神经网络和深度神经网络（右图）（资料来源：网络）

图3：深度学习过程（资料来源：网络）

深度学习模型增加了模型结构的深度（通常有5-10多层的隐层节点）、通过“逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间（即，优化每一层的结果）”突出了特征学习的重要性，加快了学习速度、并使分类或预测更加容易。该算法2006年后被移植到GPU后，速度大幅提升，进而颠覆了语音识别、图像分类、文本理解等众多领域的算法设计思路（渐渐形成了一种从训练数据出发，经过一个端到端的模型，然后直接输出得到最终结果的一种模式），大大提升了计算机视觉、语音识别的准确率：（1）在计算机视觉领域，在ImageNet比赛中（对100万张分辨率300×300左右，有1000个类别的图片进行识别），通过深度学习，图像识别准确率得到了极大的提高；（2）通过采用深度神经网络技术，微软语音识别的错误率降低至18.5%、准确率提升了33%，这让流利的语音程序变得更加现实。

图4：深度学习提高ImageNet图像识别准确率（左图）、提高微软语音识别准确率（右图）（资料来源：网络）

目前，深度学习成为所有人工智能必不可少的组成部分，包括IBM的Watson、Google 的搜索引擎、Facebook的算法。

图5：Google 大量使用深度学习算法（资料来源：网络）

不过，由于目前认知层算法尚未完全突破，主要通过（工程学方法、模拟法）提升算法性能实现人工智能突破的深度学习算法仍旧存在诸多问题。比如，深度学习是一个黑盒模型，通过训练来实现，对于输入和输出之间的过程和逻辑仍旧无法掌握，因此当样本较少（导致训练素材不足）的时候就难以有效解决问题。如何实现训练与逻辑的结合成为未来发展的新课题，随着算法的不断进步，必将推动人工智能的进一步发展。