从控制论到深度学习——神经网络的三次蜕变

你在这里

从控制论到深度学习——神经网络的三次蜕变

自2016年以来,人工智能(AI)、深度学习(DL)不断在人们眼前、耳边出现,并登上了计算机学科的热词榜。大众眼中看到的AI,已经不仅限于阿尔法狗打败李世石、还有计算机取代了银行的征信专员、还有向客户家里送快递的亚马逊无人机....
围棋突然变得无趣、有人突然丢了工作、小机器人开始闯入普通人的家中,而这一切只是一个开始。引发一切的都是AI领域一个分支:深度学习(Deep Learning),而该技术并不是什么全新的分支技术,它的历史悠久,属于“神经网络”家族。从20世纪40年代至今,神经网络已经经历了三次浪潮,和浪潮间的两次低谷。今天ZZKOOK就来科普一下神经网络。
一、控制论(cybernetics,20世纪40年代至60年代)
控制论是受神经科学启发,用简单线性模型模拟神经元。1943年,美国著名的神经生物学家沃伦·麦卡洛克(Warren Maculloach)和数学家沃尔特·皮茨(Walter Pitts)提出的麦卡洛克-皮茨神经元模型( McCulloch - Pitts′ neuron model )诞生(详见"A Logical Calculus of the Ideas Immanent in Nervous Activity")。该模型被设计为使用n 个输入 x1,...,xn 并将它们与一个输出 y 相关联。学习目标是获得一组权重 w1,...,wn,并使得 f(x,w) = x1w1 +···+ xnwn近似于真实输出y。
最典型的的成果是20世纪50年代的感知机(根据每个类别的输入样本来学习权重的模型)和自适应线性单元(用函数 f(x) 本身的值来预测一个实数)。
主要成果:
1.为随机梯度下降(stochastic gradient descent),仍然是当今深度学习的主要训练算法。 
2.线性模型(linear model)f(x,w),仍是 目前最广泛使用的机器学习模型。
衰退原因:
线性模型无法学习异或(XOR)函数。
二、联结主义(connectionism,20世纪80年代至90年代中)
联结主义又叫做并行分布处理 ( parallel distributed processing),是伴随认知科学出现的,其指导性启示和主要灵感来自大脑或神经系统,它把认知看成是网络的整体活动,中心思想是:当网络将大量简单的计算单元连接在一起时可以实现智能行为。1982年,那时在加州理工担任生物物理教授的霍普菲尔德,提出了一种新的神经网络,可以解决一大类模式识别问题,还可以给出一类组合优化问题的近似解。
1986年,加州大学圣地亚哥分校的David Rumelhart与Geoffery Hinton发展了沃波斯(Werbos)于1974年提出的神经网络反向传播学习算法Back Propagation,BP网络采用有指导的学习方式,其学习包括以下4个过程:
(1)组成输入模式由输入层经过隐含层向输出层的“模式顺传播”过程。
(2)网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层休整连接权的“误差逆传播”过程。
(3)由“模式顺传播”与“误差逆传播”的反复进行的网络“记忆训练”过程。
(4)网络趋向收敛即网络的总体误差趋向极小值的“学习收敛”过程。
主要成果:
1.分布式表示(distributed representation),系统的每一个输入都应该由多个特征表示,并且每一个特征都应该参与 到多个可能输入的表示,这是深度学习的核心思想之一。
2.反向传播算法,训练深度模型的主导方法。
3.长短期记忆(long short-term memory, LSTM)网,用于许多序列建模应用,包括 Google 的许多自然语言处理任务。
4.新认知机,来自哺乳动物视觉系统的结构启发,引入了一个处理图片的强大模型架构,成为了卷积网络的基础。
衰退原因:
1.对AI不切实际的预期
2.机器学习中核方法和图模型的进步
三、深度学习(deep learning,2006-今)
2006年加拿大CIFAR的Geoffrey Hinton和其它附属研究小组用一种称为贪婪逐层预训练的策略来有效地训练深度网络。这标志这现在有能力训练以前不可能训练的比较深的神经网络。此时的深度神经网络已经优于与之竞争的基于其他机器学习技术以及手工设计功能的 AI 系统。
热点研究:
1.比较传统的监督学习算法和深度模型充分利用大型标注数据集的能力;
2.无监督学习技术;
3.深度模型在小数据集的泛化能力;
 
随着与日俱增的数据量,基于深度学习的深度网络已经不再是“艺术”。截至 2016年,一个粗略的经验法则是,监督深度学习算法在每类给定约 5000 个标注样本情况下一般将达到可以接受的性能,当至少有 1000 万 个标注样本的数据集用于训练时,它将达到或超过人类表现
 
未来会怎样,下面的问题留待大家一起思考:
    会不会连医生都被机器人取代,很多人失业?
    会不会有《黑镜》中的恐怖分子控制的杀人微型无人机肆虐?
    会不会《终结者》的剧情变为现实,一切都不再只是科幻了?
 
著作权归作者所有。商业转载请联系本站作者获得授权,非商业转载请注明出处 ZZKOOK

您可能感兴趣的文章

登录以发表评论

评论

本人一定到专页加个关注

 
97
千钟粟的头像

楼主实在内行

 
83
高不帅的头像

努力努力再努力!

 
91
未来没来的头像

非常好

 
101
lucky的头像