1.2 第二次浪潮：连接主义的兴起与寒冬（1986--2012）

概念

连接主义（Connectionism）的关键词不是「规则」，而是「学习」。它的核心思想是：不告诉机器怎么做，而是给机器看大量例子，让它自己找出规律。

这和你学骑自行车的过程一模一样。你爸妈没有给你一本《自行车骑行规则手册》（第 37 条：身体倾斜角每变化 1 度，车把反向调整 0.8 度……）。你只是不断尝试、不断摔倒，你的大脑在每次摔倒后微调一点点神经连接，直到某一天突然「会了」——但你完全说不出自己是怎么做到的。

生活比喻：连接主义像一个婴儿学说话。婴儿不查语法书，不听语法课——他只是听了父母、电视、周围人几十万句话。听了足够多之后，他的大脑自动从这些例子里「蒸馏」出了词语的意思和句子的规律。你说「妈妈抱」，他能懂；你说「妈妈抱抱我」，他也能懂——尽管他从来没学过「主谓宾」这种语法概念。这就是从数据中学习的本质：信息不是以规则的形式储存在某处，而是分布在整个神经网络的权重（weight）里，像知识溶解在一杯水里，你看不到单个的「确定」或「否定」，但整杯水有了味道。

这个范式在学术上还有一个名字叫 PDP——并行分布式处理（Parallel Distributed Processing）。「并行」意思是很多计算同时进行（不是一条规则一条规则地试），「分布式」意思是每个概念不是存在某一个神经元里，而是存在一群神经元的连接模式中。你脑中的「苹果」这个概念没有一个专门的「苹果神经元」——它分布在颜色、形状、味道、触感等不同脑区，像一个由多条绳索共同拉起的雕塑。¹

连接主义的源头可以追溯到 1943 年。神经科学家 Warren McCulloch 和数学家 Walter Pitts 发表了一篇开创性论文，证明用数学可以描述神经元的工作方式——有输入、有阈值、有输出，像一个小小的逻辑开关。² 这篇论文后来被计算机科学界奉为「人工神经网络的出生证明」。

教学

连接主义的故事需要从一根线讲起。

感知机（Perceptron，1957—1969）

心理学家 Frank Rosenblatt 在 1957 年造出了第一个可以「学习」的神经网络——感知机。它的结构极简单：输入层直接连到输出层，中间没有隐藏层。每个输入有一个权重，权重是自动调整的——猜对了，加强这条连接；猜错了，减弱它。这相当于一个用旋钮不断校准的简单分类器。

Rosenblatt 在 1958 年的一场发布会上说，感知机最终将能够「识别人类，叫出人名，把演讲从一种语言翻译成另一种语言」。媒体狂欢。但很快冷水来了：Marvin Minsky 和 Seymour Papert 在 1969 年出版的《感知机》一书中，用严格的数学证明了单层感知机有一个致命缺陷——它连「异或」（XOR）这种小学水平的逻辑问题都解决不了。³

什么是 XOR？假设你想训练一个系统判断「这顿饭好不好」。标准是：如果菜好吃且服务好，就好；如果菜不好吃且服务差，就差。但如果菜好吃但服务差呢？或者菜不好吃但服务超好呢？XOR 的情况就是这种「一个因素好、另一个因素差」的矛盾情况。单层感知机永远找不到一条线来正确分开这四种情况。这个数学证明直接宣判了感知机的死刑——神经网络研究几乎断了一代人的经费。

但 MIT Press 出版的这本书也成就了它自己的讽刺：历史证明了《感知机》对 AI 发展路线的巨大影响——只是沿着 Minsky 完全不希望的方向。

反向传播的潜伏期（1970—1985）

在所有人以为神经网络已经没戏的黑暗十年里，少数几个人在默默铺垫最关键的技术地基。

芬兰研究生 Seppo Linnainmaa 在 1970 年的硕士论文中描述了反向模式自动微分——反向传播算法的数学核心。⁴ 但这是用芬兰语写的，发表在芬兰期刊上，没人注意到。

1974 年，哈佛博士生 Paul Werbos 在他的博士论文中第一次明确提出用反向传播来训练多层神经网络。⁵ 审稿人也基本没有反应。

直到 1986 年，David Rumelhart、Geoffrey Hinton 和 Ronald Williams 在《自然》杂志发表了一篇论文，标题通俗易懂——《通过反向传播误差来学习表征》。这篇论文向整个学界展示了：多层网络可以学习隐藏层的有意义内部表征——直接打碎了 Minsky 和 Papert 在 1969 年对单层感知机的死刑判决。⁶

反向传播的直觉理解（零数学版）：把训练神经网络想象成用飞镖投靶。你投一镖，离靶心偏了 5 厘米（这就是误差）。下次你怎么调整？如果偏右，你手臂往左移一点；如果偏高，手臂往下压一点。反向传播做的就是类似的事——把输出层的误差「反向传播」回前面的每一层，告诉每一层每个神经元：「你的输出贡献了多少误差？往这个方向调整你的权重，下次误差会变小一点。」经过几千几万轮这种微调，网络的表现慢慢逼近靶心。

连接主义时代的经典算法

1986 年后，神经网络进入了快速迭代期。两个算法统治了整个 1990 年代到 2010 年代的应用层。

SVM（支持向量机，1990s—2010s）：SVM 的工作思路很直观——给一堆标注好的数据（猫的图片、狗的图片），它在这两类数据之间画一条「最宽」的分界线，让两类数据分得越开越好。这条线在二维空间是一条直线（你可以在纸上画出来），在更高维空间是一个「超平面」（超过三维你就画不出来了，但数学上完全站得住）。小数据场景下 SVM 效果极好——几百张图片就能得到不错的结果。但互联网时代数据量爆炸：给 SVM 100 万张图片，计算量以 O(n²) 增长（数据量翻 10 倍，计算时间翻 100 倍），它根本学不动了。

HMM（隐马尔可夫模型，1990s—2010s）：HMM 是 1990 年代语音识别的主力。它的核心思想是把语音信号建模成状态转移序列——「这个音节后面大概率跟那个音节」。比如中文「你好」，系统接收到「ni」的音频段后，推断下一个音节大概率是「hao」而不是「xi」或「zhu」。统计转移概率是从事先标注的大量语料里算出来的。2000 年代的 Siri（被苹果收购）、Alexa 的爷爷辈用的就是 HMM。但 HMM 的致命弱点是「马尔可夫假设」——当前状态只跟前一个状态有关——这不符合语言的实际规律。一句话末尾的词语可能和句首的主语呼应（比如「小明……他」），隔了几十个音节，HMM 完全抓不住这种长距离依赖关系。

注意事项

第二次 AI 寒冬（1987—1993）

如果说第一次寒冬由学术报告引发，第二次寒冬则是由一个国家级的科技豪赌破产所致。

1982 年，日本通产省启动了第五代计算机项目——一个十年期、耗资数亿美元的国家计划。目标是造出「能像人类一样推理」的计算机，主攻方向是逻辑编程语言 Prolog 和并行推理架构。美英两国恐慌了——英国启动了 Alvey 计划，美国成立了 MCC 财团——纷纷对标竞争。当时的气氛和 2023 年全球 AI 军备竞赛很像：所有人都怕落后。

但第五代计算机项目在 1992 年以失败告终。原因是典型的「国家押错技术方向」：项目选定的 Prolog+并行推理路线在理论上就是错的——并行逻辑推理的效率和单线程差不多，因为推理步骤之间天然存在顺序依赖关系（你不能跳过前提直接跳到结论）。就像做一道菜，切菜必须在炒菜之前，你不能「并行」处理这两步。

加上 1987 年后 AI 专用硬件市场崩溃（Lisp 机器公司纷纷倒闭，因为通用工作站性能已经追上了昂贵的专用 Lisp 硬件），AI 再次被打入冷宫——这是第二次寒冬。⁷

核心教训：跟风国家项目要谨慎。 政府选的技术方向往往是上一个时代的热门，不是下一个时代的萌芽。1982 年日本选择 Prolog 是因为 1970 年代专家系统在 Prolog 上跑得不错——但 Prolog 在 1992 年看来已经是古董。AI 的历史一次又一次证明，真正的范式突破几乎从来不出自国家指令，而是来自个别研究人员在一个冷门方向上多年的孤独坚持。

连接主义自身的局限性

即便在连接主义的全盛期，批评者也没有停止过。哲学界最强的批评来自 Fodor 和 Pylyshyn：他们认为神经网络本质上是模式关联器而不是真正的规则遵循系统。你能训练一个网络说「John loves Mary」，然后问「Who loves Mary?」它回答「John」。但当你想把「love」换成它的被动形式却被问和答的结构困住时——「Mary is loved by John」——整个神经网络就需要从头训练一组全新的权重。人脑不会这样。人类学会了「爱」这个动词之后，就自动掌握了它的所有语法变形能力，不需要重新学习。Fodor 认为这种系统性（systematicity） 是符号系统的天然属性，却是神经网络的天然盲区。⁸

后来这个争论有了实际后果：Transformer 架构之所以在 2017 年后统治 NLP 领域，部分原因正是它通过「注意力机制」捕捉到了任意的远程词语依赖关系——部分弥补了连接主义在系统性上的短板，但又不完全回到符号主义的手写规则路线。

关联

连接主义时代的遗产比人们想象的更深远：

• 反向传播至今仍是深度学习的核心训练算法：GPT-5、Claude 4.5 在训练中都在使用反向传播的变体（加上 Adam 优化器、梯度裁剪等改进）
• CNN 的直系血统：Fukushima 在 1980 年提出的 Neocognitron（多层卷积+池化结构）是 LeNet（1998）→ AlexNet（2012）→ 现代所有视觉 AI 的直系祖先。LeCun 在 1989 年把反向传播应用到卷积网络，第一次在实用级别（手写邮编识别）上证明了深度学习的价值 ⁹
• 分布式表征：PDP 运动的核心遗产不是具体算法，而是「概念由分布式的激活模式来表达，而非单一符号」这一思想。今天的词向量（Word2Vec、GloVe）和大语言模型中的所有内部表征，都遵循这条原理
• SVM 和 HMM 仍是面试题：虽然被深度学习取代，但理解 SVM 的核技巧（把数据映射到高维空间使其线性可分）和 HMM 的状态转移逻辑，仍然是 ML 工程师面试的常见考点
• 下一站：连接主义在 2012 年与大数据+大算力相遇后引爆了深度学习革命——详见 1.3 第三次浪潮：深度学习（2012--至今）

---

← 上一节：1.1 第一次浪潮：符号主义的兴起与寒冬（1956--1980） ｜ 下一节：1.3 第三次浪潮：深度学习（2012--至今） →

注释

1. Rumelhart, D.E., McClelland, J.L., “Parallel Distributed Processing”, 1986, MIT Press ↩

2. McCulloch, W., Pitts, W., “A Logical Calculus of the Ideas Immanent in Nervous Activity”, 1943, Bulletin of Mathematical Biophysics ↩

3. Minsky, M., Papert, S., “Perceptrons”, 1969, MIT Press ↩

4. Linnainmaa, S., “The Representation of the Cumulative Rounding Error of an Algorithm as a Taylor Expansion of the Local Rounding Errors”, 1970, Master’s Thesis, Univ. Helsinki ↩

5. Werbos, P., “Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences”, 1974, PhD Thesis, Harvard ↩

6. Rumelhart, D.E., Hinton, G.E., Williams, R.J., “Learning Representations by Back-Propagating Errors”, 1986, Nature, 323 ↩

7. Newquist, H.P., “The Brain Makers: Genius, Ego, and Greed in the Quest for Machines That Think”, 1994, Sams Publishing ↩

8. Fodor, J., Pylyshyn, Z., “Connectionism and Cognitive Architecture”, 1988, Cognition, 28 ↩

9. LeCun, Y. et al., “Backpropagation Applied to Handwritten Zip Code Recognition”, 1989, Neural Computation ↩