文档简介

CS 5486 Intelligent Systems — MidTerm Notes 是一份学生自行整理的智能系统课程期中复习笔记，共 16 页。开篇即点明考试风格：不要求记公式，重点是对比各类模型的异同、关键词和适用场景。笔记以"两两对比 + 优缺点罗列"的形式组织，覆盖神经网络、模糊系统、支持向量机、群智能优化四大板块。

笔记核心内容

一、神经网络基础对比

二、激活函数

逐一介绍 Binary Step、Linear、Sigmoid、Tanh、ReLU 五种，重点讲各自的导数问题（Step/Linear 梯度消失或恒常）、Sigmoid/Tanh 的梯度饱和、ReLU 的稀疏激活与"神经元死亡"问题。附 Sigmoid 导数推导：$f'(u)=f(u)(1-f(u))$。

三、学习规则：Perceptron vs Adaline

• 相同点：都是二分类器、线性决策边界、迭代学习、用阈值函数
• 不同点：Perceptron 用类别标签更新（非梯度下降）；Adaline 用连续预测值更新（LMS 梯度下降，仅 batch 模式）

四、各类模型优缺点总览

• Perceptron：收敛定理（线性可分时有限步收敛）；缺点是只能分线性可分数据
• MLP：万能逼近；缺点是局部极小、泛化问题、超参数无理论指导
• Deep Learning：复杂模型、低泛化误差；缺点是算力要求高、梯度消失、层数无理论
• RBF / ELM / FLN：随机固定隐层、只调输出层权重、避免局部极小；缺点是隐层不可调、中心/宽度难定
• Hopfield / ART / SOM：反馈型、无监督联想记忆

五、模糊集

• Type 1 vs Type 2：T1 隶属度是确定值；T2 隶属度本身也是模糊的（"模糊的模糊集"），能处理语言不确定性；T2 输出需先做 type-reduction 再去模糊

六、SVM 与 LSSVM

• SVM：最大化间隔、解 QP 二次规划、只有支持向量非零
• LSSVM：解线性方程组（而非 QP）、所有样本的支持值与误差成正比、计算快、泛化好

七、群智能优化算法

并做了 GA vs ACO、GA vs PSO、ACO vs PSO 三组横向对比（TSP 问题中 ACO 优于 GA；PSO 实现最简单但鲁棒性不如 ACO）。

整体定位：这是一份典型的"概念对比型"课程复习笔记，适合开卷/闭卷期中前快速过一遍各模型的优缺点和适用场景。笔记本身是学生从 Slideshare、ResearchGate、StackExchange 等多处资料摘录拼凑而成，附带大量参考链接。