2020年10月9日上午，北京大学光华管理学院商务统计与经济计量系系主任王汉生教授做客厦大经济学科计量经济学与统计学“邹至庄讲座”系列第二讲，带来题为"A Statistical Understanding of Deep Learning"的报告。王汉生教授从统计学视角出发解读“深度学习”，吸引了众多师生通过线上线下方式聆听报告。讲座由王亚南经济研究院（WISE）助理教授王中雷主持。
王汉生教授首先通过图片展示和生动的例子讲解介绍了深度学习在日常生活中的应用，如人脸识别，图像识别等，并指出深度学习可以看作是输入X和输出Y这类复杂回归方法，它具有高度非线性的模型结构，也就是说，绝大多数深度学习都可看作回归分析。这为我们从统计学的角度理解深度学习提供了理论基础。
随后，王汉生教授报告了他所带领的科研团队关于深度学习的三项最新研究进展：第一项进展是关于随机梯度下降（SGD）算法的研究。SGD是目前用于深度学习模型训练较为流行的优化算法，它的实现依赖于方向和学习率，在当前的实际应用中，学习率的选择是非常主观的，并且取决于个人经验。为了解决该问题，王汉生教授的科研团队提出了一种局部二次逼近（LQA）的思想，优点在于可自动和几乎最优地确定调整参数。
第二项研究进展聚焦于卷积神经网络（CNN）的模型压缩。卷积神经网络是深度学习中最具代表性的模型之一，在计算机视觉图像领域表现出出色的性能。但是它含有大量参数，运算极其复杂。王汉生教授团队尝试将经典主成分分析（PCA）方法应用于每个卷积层，并提出一种称为渐进主成分分析（PPCA）的新方法，PPCA方法不仅可降低模型的复杂性，而且不会牺牲样本外预测的准确性。
第三个研究进展是考虑因素建模。深度学习模型的输入功能通常具有超高维度，在这种情况下，通过不断检测输入特征的强因子结构，输入特征周围很大一部分的可变性则可用低维潜在因子来解释，这便提供了一个更简单的建模思路。王汉生教授团队由此提出了一个新颖的因子归一化（FN）方法：首先将输入特征X分解为两部分——因子部分和残差部分，接着将基线DNN模型重构为因子辅助DNN模型，最后为新模型训练提供具有自适应学习率的新SGD算法。相较于具有一系列梯度类型算法的原始模型，FN方法可表现出更优秀的收敛速度和样本外性能。
报告最后，王汉生教授还提出了关于深度学习未来研究方向的看法，他认为计算问题以及讨论深度模型和浅度模型到底有何区别是未来值得探究的内容。
在问答环节，参会同学和老师们积极发问，王汉生教授一一解答，并分享了他与团队研究深度学习的摸索过程与经验，并指出在未来研究中一定会涉及到大量非结构化的数据，深度学习作为处理非结构化数据的一种手段，是未来重要的研究方向。
（经济学院2019级博士 陈卓恒 经济学院 周梦娜）
