关于学习率 Alpha 的感悟

今天再巩固了梯度下降算法后,对其中的学习率若有感悟。

这篇文章不是技术文章!只是今日一点小小的感想。

在梯度下降算法中,学习率应当是一个适当的值,不能过大。映射在我们日常生活学习中也是一个道理。

比如在学习中,学习率设置得过大的话,也就是我们学习的时候走的步伐太大,学习得过快,这样知识往往只停留在「看过」这个层面,并没有完全吸收,更达不到融会贯通。这种通常会适得其反,甚至永远不会收敛,也就是不会得到领悟。比如说作为计科院的学生,我们很重要的几门学科比如《数据结构》、《操作系统》、《计算机网络》等等,这些学科都是很重要的基础,大多数学生(包括那时候的我)在学习这几科的过程中就很随意认为其不重要,没有那些炫酷的网页,好玩的项目来得实在,把应该留给这些学科的时间用来做其他的东西,这就属于迈的步子过大,该掌握的不花时间细细研究,到了后面便会吃亏。如果我们降低我们的学习率,过程是很慢,但是一步一步踏实,经济基础决定上层建筑,专业基础打好了,最终收敛,达到最优效果。

在生活中也是这样,在我们的社会中有太多不能接受的东西,为什么会出现这种情况,究其原因,我认为是因为我国发展速度过快,国民的意识形态跟不上经济结构的变化,所以我们这一代的人跟上一代的人往往有很大的代沟。学习率过快,很多的细枝末节来不及处理,就已经形成了一个体系一种结构,到后面应用的时候就会发现一些意想不到的 error,这就需要慢慢艰难的改 bug 了。

Happy May Day!

2018-05-01