深度学习：深度学习：Nan与Inf是如何造成的？
Nan
通常来说是梯度除以0了。（not a number）
Inf
表示数据过大，通常来说是learning rate 太大，或者权重初始化的时候太大，导致后面炸掉了。
通用解决办法
合理设置learning rate，不要太大。合理权重初始化。合理选择激活函数。
########
