周志华的书上是这么推导Q学习的公式，见图中(16.31)，不知道怎么推导出来的。
而其它许多参考资料上没有推导，直接就认为Q学习应该这么更新Q函数，这个当然也可以，神经网络或者优化上有些问题就是这么给定的。但是我想搞懂的就是这个公式到底能不能推导出来。
不知道有没有人帮忙解惑，谢谢！
--
FROM 115.171.170.*