时序差分学习（Temporal Difference Learning）是一种强化学习算法，常用于解决序列决策问题。它结合了动态规划和蒙特卡洛方法的优点，在未来奖励和当前估计之间进行自举式更新。
该算法的核心思想是通过不断地估计状态值或动作值的更新来学习。具体来说，它通过比较当前状态的估计值和下一个状态（或下一步动作）的估计值加上未来奖励的总和，来调整当前状态的估计值。这种调整是通过一个称为TD误差（Temporal Difference Error）的值来完成的，它表示当前状态的估计值与未来状态估计值的差异。
时序差分学习具有一些重要的优点，例如能够在不需要完整轨迹的情况下更新值函数，适用于连续状态和动作空间，以及能够在部分可观测的环境中工作。这使得它成为许多强化学习问题的首选算法之一，尤其是在实时决策和大规模问题中。
时序差分学习的核心概念包括以下几个方面：
状态（State）：在强化学习中，状态是描述环境的基本信息，代理根据状态做出决策。状态可以是任何与问题相关的变量或特征。
动作（Action）：动作是代理在特定状态下可执行的操作或决策。代理根据选择的动作与环境进行交互，并从环境中获得奖励。
奖励（Reward）：奖励是在代理执行动作后从环境中获得的信号，用于评估代理的行为。奖励可以是正数、负数或零，表示相应的行为是好、坏还是中立的。
价值函数（Value Functio