【随机过程】马克可夫链-关于简单随机游走的状态判定

简单随机游走的定义

• 要么往左要么往右
• 不能留着不走

马尔可夫状态

• persistent：一开始在i，可以无数次回来
• transient：一开始在i，不能无数次回来

常返判定

• fij(n)表示经过n步，从i第一次走到j的概率
• 当且仅当fjj = 1才是常反
  -
• 或者我们更粗暴地用pjj(n)来证明正无穷即可

关于带null的persistent态

• 也就是说如果一个persistent态，当n趋于无穷的时候，经过n步回到自身的概率是0；它就是null persistent

周期

• 我们来求一个集合，里面每个数k代表，经过k步，从i能回到i的概率大于0；
• 这样的集合的最大公因数就是周期

例子

• p != 0.5，说明会一边倒

  • 想回到原地，必须偶数步，所以周期就是2
  • 经过n步还能留在原地i的概率肯定不是1，我们用脑子想一下，它最终是偏向无穷的

• p == 0.5, 看起来很平衡
  

  

  • d是维数 这里取1
    

• 上面这个图证明了p = q常返，否则非常返

• 特别地，零常返地证明如下：
  

参考：https://www.zhihu.com/question/359432738/answer/1140174499