Gelecek durumun şimdiki duruma bağlı olma olasılığı zaman içinde değişmez ise durağanlık gösterir ve bu özelliği de Markov zinciri karşılar. Bu tip Markov zincirine durağan Markov zinciri denir, dolayısıyla doğru cevap B’dir. Markov zinciri rasgele işlemlerin bir alt kümesidir. Bu işlemler zamanla değişen ve tahmin edilmesi zor işlemlerdir. Bundan dolayı Markov zinciri deterministik değil, stokastiktir., Rassal değişkenin alabileceği değerlerin tanımladığı uzaya durum uzayı denir. Bu uzay sürekli veya kesikli (tamsayılı) değerlerden oluşabilir. Buna göre {X_t} süreci sürekli-durum stokastik süreç veya kesikli-durum stokastik süreç olarak adlandırılır.