📖 একটি ছোট গল্প
Google PageRank, speech recognition (HMM), text generation (n-gram), reinforcement learning — সবকিছুর ভিত্তি একটি সরল ধারণা: "ভবিষ্যৎ শুধু বর্তমানের উপর নির্ভর করে, অতীতের উপর নয়"। এটাই Markov Property।
Markov Chain ও Transition Matrix
P(X_{t+1} | X_t, X_{t-1}, …, X_0) = P(X_{t+1} | X_t)
State-set S এবং transition matrix T যেখানে T[i][j] = P(j | i)। প্রতিটি row-এর sum = 1।
Stationary Distribution
অনেক step পর system একটি stable distribution π-এ পৌঁছায়:
π T = π
π হলো T-এর eigenvector (eigenvalue = 1)। এটি বের করেই Google PageRank rank করে — প্রতিটি page = state, link = transition।
AI-তে প্রয়োগ
- HMM: speech recognition, POS tagging — hidden state-এর Markov chain।
- MCMC (Metropolis-Hastings, Gibbs): Bayesian inference-এ posterior sample।
- MDP: Reinforcement Learning-এর foundation (পরের অধ্যায়)।
- Diffusion Model: noise যোগ ও বিয়োগ — discrete-time Markov chain।
Python: Weather Markov Chain
pythonPython · NumPy
import numpy as np
# states: 0=Sunny, 1=Rainy
T = np.array([[0.8, 0.2],
[0.4, 0.6]])
# Simulate 10 days
state = 0
for _ in range(10):
state = np.random.choice([0, 1], p=T[state])
# Stationary distribution via eigenvector
vals, vecs = np.linalg.eig(T.T)
pi = vecs[:, np.argmin(abs(vals - 1))].real
pi = pi / pi.sum()
print("Stationary:", pi) # ≈ [0.667, 0.333]Summary · সারসংক্ষেপ
- Markov: ভবিষ্যৎ শুধু বর্তমানের উপর নির্ভরশীল।
- Stationary distribution = transition matrix-এর eigenvector।
- PageRank, HMM, MCMC, RL — সবকিছুর ভিত্তি Markov chain।