অধ্যায় 22 — Random Variables

📖 একটি ছোট গল্প

"আজ কত বৃষ্টি হবে?" — এর উত্তর একটি সংখ্যা, কিন্তু সেই সংখ্যাটি random। আজ 0mm, কাল 12mm, পরশু 3mm। এই "outcome-কে সংখ্যা-তে map করা"-র জিনিসকে বলে Random Variable।

Intuitive Explanation

Random Variable (RV) = একটি function যা sample space-এর প্রতিটি outcome-কে একটি real number-এ map করে।

X : Ω → ℝ

উদাহরণ: ২টি কয়েন toss করলে X = "head-এর সংখ্যা"। Possible value: 0, 1, 2।

Discrete vs Continuous

Discrete RV

Countable value নেয় (0, 1, 2, ...)। PMF (Probability Mass Function) দিয়ে describe হয়:

p(x) = P(X = x), Σ p(x) = 1

Continuous RV

Uncountably infinite value নেয় (যেকোনো real number)। PDF (Probability Density Function):

P(a ≤ X ≤ b) = ∫_a^b f(x) dx, ∫ f(x) dx = 1

⚠️ সতর্কতা

Continuous RV-এ P(X = x) = 0 exact। শুধু interval-এর probability meaningful।

Expectation, Variance & Std

Expectation (Mean)

E[X] = Σ x · p(x) (discrete)

E[X] = ∫ x · f(x) dx (continuous)

Variance

Var(X) = E[(X − μ)²] = E[X²] − (E[X])²

σ = √Var(X) (standard deviation)

Linearity of expectation

E[aX + bY + c] = a·E[X] + b·E[Y] + c (always, even if dependent)

Var(aX + b) = a² · Var(X)

Var(X + Y) = Var(X) + Var(Y) (only if independent)

Python Implementation

pythonPython · NumPy

import numpy as np

# Discrete RV: number of heads in 3 coin flips
np.random.seed(0)
flips = np.random.randint(0, 2, size=(100_000, 3))
X = flips.sum(axis=1)            # heads per trial

# Empirical PMF
for k in range(4):
    print(f"P(X={k}) = {np.mean(X == k):.4f}  (theoretical: {[1/8, 3/8, 3/8, 1/8][k]})")

print(f"\nE[X]     = {X.mean():.4f}  (theoretical: 1.5)")
print(f"Var(X)   = {X.var():.4f}   (theoretical: 0.75)")
print(f"Std(X)   = {X.std():.4f}   (theoretical: 0.866)")

# Continuous RV: normal distribution
samples = np.random.normal(loc=0, scale=1, size=100_000)
print(f"\nNormal(0,1):  mean={samples.mean():.4f}, std={samples.std():.4f}")
print(f"P(-1 ≤ X ≤ 1) = {np.mean((samples >= -1) & (samples <= 1)):.4f}  (≈ 0.6827)")

AI/ML সংযোগ

Loss একটি RV — training data-এর random sample-এর উপর depend করে।
Stochastic gradient = mini-batch-এর উপর gradient = expectation-এর Monte Carlo estimate।
Model output often expectation: ŷ = E[Y | X = x]।
Variance reduction = better optimization (Adam-এ moment estimate)।

Common Mistakes

Continuous distribution-এ P(X = 5) calculate করার চেষ্টা — সব সময় 0।
Var(X + Y) = Var(X) + Var(Y) independence ছাড়া apply করা।
PDF-এর value কে probability ভাবা — PDF density, probability নয়। PDF > 1 হতে পারে।

Practice Tasks

একটি ৬-পার্শ্বের dice-এর E[X] এবং Var(X) calculate করুন।
২টি dice roll-এ sum-এর mean এবং variance?
Normal(μ=10, σ=2)-এ P(8 ≤ X ≤ 12) simulate করুন।

Assignment

একটি custom discrete RV বানান: X ∈ {1, 2, 5, 10} with probabilities {0.4, 0.3, 0.2, 0.1}। Theoretical E[X], Var(X) hand-calculate করুন। তারপর ১ লাখ sample draw করে empirically verify করুন।

Interview Questions

PMF এবং PDF-এর পার্থক্য?
Variance কেন E[X²] − (E[X])² হিসেবে লেখা যায়?
Linearity of expectation কখন break হয়?
Mean vs Median — কোনটি outlier-এ robust?

Mini Project

"RV Visualizer" — একটি tool যেখানে user PMF/PDF parameter দেয়, এবং mean, variance, distribution shape, এবং sample histogram সব visualize হয়।

Summary · সারসংক্ষেপ

Random Variable = outcome → number map।
Discrete (PMF) vs Continuous (PDF) — দুটি ভিন্ন world।
Expectation = average value, Variance = spread।
Linearity of expectation = AI math-এর সবচেয়ে useful tool।

✨ পরবর্তী পদক্ষেপ

Chapter 23-এ Probability Distributions — Bernoulli, Normal, Poisson এবং তাদের AI application।

পূর্ববর্তী · CH 21

Bayes Theorem

পরবর্তী · CH 23

Probability Distributions