CH 19Phase 3 · Probability & Statistics for AI

Probability Basics

১৫–২৫ মিনিট বাংলা · Math · Python
📖 একটি ছোট গল্প

একটি কয়েন toss করছেন — head আসবে নাকি tail? নিশ্চিত করে বলা যায় না, কিন্তু long run-এ ৫০-৫০। AI model-ও ঠিক একইভাবে কাজ করে — প্রতিটি prediction একটি probability, একটি confidence score।

Probability হলো অনিশ্চয়তার গণিত — যা ছাড়া আধুনিক AI অচল।

Intuitive Explanation

Probability = কোনো event ঘটার সম্ভাবনা, একটি সংখ্যা 0 থেকে 1-এর মধ্যে। 0 = impossible, 1 = certain।

P(A) = (favorable outcomes) / (total outcomes)

একটি ৬-পার্শ্বের dice-এ P(6) = 1/6। দুটি dice-এ sum = 7 হওয়ার probability = 6/36 = 1/6।

Axioms & Rules

Kolmogorov-এর তিনটি axiom

  1. 0 ≤ P(A) ≤ 1
  2. P(Ω) = 1 (sample space-এর total probability = 1)
  3. Mutually exclusive event-এর জন্য: P(A ∪ B) = P(A) + P(B)

মূল rules

P(A ∪ B) = P(A) + P(B) − P(A ∩ B)
P(Ac) = 1 − P(A)
Independent: P(A ∩ B) = P(A) · P(B)

Sample Space & Events

Sample space (Ω) = সব possible outcome-এর set। Event = sample space-এর একটি subset।

  • একটি কয়েন: Ω = {H, T}
  • একটি dice: Ω = {1,2,3,4,5,6}
  • Event "even number": A = {2,4,6}, P(A) = 3/6 = 0.5

Python Implementation

pythonPython · NumPy
import numpy as np

# Simulate dice rolls — empirical vs theoretical probability
np.random.seed(0)
n_trials = 100_000
rolls = np.random.randint(1, 7, size=n_trials)

p_six_empirical = np.mean(rolls == 6)
print(f"P(6) empirical = {p_six_empirical:.4f}, theoretical = {1/6:.4f}")

# Two dice, sum = 7
d1 = np.random.randint(1, 7, n_trials)
d2 = np.random.randint(1, 7, n_trials)
p_seven = np.mean((d1 + d2) == 7)
print(f"P(sum=7) = {p_seven:.4f}, theoretical = {6/36:.4f}")

# Law of large numbers: convergence
running = np.cumsum(rolls == 6) / np.arange(1, n_trials + 1)
print(f"After 100:  {running[99]:.4f}")
print(f"After 10k:  {running[9999]:.4f}")
print(f"After 100k: {running[-1]:.4f}")

AI/ML সংযোগ

  • Classifier output = probability distribution over classes (softmax)।
  • Dropout = neuron-কে probability p দিয়ে on/off — Bernoulli trial।
  • Data augmentation = random transformation with probability।
  • Monte Carlo methods = simulation-based probability estimation।

Common Mistakes

  • Mutually exclusive vs independent — দুটো ভিন্ন জিনিস।
  • Gambler's fallacy: ৫ বার head এলে পরের বার tail-ই আসবে — ভুল।
  • Probability > 1 হলে calculation-এ bug আছে।

Practice Tasks

  1. একটি deck (52 cards) থেকে একটি ace টানার probability কত?
  2. ২টি dice-এ sum ≥ 10 হওয়ার probability?
  3. ৩টি কয়েন toss করে অন্তত একটি head আসার probability?

Assignment

Monte Carlo দিয়ে π estimate করুন: একটি unit square-এর ভেতরে random point ফেলুন, কতগুলো unit circle-এর ভেতরে পড়ছে তা গুণে π ≈ 4 · (inside/total) বের করুন।

Interview Questions

  1. Independent vs mutually exclusive event-এর পার্থক্য?
  2. Law of large numbers কী বলে?
  3. একটি biased coin-এ P(H) = 0.7। ৩ বার toss-এ exactly ২ head হওয়ার probability?

Mini Project

"Probability Simulator" — একটি tool যেখানে user event define করতে পারে (dice, cards, coin), trial সংখ্যা দেয়, এবং empirical probability vs theoretical probability-এর convergence একটি graph-এ দেখায়।

Summary · সারসংক্ষেপ

  • Probability = অনিশ্চয়তার পরিমাপ, 0 থেকে 1।
  • তিনটি axiom থেকে সব rule derive হয়।
  • Independent event-এর joint probability = product।
  • Law of large numbers — trial বাড়ালে empirical → theoretical।
✨ পরবর্তী পদক্ষেপ
Chapter 20-এ Conditional Probability — "যদি X জানি, তবে Y-এর সম্ভাবনা কত?"