AI大模型学习之路（三）-ZHD的小窝

阶段1：基础知识储备

第二课：概率与统计基础

学习目标

掌握概率的基本概念：条件概率、贝叶斯定理、独立事件。
理解常见概率分布（二项分布、正态分布）及其应用。
学会最大似然估计（MLE）的基本思想。
实战：用Python模拟概率实验并可视化结果。

1. 概率基础

(1) 概率的定义

• 概率：描述事件发生的可能性，取值范围在 ([0, 1])。
• 例：抛硬币正面朝上的概率为 P(正面}) = 0.5。

(2) 条件概率与贝叶斯定理

• 条件概率：事件 (A) 在事件 (B) 已发生条件下的概率。

P(A|B) = \frac{P(A \cap B)}{P(B)}

示例：
已知一副扑克牌（52张），抽到“红桃”的条件下，抽到“A”的概率：

P(\text{A} | \text{红桃}) = \frac{1}{13}

• 贝叶斯定理：

P(A|B) = \frac{P(B|A)P(A)}{P(B)}

应用场景：垃圾邮件分类（已知邮件内容，判断是否为垃圾邮件）。
示例：
已知某疾病在人群中的患病率 P(病)=0.01，检测准确率 P(阳性∣病)=0.99，误诊率 P(阳性∣健康)=0.05。
若检测结果为阳性，实际患病的概率：

P(\text{病} | \text{阳性}) = \frac{0.99 \times 0.01}{0.99 \times 0.01 + 0.05 \times 0.99} \approx 0.166

(3) 独立事件

• 定义：事件 (A) 和 (B) 独立当且仅当 P(A \cap B) = P(A)P(B)。
示例：抛两次硬币，第一次结果与第二次结果独立。

2. 常见概率分布

(1) 二项分布（Binomial Distribution）

• 定义：n次独立伯努利试验中成功次数的分布。

P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}

• C(n, k)：组合数，(p)：单次成功概率。
示例：抛10次硬币，正面出现3次的概率：

P(X=3) = \binom{10}{3} (0.5)^3 (0.5)^7 \approx 0.117

(2) 正态分布（Normal Distribution）

• 定义：概率密度函数为钟形曲线：

f(x) = \frac{1}{\sigma \sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}

• \mu（均值），\sigma（标准差）
应用：身高、测量误差等自然现象的分布。

3. 最大似然估计（MLE）

• 核心思想：选择参数使观测数据出现的概率最大。
示例：抛硬币10次出现7次正面，估计正面概率 (p)：
• 似然函数：

L(p) = p^7 (1-p)^3 \quad \Rightarrow \quad \hat{p} = 0.7

• L(p)取对数并求导，解得 (p = 0.7)。

4. 实战：用Python模拟抛硬币实验

(1) 代码实现

import numpy as np
import matplotlib.pyplot as plt

# 模拟抛硬币实验
n_trials = 1000  # 抛硬币次数
p = 0.5          # 理论正面概率
results = np.random.binomial(1, p, size=n_trials)  # 1表示正面，0表示反面

# 统计正面次数
heads = np.sum(results)
print(f"正面出现次数: {heads}/{n_trials}")

# 绘制频率随实验次数的变化
cumulative_heads = np.cumsum(results)
cumulative_probs = cumulative_heads / np.arange(1, n_trials+1)

plt.plot(cumulative_probs)
plt.axhline(y=p, color='r', linestyle='--', label='理论概率')
plt.xlabel("实验次数")
plt.ylabel("正面频率")
plt.title("大数定律演示")
plt.legend()
plt.show()

(2) 输出结果

• 随着实验次数增加，正面频率趋近于理论概率 (0.5)（大数定律）。
大数定律演示图

5. 练习题目

贝叶斯定理：已知某癌症患病率 P(癌) = 0.001，检测灵敏度 P(阳性| 癌) = 0.95，特异性 P(阴性| 健康) = 0.90。计算 P(癌| 阳性)。
二项分布：抛硬币20次，求正面出现12次的概率（精确到小数点后4位）。
MLE实战：用Python生成100个服从正态分布 N(5, 2) 的样本，用MLE估计均值和标准差。

6. 扩展思考

• 贝叶斯 vs 频率学派：两种概率解释的根本区别是什么？
• 过拟合与MLE：为什么最大似然估计在数据量少时容易过拟合？

下一课预告

第三课：微积分基础
• 重点：导数与梯度、链式法则、梯度下降法。
• 实战：用梯度下降法优化线性回归模型。

目录CONTENT

AI大模型学习之路（三）