问答

概率论是对已有的数据分析，得到其特征和规律。 统计学是根据已有的结果，推断背后的规律。

概率论：公理化（定义概率）——大数定理（均值收敛/期望）——中心极限定理（分布收敛/归一化）

统计学：现实数据（描述）——抽样分布理论（特征）——参数估计（估计）——假设检验（决策）

大数定理指出：样本均值趋于总体均值（真实期望） 关心的是样本均值的收敛性（这个点依概率收敛到总体期望） 提供了稳定性。

中心极限定理：独立同分布的随机变量趋于正态。 关心的是样本均值的分布形状（标准化后收敛到正态分布） 为估计提供了量化工具来计算概率。

对于点估计，主要最大似然估计、矩估计。 对于区间估计，抽样分布理论 t分布，f分布，正态分布，卡方分布

无偏性，有效性，一致性。

比如公理化定义后，后续证明的基石，导向了均值（大数定理）和分布（中心极限定理）的马尔可夫不等式，切比雪夫不等式。

比如估计的方法上，主要包括最大似然估计，矩估计。

长期以来，频率学派一直占据重要的主导地位，但随着计算机的兴起，贝叶斯学派接受的人越来越多。 贝叶斯学派：概率是对不确定性的主观信任程度，认为参数是随机的。 传统频率学派：概率是大量实验中的比例（频率）。

在数据科学和机器学习上，概率统计作为理论的基石，不论思想还是方法上都是处理的重要工具。

（1）随着已有的基础理论不断完善，对现实世界动态波动的概率的研究成为主流，建立了随机过程这一基础上的领域。

马尔可夫过程（未来只依赖现在）——鞅论——随机分析 泊松过程 布朗运动

（3）面向认知与信息

信息论：熵，互信息，KL散度。