在图像统计模型中，一幅影像I被认为是具有机率密度函式p(I)的影像集的一个随机实现，或称为随机样本(可以认为P(I)是影像的先验机率分布)。一个好的统计模型应该能够準确地表示影像I在类别C上的随机分布模型P(I| c)——似然性(likelihood)估计。类别ψc由一个参数集来定义。统计图像模型的主要思想是：首先用样本图像对模型进行训练，对参数ψc进行估计，得到模型后，再利用贝叶斯法则(Bayes rule)或其他方法对图像进行诸如增强、去噪、分割等处理和分析。

由于现实世界的複杂性，一幅图像经常包括数以百万计的像素，而且每个像素可能取灰度级中的任意一个值，因此对图像建立一个统一的通用统计模型是极为困难的。为了降低这种複杂性，统计图像模型一般基于以下两点假设。

(1)机率结构是局部性的。

(2)空间同质性，即不论空间上的绝对位置如何，相邻像素具有相同的分布。

基于以上两个假设，前人进行了大量的工作，建立了多种模型，而其中比较成功的一种模型是马尔可夫随机场模型。

马尔科夫随机场是最流行的适用于格线状、类似于图像的数据的先验模型。这种数据不仅包括通常意义下的自然图像，也包括类似于光流的二维场、深度图或二值场，如图像分割结果。马尔科夫随机场是具有马尔科夫特性的随机场，作为机率论的分支，该方法通常被用于标籤分配以建立各标籤的机率分布。

在许多图像处理的套用研究中， 统计模型参数的準确估计对后续图像处理产生至关重要的影响，根据建立统计模型的形式不同， 对模型参数的估计形式也将不同。目前对统计模型参数估计常用的方法主要有最大似然估计、最大后验机率估计、最大熵估计以及期望最大值算法等。

最大似然估计适用于每类样本的分布函式已知，函式的参数未知，利用已知的样本估计未知的参数， 且每类样本不影响其他类参数的估计；

最大后验机率估计适用于机率密度函式的参数服从某一分布的情形，常称为先验分布，利用贝叶斯準则，得出给定样本参数的最大后验机率估计。当参数的先验机率服从均匀分布时，最大后验机率估计演化为最大似然估计，当样本点趋向于无穷大时，最大后验机率估计渐进地逼近最大似然估计；熵的概念来源于香农的信息编码理论，它是对随机事件的一种度量方法，在图像处理中，往往是先验信息的机率密度函式未知，但却已知与其相关的约束条件，如某一区间内的积分或图像的局部统计分布等，利用这些信息将先验信息的求解问题转化为在给定约束条件下先验信息的最大熵估计。如果先验信息机率分布函式的参数已知，则最大熵估计得到的先验信息模型服从均匀分布，如果先验信息模型的参数均值和方差未知，则最大熵估计得到的先验信息模型服从高斯分布；

期望最大值算法是根据样本引入丢失数据集，利用先验信息模型刻画丢失数据集，然后计算由样本和丢失数据集组成完全数据集机率密度函式的数学期望，得到丢失数据集的后验分布，进而求得模型参数的最大估计值。此算法解决了非线性机率密度函式与未知参数的祸合估计问题，在参数叠代估计过程中增加似然函式的值，算法收敛平稳，计算性能比牛顿叠代搜寻算法更有效，无需计算複杂海森矩阵，目前备受关注，在图像统计模型参数估计中得到了广泛套用。

统计图像模型为图像处理和分析提供了一个统一的框架。与确定性模型相比，它具有以下几个优点

(1)统计模型可以直接利用贝叶斯推断算法。

(2)由于模型本身考虑了不正确的预测结果，从理论上来说其可信度优于确定性模型。

(3)统计模型为未知数据或图像提供了一种先验机率分布，可以检验观测数据与模型的相符情况。

统计模型，是从一维信号处理理论推广得到的，所以从这一角度而言，图像处理方法很多也都是由信号处理的方法推广得到的。因此，统计模型在相当範围内与图像处理方法吻合得很好。特别是根据统计模型，可以设计、构成符合各种处理目的的最佳滤波器。作为基于统计模型的这种滤波器的套用，有噪声消除、平滑、图像增强、图像恢复等。还有，即使是数据压缩，利用统计模型方法的也很多。

可是，作为图像模型，统计模型不能充分表达所有的图像性质。虽然针对图像的区域、边缘等结构特徵，也提出了一些基于统计模型的区域、边缘提取方法。

图像的局部统计特性随着不同的区域变化，给处理带来了很大的困难，非平稳图像模型在一定程度上能较好的描述图像局部特性(边缘、纹理)，但实际自然图像千差万别，20世纪初期以来不少学者提出了新的统计图像模型，如自然图像的滤波器回响表现为显着非高斯性，图像变换域/梯度图具有稀疏性，即统计上的“重拖尾”现象。用模型参数来确定规整化运算元及相关参数，则易于抑制寄生波纹和重建过程的噪声放大，利于求稀疏解。

能否将一维信号处理基础上开发的自回归模型(auto—regressivemodel)、马尔可夫模型(Markov model)、自回归移动平均模型(auto—regressivemoving average model)等简单扩展到二维图像的情形，是相关研究的起点。所以在统计模型中，和声音信号处理的原理相同，是想将信号的相关性及空间频谱等特徵赋予图像。

由于这些模型是将当前关注像素和其周围像素的局部区域关係表现作为重点，对于自然图像中经常出现的图像整体上长周期的纹理和结构等成分，很多情况下不能很好地表达，所以为了改变这一缺点出现了分形模型(fractal model)。