反问题与正则化 (Inverse Problems & Regularization)

页面用途：Zhenyu 在 2021 年本科末期（Yuk Yung / King-Fai Li 指导）系统自学的数学方法领域。

定义

反问题 (Inverse Problem)：给定一个正向模型 $d=Ax+ϵ$（$A$ 为已知的观测/物理算子，$d$ 为观测数据，$x$ 为待反演的未知量，$ϵ$ 为噪声），求未知量 $x$ 的过程。

不适定 (Ill-posed) 遵循 Hadamard 1902 定义，一个问题如果不满足以下三条之一就是 ill-posed：

1. 解存在 (existence)
2. 解唯一 (uniqueness)
3. 解对数据连续依赖 (stability, 即小的数据扰动不应造成大的解变化)

离散反问题 (Discrete Inverse Problem)：物理上连续的反问题离散化后得到线性系统 $Ax=d$，其中 $A$ 常为条件数极大（$\text{cond}(A)\gg 1$）的矩阵——微小的数据噪声会被放大成解空间里的巨大扰动。

正则化 (Regularization) 的核心思想：放弃”严格拟合数据”（即求 $\min \Vert Ax-d{\Vert }^2$）的野心，换取解的稳定性，引入一个正则项 $R(x)$ 和正则化参数 $\lambda$：

${\min }_x\Vert Ax-d{\Vert }^2+\lambda R(x)$

常见的 $R(x)$：Tikhonov 的 $\Vert x{\Vert }^2$、$\Vert Lx{\Vert }^2$（$L$ 为差分算子给出平滑性约束）、sparsity 的 $\Vert x{\Vert }_1$（导向 compressive sensing）。

核心论点：正则化参数 $\lambda$ 的选择

$\lambda$ 过小 → 解被噪声主导（欠正则化）；$\lambda$ 过大 → 解被正则项主导，失真（过正则化）。选择”刚刚好”的 $\lambda$ 是反问题方法论的核心。Zhenyu 在 repo 中系统对比了四种方法：

1. L-Curve Method

• 绘制 $\log \Vert x_{\lambda }\Vert$ 对 $\log \Vert A{x}_{\lambda }-d\Vert$ 的对数对数图
• 曲线通常呈”L”形：水平段对应过正则化（$\Vert Ax-d\Vert$ 随 $\lambda$ 增加变化小），垂直段对应欠正则化（$\Vert x\Vert$ 随 $\lambda$ 减小爆炸）
• “拐角”处是最佳 $\lambda$
• 优点：几何直观、无需知道噪声水平
• 缺点：拐角定义依赖数据，有时曲线并无明显 L 形

2. L-Curve Curvature Method

• L-Curve 的数值增强版：显式计算曲率 $\kappa (\lambda )$，最佳 $\lambda$ 对应 $\kappa$ 极值
• 优点：自动化、无主观”拐角识别”
• 缺点：对噪声敏感，需要谨慎的数值求导

3. Generalized Cross Validation (GCV)

• Golub、Heath、Wahba 1979 提出
• 目标函数：$\text{GCV}(\lambda )=\frac{\Vert A{x}_{\lambda }-d{\Vert }^2}{[m-\text{tr}(I-H(\lambda )){]}^2}$，其中 $H(\lambda )$ 是”帽子矩阵”
• 本质：留一交叉验证的期望形式的闭式近似
• 优点：有强理论基础、无需噪声水平、完全自动
• 缺点：目标函数可能 flat（最小值区域不显著），在高度相关数据上会低估 $\lambda$

4. Morozov Discrepancy Principle

• 假设已知噪声水平 $\Vert ϵ\Vert \approx \delta$
• 选择 $\lambda$ 使 $\Vert A{x}_{\lambda }-d\Vert =\delta$（残差恰好等于噪声水平）
• 优点：统计上合理（解不应比数据噪声更精细）
• 缺点：必须预先知道 $\delta$，这在实际反演中经常不可得

不同观点 / 实践对比

Hansen（《Discrete Inverse Problems》2010）的立场：L-Curve 是首选——在未知噪声水平时，它的几何直觉最强、最鲁棒。书中大量例子（包括 gravity problem Fig 5.9）用的都是 L-Curve 搭配少量辅助方法。

Golub 1979 的 GCV 立场：GCV 在随机噪声下是统计最优的（在预测误差 $\Vert A(x_{\lambda }-x_{\text{true}}){\Vert }^2$ 的期望意义下）。适合噪声水平未知但分布假设成立的问题。

Zhenyu 在 DSCOVR 实验中观察到的（ DSCOVR_test/）：

• L-Curve 与 L-Curve Curvature 结果接近
• GCV 在真实 DSCOVR 数据上偏小（倾向于欠正则化）
• 没有”银弹”——最稳妥的做法是多种方法并用 + 检查解的物理合理性

核心工具

• SVD 分解 + Tikhonov 解析解：$A=U\Sigma V^T$，解写作 $x_{\lambda }={\sum }_i\frac{{\sigma }_i}{{\sigma }_i^2+\lambda }{u}_i^{T}d\cdot v_i$——filter factor 视角揭示了”哪些奇异方向被保留、哪些被压制”
• 条件数分析：$\text{cond}(A)={\sigma }_1/{\sigma }_n$ 估计问题的”坏度”
• Picard 条件：检查 $|u_i^{T}d|$ 是否在 ${\sigma }_i$ 衰减到噪声水平前衰减足够快——违反 Picard 条件意味着问题根本性无法从数据中恢复解
• Filter factors：$f_i(\lambda )={\sigma }_i^2/({\sigma }_i^2+\lambda )$，Tikhonov 把 $f_i$ 变成光滑过渡；Truncated SVD 把 $f_i$ 变成阶跃函数（选前 $k$ 个奇异分量）

开放问题

• 非线性反问题：这里讨论的都是线性 $Ax=d$。实际气候、医学成像、地球物理反演常是非线性的（$d=f(x)+ϵ$），正则化和参数选择还有什么差异？
• Bayesian 视角统一：正则化参数 $\lambda$ 在 Bayesian 里对应先验的 precision，选择 $\lambda$ 等价于 Type-II MLE / MAP——这与 GP-贝叶斯反演 的 MCMC over hyperparameter 观点的取舍？
• Deep learning 学的”正则化”：dropout、weight decay、data augmentation——和经典 Tikhonov 的数学联系？

应用场景

Zhenyu 已经用过或计划用的：

• DSCOVR 单点光曲线 → 地球表面反照率 map（）
• MODIS × CALIPSO 联合气溶胶反演（PKU-Undergraduate-Research）
• 核冬天中烟尘廓线反演（未来）
• 系外行星 spin-orbit tomography（Kawahara / Aizawa 方法）

迁移场景（其他领域）：

• 医学成像（CT、MRI）
• 地球物理勘探
• 遥感大气痕量气体反演（甲烷、CO₂）
• 天文图像重建

来源

• — 代码 + 四种方法的对比实验 + 自学笔记
• PKU-Undergraduate-Research — MCMC Retrieval Methods 项目背景
• 教科书（raw 里的 PDF）：Hansen《Discrete Inverse Problems》2010
• 原始论文（raw 里的 PDF）：Golub, Heath, Wahba 1979（GCV 发明）
• 讲义（raw 里的 PDF）：Morozov discrepancy principle
• [待补充] Zhenyu 的 research-angle 独立 LLM Wiki 中的进一步 .docx 学习笔记（例如 Hansen_numerical_test_zyh.docx、TestOnUsingKawahara_3pointsLinearRegress_HansenBookEg.docx）——将来合并进来后此 concept 页可扩展

相关页面

• GP-贝叶斯反演 — 正则化的 Bayesian 对偶视角
• MCMC-贝叶斯反演 — skill 页
• 卫星遥感与数据处理 — 应用载体

---