DVC视频压缩学习笔记

视频压缩利用可以预测的信息，量化则通过近似表示降低数据量。

一帧图像可以看作像素数组。常见的 8 位灰度像素取值为 0—255，视频是按时间排列的图像序列。空间冗余指同一帧中相邻像素的相关性；时间冗余指相邻帧之间的相关性。

对原始块 $X$，先生成预测块 $P$，计算残差：

如果精确传输残差，接收端可以通过 $X=P+E$ 恢复原图。常见有损编码进一步变换、量化残差，再进行熵编码。

教学例子：$X=[110,112]$，$P=[100,100]$，所以 $E=[10,12]$。使用一个两点求和、求差变换：

若量化步长为 5，则 $q=\operatorname{round}(T/5)=[4,0]$，反量化为 $\hat T=[20,0]$，逆变换得到 $\hat E=[10,10]$，最终重建为 $\hat X=[110,110]$。这是说明原理的两点变换；H.264 常用的变换包括 $4\times4$ 整数近似 DCT。

H.264 的编码器通常还需要选择预测模式、分块和量化参数。常用率失真代价为 $J=D+\lambda_R R$。运动搜索可以用绝对差之和作为基础匹配指标：

SAD 最小的候选预测不一定使总编码成本最小，因为运动和模式信息也要占用比特。

I、P、B 可分别理解为允许帧内预测、允许参考图像预测、允许两组参考列表组合预测的编码类型。严格说它们是切片类型。B 类型可以造成解码顺序与播放顺序不同；并非每个 B 块都必须同时使用前后两帧。

DVC 用运动分支生成预测，用残差分支补偿预测误差。

主论文第 3 节及图 2 是整个方法的阅读中心。P1

下面的函数名是为讲解定义的记号。运动分支为：

论文的运动补偿先变形，再利用参考图、变形图和解码光流进行修正：

残差分支为：

最终：

运动补偿使用解码光流 $\hat v_t$，参考帧使用重建结果 $\hat x_{t-1}$。 编码端与解码端必须从相同的已知信息生成预测。解码端不需要当前原始帧，也不重新估计光流。

论文图 3 的运动编码器经过四次空间下采样，将 $H\times W\times2$ 光流变成 $H/16\times W/16\times128$ 潜变量。潜变量通道不是图像颜色通道，量化后也不意味着每个数值只占一位。实际码率由符号及其概率共同决定。

共同的率失真损失，让运动和残差围绕最终效果协作。

论文公式（1）为：

$d$ 使用 MSE；两个编码成本项分别对应运动和残差信息。传统编码已经使用率失真优化，DVC 的贡献在于联合学习多个模块的参数。

光流改变后，运动码率、残差码率和最终失真都会变化。教学例子：若运动多花 0.01 bpp，却让残差少花 0.03 bpp，并保持最终失真不变，总码率就减少 0.02 bpp。

DVC 的 $\lambda_D$ 乘在失真项上，越大通常越重视画质。与 $D+\lambda_R R$ 比较时，在度量和归一化一致的前提下，等价的权重关系是 $\lambda_R=1/\lambda_D$。论文分别训练了 $\lambda_D=256,512,1024,2048$ 的四个模型。

取整几乎处处梯度为零。训练时使用均匀噪声近似量化，推理时取整：

给定采样噪声，$\partial\tilde s/\partial s=1$，梯度可以传回编码器。概率模型提供可微的编码成本估计，实际熵编码不参与这种逐操作反向传播。

论文训练还缓存已经重建的帧，供之后的训练迭代读取和更新，避免每次重新编码整段历史。该描述支持当前帧链路的联合训练，不能据此推断所有历史帧都展开并跨时间反向传播。

GDN 根据通道能量调节幅度，IGDN 学习近似逆变换。

对同一空间位置的多个通道，GDN 定义为：G1

分母中的加权平方和描述特征能量，$\beta_i$ 保证数值稳定。参数通过压缩目标学习，不使用当前批次的均值或方差。

若多个通道共享幅度因素 $x_i=s a_i$，其中 $s>0$，忽略较小的 $\beta_i$ 时：

共同幅度因素被削弱，有助于减少某些统计依赖；这不是特征完全独立的保证。

令 $S_i=\beta_i+\sum_j\gamma_{ij}x_j^2$，利用链式法则得到：

第一项来自分子，第二项来自分母。$\delta_{ik}$ 在 $i=k$ 时为 1，否则为 0；因此一个通道也能通过归一化影响其他通道。

教学代码使用正值重参数化和 $1\times1$ 卷积：

beta = F.softplus(self.beta_raw) + 1e-6
gamma = F.softplus(self.gamma_raw)[:, :, None, None]
norm = F.conv2d(x.square(), gamma, bias=beta).sqrt()
output = x / norm

IGDN 则为：

编码、解码两侧使用各自的可学习参数。IGDN 不是将同一组 GDN 参数直接代入就能获得的精确代数逆。

原 PyTorch GDN 使用平方重参数化和自定义 LowerBound。参数低于下界时，如果梯度会使参数回到可行区域，反向传播仍然放行。教学版改用 softplus，保留正值约束，但不保证与原权重兼容。

代码入口：教学 GDN、原 GDN。

金字塔光流先处理粗尺度运动，再逐层学习修正量。

亮度恒定假设给出：

对右侧作一阶展开，可得 $I_xu+I_yv+I_t\approx0$。一个像素只有一个约束却有两个位移未知量，所以需要邻域、纹理与先验信息。大运动还会削弱小位移近似的适用性。

SPyNet 在图像金字塔上由粗到细估计光流。原图中移动 32 个像素，在缩小到 $1/8$ 的图像中只移动约 4 个像素。F1

第 $k$ 层先放大已有光流，再变形参考图，最后估计修正量：

上采样后乘 2 是为了转换位移单位：粗图上 2 个像素的位移，对应尺寸加倍的细图上 4 个像素。

每层网络输入为 3 通道当前图、3 通道变形参考图和 2 通道光流，共 8 通道。卷积通道为 $8\to32\to64\to32\to16\to2$，卷积核为 $7\times7$，末层不加 ReLU。原 SPyNet 论文使用五级金字塔，对照的 DVC PyTorch 实现使用四级。

本地代码采用反向取样约定：输出位置 $(x,y)$ 到参考图像 $(x+u,y+v)$ 取值。因此，正水平位移表示向参考图右侧取样，不能直接解释成物体向右运动。

双线性插值让取样坐标可以接受梯度。令采样位置的水平、竖直小数部分为 $\alpha,\rho$，四个邻居为 $I_{00},I_{10},I_{01},I_{11}$：

在同一个插值单元内部：

因而图像误差能通过采样位置传给光流。均匀区域的梯度可能很小，也说明其运动难以仅靠局部外观唯一确定。教学版显式设置 grid_sample 的 align_corners=True，并使用与之匹配的坐标归一化。

原 SPyNet 的监督训练使用光流端点误差；进入 DVC 后，光流还需要服务于最终的画质和编码成本。论文损失中没有额外的真实光流监督项。

代码入口：采样与插值、教学光流网络、原光流网络。

概率模型通过量化区间的概率计算编码成本，超先验提供分布的条件信息。

设真实符号分布为 $q$，编码采用模型分布 $p$。理想平均码长是交叉熵：

模型不匹配会带来额外编码成本；压缩训练既学习特征，也学习其概率模型。E1

连续特征 $y$ 量化成整数 $k$，意味着它落在 $[k-1/2,k+1/2)$。若连续密度为 $f$、CDF 为 $F$，则：

连续密度值可以大于 1，不能直接当作整数符号的概率。代码需要计算区间概率，再计算 $-\log_2 p$。

BitEstimator 为每个通道学习一条 CDF，参数在空间位置之间共享。其非末层可以写成：

因为 $g'(u)=1+a(1-\tanh^2u)>0$，这些层保持单调。末层 sigmoid 将输出限制为 0—1，多层复合形成可学习 CDF。

残差特征在不同位置具有不同幅度，因此使用超编码器提取旁信息：

$\hat z$ 先被编码和传输。接收端先恢复 $\hat z$，再预测分布尺度 $b$，最后用相同的条件概率解码 $\hat y$。一旦 $\hat y$ 已经恢复，像素重建网络就不再需要 $\hat z$；这不代表熵解码时可以省略它。

Ballé 2018 的尺度超先验使用零均值 Gaussian 描述条件分布；对照的 PyTorch 重实现实际使用 Laplace：

$b$ 是尺度参数，标准差为 $\sqrt2b$。源码虽然使用 gaussian、sigma 等变量名，仍应以创建的 Laplace 对象为准。

实现将总成本分成三项：

旁信息也要付出成本。对 [B, 3, H, W] 图像，总 bpp 为：

分母是原图像素数，不是潜变量数，也不再乘 RGB 通道数 3。训练时若 $R(s)=-\log_2p(s)$，则：

该梯度把“特征如何变化能降低编码成本”的信号传给编码器；概率参数同时学习如何拟合特征分布。

代码入口：可学习 CDF、Laplace 区间概率、原概率估计器、原残差概率计算。

实验支持联合学习的价值，性能结论受指标、序列和编码配置影响。

论文使用 Vimeo-90k 训练，在 UVG 和 HEVC Class B/C/D/E 上评估。训练裁剪为 $256\times256$，批次大小为 4，Adam 初始学习率为 $10^{-4}$。传统基线使用 FFmpeg 的 veryfast 配置。P1P2

率失真曲线应在相同 bpp 下比较质量，或在相同质量下比较 bpp。补充表 1 所列 16 个 HEVC 序列的平均 BD-BR 如下，负数表示相对 H.264 节省码率：

DVC 平均优于论文配置下的 H.264；与 H.265 相比，平均 PSNR 结果仍有差距，MS-SSIM 结果更有竞争力。29.32% 的比较基线是 H.264。序列差异也明显，例如 BQMall 在 PSNR 下的 DVC BD-BR 为 +26.13%，并非所有序列都胜出。

主文表 1 对比了冻结与联合训练光流网络：

联合训练后，运动成本约降低 34%，变形图像 PSNR 提升 0.84 dB。这里测量的是变形图像，不是加上解码残差后的最终重建。

图 6 的消融进一步显示：去掉运动补偿修正网络，相同 bpp 下 PSNR 约下降 1 dB；去掉运动压缩网络或不使用运动，下降超过 2 dB；训练时用原始参考帧代替缓存重建帧，约损失 0.2 dB。

图 7 中联合训练后的重建光流有更多零运动区域。均匀区域即使使用不完全符合真实运动的光流，也可能生成接近的像素，因此压缩目标能够选择更容易编码的运动表示。最终码率仍取决于潜变量和概率模型。

图 8 中，随 $\lambda_D$ 增大，总码率上升，运动码率占比由 38.8% 降至 26.9%。占比下降不能直接推出运动的绝对码率下降。

方法的研究边界包括：主网络只使用一个过去的参考帧；不同工作点使用分别训练的模型；论文在 $352\times288$ 上报告约 24.5 fps 编码和 41 fps 解码，该速度不能直接用于推断高分辨率实时表现。

阅读实现时，先确定版本，再追踪张量和编码成本。

作者原始 TensorFlow 仓库的 README 则采用学习式图像压缩处理帧内图像，并明确说明公开代码没有提供熵编码模块，特征保存为 .pkl，报告估计 bpp。C1 上表的 PyTorch 版本与该原始仓库不可直接混为一谈。

本地教学模型没有预训练权重，与原仓库检查点不兼容。其 GDN 改用 softplus 参数化，超解码器也通过 softplus 保证尺度为正，并显式设置现代采样坐标约定。

按以下顺序读代码：

教学代码的核心前向过程为：

flow = model.flow(current, reference)
m_hat = quantize(model.motion_encoder(flow), model.training)
prediction, warped = model.predict(reference, m_hat)

y = model.residual_encoder(current - prediction)
z_hat = quantize(model.hyper_encoder(y.abs()), model.training)
scale = F.softplus(model.hyper_decoder(z_hat)) + 1e-4
y_hat = quantize(y, model.training)
reconstruction = prediction + model.residual_decoder(y_hat)

R_m = estimated_bits(model.motion_cdf.likelihood(m_hat))
R_z = estimated_bits(model.hyper_cdf.likelihood(z_hat))
R_y = estimated_bits(laplace_mass(y_hat, scale))

其中 model、current、reference 及函数定义来自教学文件；上面是主体流程摘录。训练步骤为：

B, _, H, W = current.shape
bpp = (R_m + R_z + R_y) / (B * H * W)
loss = 256 * F.mse_loss(reconstruction, current) + bpp
optimizer.zero_grad()
loss.backward()
optimizer.step()

原重实现的早期目标使用 $D=D_{\rm recon}+0.1(D_{\rm warp}+D_{\rm prediction})$，50 万步后去掉辅助项；原脚本还逐元素裁剪梯度。教学版使用梯度范数裁剪，不复现整套训练日程。

当前机器可用以下 PowerShell 命令检查数学与数据流，并运行三步合成训练：

& "D:\soft\py12\python.exe" "E:\Projects\research\paper-reading\dvc-internals\dvc_internals.py" --check --steps 3

已保存的 verification.json 记录了 CPU 上的验证：GDN 解析梯度、半像素插值及梯度、CDF 单调性与归一化、Laplace 区间概率、所有模块接受率失真梯度，以及从相同解码潜变量重建出相同图像。该记录使用 PyTorch 2.13.0+cu126，验证不代表真实数据集上的压缩性能。

实际熵编解码还需要双方一致的离散概率表、符号范围、终止及尾部处理，并需要统计旁信息和必要头信息。-log2(probability)、.pkl 文件大小和真实压缩码流大小是三个不同概念。

复习时用下面这些问题检查理解。

能够从图 2 独立写出“运动潜变量→解码光流→预测→残差潜变量→解码残差→最终重建”，并补上 $z$ 的条件解码关系、总 bpp 和损失函数，就建立了从论文到代码的对应关系。