关于MLE loss的问题

[Crime2321]

小红书EGMN团队你们好：

我们在实现EGMN的时候有以下问题想咨询一下：

在论文中提到，MLE损失为 $-\frac{1}{N} \sum_{i=1}^{N} log p(t_i|x_i)$，其中 $p(t_i|x_i)$为 $f_{exp}(t_i | \lambda(x_i))$与 $f_{gauss}(t_i | \mu_k(x_i), \sigma_k^2(x_i))$的加权和。在我的理解中，该损失是希望把指数分布与高斯分布在真实时间t下的pdf通过加权和的方式汇总，再通过MLE损失将其优化至最小。

然而， pdf可能会极大。举个极端的例子，当 $\lambda = 1e10, t=1e-10$时， $f_{exp}(t_i | \lambda(x_i))=\lambda e^{-\lambda t}=\frac{1e10}{e} =3.6788e9$，高斯pdf同理。

在源码的实现中，我也看到log_prob_short = exp_dist.log_prob(y_true.view(-1)).view(batch_size, 1)这种用法，而这是将pdf的值取log后的结果，然而后续通过logsumexp又会将其指数化后再相加取log。

在实际训练过程中，会导致MLE损失失去控制，无法正常训练。

综上，想来咨询一下，在你们的实现过程中是否有遇到该问题？是否有更好的解决方案？

在我们的应用中，我们将 $p(t_i|x_i)$的公式修改为积分 $\int_{t_i}^{t_i+d} f_{exp}(t_i | \lambda(x_i)) d{t_i}$与积分 $\int_{t_i}^{t_i+d} f_{gauss}(t_i | \mu_k(x_i), \sigma_k^2(x_i)) d{t_i}$的加权和，确保其指代一个概率，其中d指一个时长区间，如果不做归一化则为1，做了归一化则为 $\frac{1}{\text{PlayDuration}_{max}}$。这样是否更合理一些？

[BestActionNow]

感谢你的反馈，虽然我们没有遇到这个问题，但你确实指出了一个潜在的导致模型训练失败的风险。这里我说几个可能的让我们规避遇到这个问题的原因：

• 我们使用了数值稳定的logsumexp函数来对混合分布的pdf进行加权求和操作。logsumexp函数底层实现的时候通过以下这个数值变换来确保数值稳定性: $log \sum_i e^{x_i} = x_{max}+log \sum_i e^{x_i-x_{max}}$， 其中 $e^{x_i-x_{max}} \leq 1$ ，保证所有指数运算的结果都在一个比较稳定的范围内，避免出现inf值以及梯度中的nan值。
• 对时长label进行归一化时的上限不能太高，如果这个上限太高，会导致归一化之后的时长值太小，容易导致指数项的pdf值过高。我们使用的是250进行归一化，这样label的最小值是 1/250。
• 合理的初始化方式，避免在模型训练的初始阶段就产生异常值。

另外你提出的这个方案相当于对混合分布在秒级进行了离散化，在计算pdf数值时可能更加稳定，不过其中的积分计算可能需要一定的近似操作，具体效果还有待验证。如果能够在保持精度和计算量的前提下提升模型的稳定性，也期待你分享相关的结果。

[luoyewuhen924]

我在实现EGMN的时候也遇到了同样的问题，我使用了数值稳定的logsumexp函数，同时模型热加载于一个训练良好的模型，不会出现初始化参数不合理的问题。但是仍然出现了MLE损失失控的现象，lambda收敛于e+10以上，gauss均值则收敛于e-10左右，最后预测得到的结果趋近于0。
看起来时长归一化是关键，请问您使用的时长标签单位是秒吗？在推理阶段是否将其*250进行还原？
另外，归一化后，loss计算可能会出现负值，这种情况要施加一些约束吗？

[BestActionNow]

• 时长标签的单位不是秒，会先用250s做上限截断，然后再归一化到0-1之间作为模型的label。
• 推理阶段不进行还原（这个可以看具体的需求，不是很关键）。
• 没有对负值做特殊的处理。