ESP-IDF 使用-O2编译参数编译报错

[qingehao]

问题报错如下：

对应出错代码为 in_buffer_.insert(in_buffer_.end(), pcm.begin(), pcm.end());
`
void OpusEncoderWrapper::Encode(std::vector<int16_t>&& pcm, std::function<void(std::vector<uint8_t>&& opus)> handler) {
if (audio_enc_ == nullptr) {
ESP_LOGE(TAG, "Audio encoder is not configured");
return;
}

if (in_buffer_.empty()) {
    in_buffer_ = std::move(pcm);
} else {
    in_buffer_.insert(in_buffer_.end(), pcm.begin(), pcm.end());
}

while (in_buffer_.size() >= frame_size_) {
    std::vector<uint8_t> opus(MAX_OPUS_PACKET_SIZE);
    auto ret = opus_encode(audio_enc_, in_buffer_.data(), frame_size_, opus.data(), opus.size());
    if (ret < 0) {
        ESP_LOGE(TAG, "Failed to encode audio, error code: %ld", ret);
        return;
    }
    opus.resize(ret);

    if (handler != nullptr) {
        handler(std::move(opus));
    }

    in_buffer_.erase(in_buffer_.begin(), in_buffer_.begin() + frame_size_);
}

}
`

[crushonme]

同样遇到该报错。

[crushonme]

@qingehao fixed with below code:

    if (in_buffer_.empty()) {
        in_buffer_ = std::move(pcm);
    } else {
        in_buffer_.reserve(in_buffer_.size() + pcm.size());
        in_buffer_.insert(in_buffer_.end(), pcm.begin(), pcm.end());
    }

[78]

你的代码 in_buffer_.insert(in_buffer_.end(), pcm.begin(), pcm.end()) 是否会溢出取决于以下几个因素：

1. std::vector<int16_t> 的 max_size()：

   • std::vector 有一个理论上的最大大小（max_size()），由系统内存和实现限制决定。
   • 在大多数现代系统上，int16_t 是 2 字节，因此 max_size() 通常是 size_t 的最大值除以 2（即 SIZE_MAX / 2）。
   • 如果 in_buffer_.size() + pcm.size() 超过 in_buffer_.max_size()，insert 会抛出 std::length_error 异常。

2. 可用内存：

   • 即使没有超过 max_size()，如果系统没有足够的连续内存来扩容 in_buffer_，insert 可能会抛出 std::bad_alloc 异常。

3. pcm 的范围：

   • 如果 pcm 是一个非常大的范围（比如从文件或网络流中读取的无限数据），可能会导致内存耗尽。

如何避免溢出？

• 检查剩余容量：

  if (pcm.size() > in_buffer_.max_size() - in_buffer_.size()) {
      // 处理错误：超出最大容量
  }
  in_buffer_.insert(in_buffer_.end(), pcm.begin(), pcm.end());

• 使用 try-catch 捕获异常：

  try {
      in_buffer_.insert(in_buffer_.end(), pcm.begin(), pcm.end());
  } catch (const std::length_error& e) {
      // 处理容量超出 max_size()
  } catch (const std::bad_alloc& e) {
      // 处理内存不足
  }

总结

• 不会溢出：如果 pcm.size() 合理，且 in_buffer_ 的当前大小 + pcm.size() 不超过 max_size() 和可用内存。
• 会溢出：如果 pcm 过大，导致超过 max_size() 或内存不足，此时会抛出异常。

如果你的 pcm 是来自实时音频数据（如 PCM 流），通常不会一次性插入超大量数据，但仍建议做边界检查以确保安全。

===========================

看起来像是编译器的优化问题。

[crushonme]

编译器 O2时开启了stringop_overflow 的检测，上面的代码可能会导致overflow，所以会有对应的报错。加了in_buffer_.reserve(in_buffer_.size() + pcm.size());后这块交给std::vector 自行处理。

[78]

通常这里应该可以忽略，类似

int a, b, c;
c = a + b;

这里的c也有溢出的风险，是否应该报错

[qingehao]

使用in_buffer_.reserve(in_buffer_.size() + pcm.size());预留空间后仍然存在该报错，我探究了一下该问题的根本原因。

1. 编译器报错的原因在于它无法确定此时插入操作的安全性，这个不确定的因素来自于pcm的size可能是未知的
2. 可能导致pcm的size为未知的原因，应该是pcm作为右值传参进来，而后经过std::move之后，pcm就处于了未定义状态
3. 虽然不可能发生这种状况，因为它是另一个条件路径下的语句，但我尝试将 if (in_buffer_.empty()) 分支下的std:move删除，发现编译错误便消失了，因此我猜测在-O2优化下，move的操作应该进入到这个函数中便会存在。
4. 明确原因后，我建议直接使用copy操作，修改代码如下

    if (in_buffer_.empty()) {
        in_buffer_ = std::move(pcm);
    } else {
        /* ISSUE: https://github.com/78/esp-opus-encoder/issues/1 */
        in_buffer_.reserve(in_buffer_.size() + pcm.size());
        std::copy(pcm.begin(), pcm.end(), std::back_inserter(in_buffer_));
    }

[78]

O2在哪里开启的，我也测试一下

[qingehao]

我是直接在ESP-IDF的menuconfig中开启的
Kconfig Name: COMPILER_OPTIMIZATION

[skywodpeng]

使用in_buffer_.reserve(in_buffer_.size() + pcm.size());预留空间后仍然存在该报错，我探究了一下该问题的根本原因。

1. 编译器报错的原因在于它无法确定此时插入操作的安全性，这个不确定的因素来自于pcm的size可能是未知的
2. 可能导致pcm的size为未知的原因，应该是pcm作为右值传参进来，而后经过std::move之后，pcm就处于了未定义状态
3. 虽然不可能发生这种状况，因为它是另一个条件路径下的语句，但我尝试将 if (in_buffer_.empty()) 分支下的std:move删除，发现编译错误便消失了，因此我猜测在-O2优化下，move的操作应该进入到这个函数中便会存在。
4. 明确原因后，我建议直接使用copy操作，修改代码如下

    if (in_buffer_.empty()) {
        in_buffer_ = std::move(pcm);
    } else {
        /* ISSUE: https://github.com/78/esp-opus-encoder/issues/1 */
        in_buffer_.reserve(in_buffer_.size() + pcm.size());
        std::copy(pcm.begin(), pcm.end(), std::back_inserter(in_buffer_));
    }

这个copy的方案有okay不？