LTO Tape Data Index

该项目用于整理 LTO 磁带的备份数据，详细记录索引和内容说明。

整理好的源数据请见 index.xlsx

数据存取方案：LTFS + LTFS ZIP Archiver

经过多个方案的尝试，我选择 LTFS + LTFS ZIP Archiver 直接写入数据到磁带 (LTO 5+)。

加密使用 LTOEnc 开启磁带机自带的硬件加密。

压缩使用 LTFS 在格式化磁带时选择开启的压缩功能。

使用自实现的 LTFS ZIP Archiver 创建 zip 档案。

LTFS ZIP Archiver 实现了按顺序写入 zip 档案压缩数据，适用于写入磁带，防止倒带降低速度。

经测试，此方案即使在处理大量小文件时，也能保持满速写入（140+ MB/s, LTO 5）

优点

• 使用的软件全部开源且为通用标准
• 直接使用磁带机硬件加密，不损失性能
• 通过 LTFS ZIP Archiver 直接写入磁带，避免 LTFS 处理小文件速度过慢的问题
• LTFS ZIP Archiver 为顺序写入磁带进行优化，存取速度快，效率较高
• LTFS ZIP Archiver 写入时自动计算 SHA256 hash 并写入到 .sha256 文件，并且不损失写入速度
• 无需预先在硬盘中打包生成 hash，方便后续的数据校验
• 当处理的数据大于单带容量时，可以手动拆分数据，并存储到多个磁带
• 适合个人手动归档数据
• 在开源方案中，传输速度可达到 LTO 标准上限

读取时的注意事项

• 从硬盘中读取 zip 归档数据时，由于文件头存储在磁带尾部， 需等待磁带先倒带到最后，再倒带到恢复数据的最开始，才能开始读取数据 （这个几乎不影响读取性能，专业软件也需要读文件头，只不过它们把文件头放到了磁带头部； tar 格式需要读取完整个磁带的数据才能显示文件列表，使用 zip 归档在等量的数据下比 tar 要快得多）

归档方案

热备份数据

实时同步重要目录到常用机械盘

冷备份数据

定期备份完整系统盘到冷备机械盘

热重要归档数据

（数据还有可能再次被改动，从而需要再次归档新的所有数据）

初次仅归档一份数据到一张磁带，后续每半年归档一次当前状态下的所有数据到新磁带上，不改动旧的归档数据

冷重要归档数据

（几乎不会再改动的数据）

初次直接归档两份数据到两张磁带

普通归档数据

直接归档一份到磁带中即可

数据冗余

由于成本过高没法用其他介质，仅满足 3-1-1 规则

维护

所有磁带每一年倒一次带

每两年校验一次全盘 SHA256 hash

如果某一个归档出现读取/校验错误，立即复制完好归档数据到新磁带；

如果数据部分损坏则尽量修复

每五年将所有归档数据更换到下一代/新的存储介质，如果未损坏则继续保留

尝试过的其他数据存取方案

Backup Exec

优点

• 专业化备份软件，功能一应俱全

缺点

• 跑不起来，用起来麻烦
• 需要昂贵的许可证

Iperius Backup

优点

• 专为磁带设计的存储格式，文件头存储在磁带头部，存取速度较快

缺点

• 不开源，没有软件就读不出数据
• 单带无法追加数据，如果备份数据没有存满磁带，剩余空间无法追加存储其他数据，浪费多余的磁带空间
• 多磁带的拆分数据备份非常麻烦，需要一个一个添加目录，不能直接全选目录添加

LTFS + FastCopy 直接存文件

优点

• 操作方便，只需打开资源管理器就能查看文件

缺点

• 当写入大量小文件时，速度会非常缓慢（~10 files/s）

LTFS + 7-Zip (zip)

缺点

• 7-Zip zip 实现包含随机读写，写入磁带会发生倒带，降低写入效率。

LTFS + 7-Zip (7z)

缺点

• 比 LTFS + 7-Zip (zip) 更慢