同一份静态资源,为什么两次打包的 ZIP 哈希不同?

老K 5 0

[aru_21] 两次发布之间,怎样判断静态资源包有没有变?如果发布脚本拿 ZIP 的 SHA-256 做判断,我会先给它出一道题:让首页和样式表的内容保持原样,只把它们装进 ZIP 的顺序调换一次。这个小实验里,两份包解出来一样,整个包的哈希却变了。

同一份静态资源,为什么两次打包的 ZIP 哈希不同?
本地实验结果示意。每一行只改变一个条件。

把差异缩小到一个条件

我准备了两个小文件,index.html 里只有一行标题,site.css 里只有一条颜色规则。两个文件的修改时间和权限都先固定下来,再用下面的函数做一份基准包。把目标写到内存里,是为了让每轮比较都从一份空归档开始。

from io import BytesIO
from zipfile import ZIP_STORED, ZipFile, ZipInfo

def ordinary(root, names):
    buffer = BytesIO()
    with ZipFile(buffer, "w") as archive:
        for name in names:
            archive.write(root / name, arcname=name)
    return buffer.getvalue()

第一轮把文件清单倒过来传入。第二轮恢复原顺序,只把首页文件的修改时间推后 60 秒。第三轮还原修改时间,只将首页文件权限从 0644 改为 0600。每轮都和最初的基准包逐字节比较。

三次都得到不同的 ZIP。用 ZipFile.infolist() 查看中央目录,能分别看到条目排列、date_time 和 external_attr 的变化。文件数据只是归档的一部分,这些字段也会进入最终字节流。排查两份包时,我会先比文件名清单,再比每个文件解出来的字节,最后看元数据。这样能分清楚究竟要修正构建产物,还是调整打包步骤。

给静态资源包定一套写入规则

这两个文件由浏览器读取,不需要执行权限,也不靠修改时间判断版本。我可以为它们统一写入普通文件权限 0644,用 ZIP 能表示的 1980 年 1 月 1 日作为条目时间。条目名直接取自随代码维护的相对路径清单,按名称排序。这样把项目放在另一层工作目录,也不会把机器上的绝对路径带进包里。

def pack(root, names):
    buffer = BytesIO()
    if len(set(names)) != len(names):
        raise ValueError("duplicate entry")
    with ZipFile(buffer, "w") as archive:
        for name in sorted(names):
            data = (root / name).read_bytes()
            info = ZipInfo(name, date_time=(1980, 1, 1, 0, 0, 0))
            info.create_system = 3
            info.external_attr = 0o100644 << 16
            info.compress_type = ZIP_STORED
            archive.writestr(info, data)
    return buffer.getvalue()

create_system = 3 指定 Unix 属性编码。0o100644 包含普通文件类型和权限,左移 16 位把它们放进 ZIP 的外部属性字段。为了让实验只涉及打包规则,我用了 ZIP_STORED 原样存储文件。换成压缩算法后,还需要固定并验证压缩器及其参数,包体积也要重新衡量。字段说明见 Python zipfile 文档,关于文件遍历顺序的讨论见 Reproducible Builds 的归档说明。

让同一个实验也能发现真实改动

如果只检查两次输出相等,一个总是返回空包的函数也能通过。我把新包重新打开,核对条目顺序,逐个读回文件并比较原始字节。随后把标题里的 Hello 改成 Hallo,文件长度不变,这次要求新包的字节一定发生变化。

实验还故意把首页列了两遍,以及额外列入一个不存在的样式表。前者会抛出 ValueError,后者会抛出 FileNotFoundError。函数只有在整个归档关闭后才返回结果,调用者可以在成功返回后再写入或上传发布包。

在本机 macOS 上用 Python 3.9.6 和 3.12.13 各跑了一次。下面是两次共同的输出,第二列表示普通打包是否等于基准包,第三列表示固定元数据后是否等于对应的基准包。

order False True
mtime False True
mode False True
ZIP SHA-256 cd0b323025c63da3503150b939d8fcd53fdda23cd4805889743da17da89c7d0a

最后一行是两个示例静态文件组成的规范化 ZIP 的哈希。读者下载的实验包里装的是 Python 脚本,两份文件的用途和内容各不相同。

用自己的两个文件试一次

下载 可复现 ZIP 实验包(ZIP)。解压后在目录内执行:

python3 demo.py

脚本只使用 Python 标准库,所有文件都在临时目录中创建。替换实验里的文件内容,再运行一次,可以看到新的基准哈希。接进自己的发布脚本时,先确定输入目录已经构建完成,并让文件清单只包含自己控制的普通资源文件。清单内路径和文件内容本身也要稳定,比如生成器把当前时间写进 HTML,每次构建仍会得到不同的包。

这个内存实现适合小型静态资源包。可执行脚本要单独指定权限,空目录和符号链接也需要各自的打包规则。大文件适合改成分块写入临时归档,关闭并检查后再交给发布步骤。这里实际验证的是上述两套 macOS Python 环境中的双文件案例。

发表评论 取消回复
OwO 图片 链接 代码

分享