前言
聊联邦学习的时候,常会听到一句「数据留在本地」。我读到这里会多停一下。假设训练真是在各台客户端做的,服务器没收到原始数据,手里却有刚送回来的更新。那我该从哪里看出,这件事对隐私有多大帮助?
我想先把服务器手里有什么这件事说清楚。换到别的场景,手里的东西也会换。可能是接口回来的预测概率,可能是整个模型文件,也可能是梯度。知道别人能看到哪一份,才好聊接下来的风险。
下面就顺着这些场景聊几种常见问题。有人想知道一条记录有没有进过训练,有人想知道某个属性。我们各看一下它们靠什么信号、结果该怎么看,再回到那些保护方法在管什么。算数字的例子我都用人工数据。
先建立威胁模型
所以我会先问四件事。谁看得到系统的结果,具体能看到哪些,手上已经知道什么,最后想判断的又是什么。带着这几句去看表,就比较好对上各篇论文在讲哪个场景。
| 场景 | 攻击者的观察 | 可能额外知道什么 |
|---|---|---|
| 分类服务的用户 | 最终标签、置信度或完整概率向量 | 候选样本及其真实标签、同分布数据 |
| 获得模型文件的人 | 参数、结构、中间表示或梯度 | 训练流程、预处理方式、部分训练数据 |
| 联邦学习服务器 | 各轮模型、客户端更新或聚合结果 | 客户端身份、参与记录、优化器配置 |
| 参与协作的客户端 | 收到的全局模型与自己的本地更新 | 自己持有的数据、部分其他公开信息 |
光看「黑盒」这个名字,我容易以为两篇文章说的是同一套接口。可以去看看实际返回的内容。收到一个标签,和拿到整串类别概率,手里能用的信息就差了不少。
还有一点容易漏,能看见结果的人,有没有办法改变过程?诚实但好奇的那一方会照协议走,拿到结果再分析。主动恶意的一方还可能动模型、参与者的选择或其他协议步骤。读安全结论时,我会把这个条件一并对上。
几类攻击分别在问什么?
| 攻击类型 | 目标 | 不应混淆的对象 |
|---|---|---|
| 成员推断(Membership Inference) | 判断一个候选样本是否参与训练 | 不等于恢复该样本的全部内容 |
| 属性推断(Attribute Inference) | 推断样本、用户或训练集合的敏感属性 | 不一定需要知道精确的成员身份 |
| 模型反演 / 梯度重建 | 从模型输出、表示或梯度恢复输入信息 | 类别代表性图像不一定是真实训练样本 |
| 训练数据提取(Training Data Extraction) | 从模型中获得实际训练内容 | 普通生成、相似内容与逐字复现需要区分 |
看到一个名字里带「攻击」的实验,我也会先翻一眼它最后在量什么。模型窃取想复制模型的能力或参数,对抗样本关心能不能改变预测。这一篇关心的几个问题,都要往回问能从模型里知道哪些训练数据的信息。
成员推断:为什么预测能暴露训练身份?
一个简单的损失阈值攻击
设候选样本为 $(x,y)$,攻击者可以得到目标模型的预测,并知道其标签。最简单的思路之一是计算损失,并按阈值判断:
其中 $m=1$ 表示训练集成员。这个攻击依赖一个经验信号:模型往往对训练样本拟合得更好,所以成员的损失可能较低。
想两个简单的例子,一条从没训练过的样本,刚好很好分,loss 也会很低。训练过的难样本则可能留下很高的 loss。要量这条规则本身的表现,我会把校准阈值用的数据和最后报结果的数据分开。
Shokri 等人的做法,可以拿来对照这个直觉。用影子模型和分类器去找成员和非成员的预测差异后,在那套黑盒实验里能看到风险。换个模型或者换份数据,我会回头看这些差异还在不在。1
平均准确率为什么不够?
定义
我看这两个缩写的时候会先数一下分母。TPR 数真正的成员里找出多少,FPR 数非成员里错叫成成员的比例。现在假定候选里成员占 $\pi$,再问一句,被叫成成员的人里到底有多少是真的?
随手算 10,000 个候选样本会好懂一点。取 $\pi=1%$,TPR 是 80%、FPR 是 1%。这么一算,真成员找出了 80 个,非成员却误报了 99 个。把这俩一起放进分母,精确率就只有大约 44.7%。
看到一个成员、非成员各一半的准确率,我会问,这个比例跟实际会遇到的一样吗?Carlini 等人的 LiRA 工作把低误报时还能找出多少成员也一起看了,比如 TPR@0.1% FPR。2
还有个小地方,真要量这么低的误报率,非成员得有足够多。手里只有几百个,碰巧一次没误报,我也只能说这次看到了零次。想稳定量到千分之一的水平,得再看看样本数够不够。
过拟合不是唯一解释
过拟合可以让两边的 loss 好分一些。就算训练和测试的平均 loss 挨得很近,我还会去看那几条比较特别的记录。内容重复了很多次,或者很少见、跟其他样本差得多,都可能被平均数遮过去。
做对照时,我会先看看两批数据是不是从相近的地方来的。类别、预处理和采集来源最好都匹配。要是这些条件本来就不同,得先弄清分类器分出来的究竟是成员身份,还是不同的数据来源。
属性推断与模型反演
说到属性,问题就又缩小了一点。可能有些特征已经知道,想从输出再猜一项。也可能看的是某台客户端的更新,想弄清它这台机器上的数据有怎样的分布。
我会把「猜得准」和「模型记住这条记录」分开看。用公开特征推断敏感属性,本身就可能造成隐私影响。想追问模型是否记住了这个人的训练记录,还需要另外找证据。
看模型反演的图,我会先问它对上的是哪个东西。它可能很符合分类器眼里某个人的样子,也可能真能对上一条训练记录。要说是后者,就得拿训练记录对一下,讲清楚匹配按什么标准,重建得怎么样。
梯度为什么可能泄露输入?
单样本线性模型的解析例子
先看一个最简单的模型:
令残差 $r=f_{w,b}(x)-y$,则
如果攻击者看到这两个单样本梯度,且 $g_b\ne0$,便可以逐坐标相除:
原始输入没有被上传,但梯度已经足以恢复它。下面仅用三个维度的人工数据验证这一点:
| |
这不是所有模型、所有批量设置都成立的公式。如果 $g_b=0$,相除不可用;如果看到的是多个样本的平均梯度,分子与分母分别变成加权和,通常不能用这个比值恢复每一个输入。
从解析恢复到梯度匹配
对于神经网络,可以把重建理解为寻找一组候选输入,使其产生的梯度与观察到的梯度接近:
其中 $R$ 表示先验或正则项,这个表达式只是单样本情形的示意。Deep Leakage from Gradients 展示了通过梯度匹配恢复训练输入的可能性;后续 Inverting Gradients 使用方向相关的目标与更强优化策略,进一步研究了图像重建。3、4
所以回头看某一次重建成不成功,我会找实验里到底给了哪些东西。batch 大小、模型、参数、已知标签、预处理、归一化,还有是不是看到了多步更新,都会影响结果。某次没重建出来就是这一套条件下的观察。改 batch、压缩或裁剪之后,想谈严格的隐私保证还要再分析。
训练数据提取:模型真的会复述原文吗?
如果问题变成「能不能把用过的内容拿回来」,我们就得比判断成员身份多走一步。看到语言模型生成一段熟悉的文字,我会想,这段是常见表达、公开材料,还是能核对到某条训练样本的原文?
Carlini 等人有一篇工作就做了后面这件事,把从模型里得到的文字和训练文本相互核对。这种能核对到样本的结果,读起来就能看见记忆带来的风险。5
做受控实验时,可以用自己造的、唯一而且没有真实敏感信息的 canary。它有没有进训练、出现了几次、模型最后吐了什么,都可以一起记下来。我会把结论放回这套条件里读,真实数据的风险还得结合它自己的情况来量。
到这里又要回到最早那个问题。没看到模型复述原文,还是可以继续问成员身份、属性和其他信息能不能被推断,这几个结果要分别看。
联邦学习为何不能自动解决隐私问题?
说回来,联邦学习把训练搬到了客户端,可以少往中心收一些原始数据。接下来我会去看客户端交回了什么。更新送出去了,里面还可能留着和本地数据有关的东西。
我会先看服务器手里是一台的更新,还是合起来的结果。换成只看到聚合值,能观察的东西就少了一些。再看这次参与了几台、有没有串通、会不会结合几轮,以及服务器能不能改动训练条件,才知道这个场景具体是什么样。
安全聚合这边,可以站在服务器那边看一遍。按相应的协议和安全假设,它拿到的是聚合值,各台明文输入在计算时会被挡住。最后公布的聚合结果或模型里还留着多少关于个体的信息,是接下来要问的事。6
所以我会分别记下,安全聚合管的是计算时哪些输入能被看到,DP 管的是发出去的结果受单个受保护单位影响多少。两者可以一起用。读到一个实现,我会再确认它用了哪个协议、参与人数、掉线和串通阈值,看看那份保证是按什么条件算的。
顺便说一下,上篇用 Dirichlet 分布划分 Non-IID 数据7时,有些客户端样本可能很少,标签也比较挤在一类。看到这个结果,我还会问实验到底给出了哪些观察、攻击在什么条件下做,才能看懂它对隐私风险说明了多少。
常见防御保护了什么?
| 手段 | 主要作用 | 需要保留的边界 |
|---|---|---|
| 数据最小化、敏感字段处理与去重 | 减少训练前进入系统的敏感内容和重复记忆机会 | 无法单独保证剩余数据不会泄露 |
| 正则化、早停等训练措施 | 改善泛化,可能降低部分成员推断信号 | 平均泛化良好不等于逐样本隐私保证 |
| 减少概率输出、查询限制与访问控制 | 减少攻击者的观察与调用能力 | 需要覆盖模型文件、日志及其他可访问输出 |
| 裁剪、量化、压缩或较大 batch | 改变更新中的信息及攻击难度 | 不经隐私分析,不能直接声称达到 DP |
| 安全聚合、加密计算或可信执行环境 | 在指定信任与协议假设下保护计算过程 | 合法发布的结果仍可能支持推断 |
| 差分隐私 | 限制受保护单位改变造成的输出分布变化 | 邻接关系、采样方式和完整隐私预算必须明确 |
DP-SGD 不只是给梯度加一点噪声
读 DP-SGD 的时候,可以顺着一次更新看。先把每条样本的梯度裁剪一下,再聚合,在聚合后加上按要求校准过的噪声。下面这个式子把那几步摆在了一起。
式子里 $C$ 是裁剪阈值,$\sigma$ 是噪声乘子,$\mathcal B$ 是这一批样本。如果你看到这儿想问 $(\varepsilon,\delta)$ 到底是多少,还得先定好邻接怎么定义、怎么采样,再看看隐私会计怎么做。8
看代码时我会顺手核对两处,裁剪是在单样本上做的还是在整个 batch 上做的,外面又看得到哪些结果。把裁剪移到 batch 上,敏感度和隐私会计就要重算。若还有未加噪的梯度被公开,那一份也得单独算进去。优化器、检查点、调参和额外统计发布同样要看它们透露了什么。
联邦这边还有个容易忘的数,一个用户可能有很多条记录。想保护这个用户,要在与这些贡献匹配的层级上控制影响,再按实际参加和发布的方式计算用户级保证。手里若只有记录级的参数,我会回到这个单位先核对一下。
群体规律和公开信息还是可能支持一些推断。我在这里会再回头看看,邻接到底允许我们换掉了什么,观察者还知道什么。这个问题在隐私计算中的信息论9里也接着聊过。
怎样设计一个有说服力的隐私实验?
换成自己看一份实验,我会先把它给出去的东西和保护的单位写下来。测的是拿到最终预测时的风险,还是拿到训练梯度时的风险?要说的是一条记录,还是某个用户的所有数据?
再回头看它报了哪些数。成员推断我会找低 FPR 下的 TPR,也看看实际成员占比。重建实验要看和真实输入怎么比、整体误差和成功率。提取实验则去数有多少匹配能核实。图好看可以帮我看明白一个例子,全体样本的表现还得看这些数。
我还会查校准和最终评价有没有分开,两组数据的分布是怎么对齐的。训练、攻击优化和分数据的种子一变,结果也可能跟着变。看平均之外,我想看波动和失败的那些例子。
看一种防御时,我会把几种合理的攻击基线放在一起,顺带问它们是不是知道这套防御。某种攻击这次没成功,是一条实验结果。想再往前说有理论保证,就去看证明或者可信实现给的隐私会计。
结语
写到最后,我会把开始的问题再问具体一点。我们是怕别人知道哪条样本参加过训练、知道某个属性,还是怕输入或训练原文被拿回来?把这个秘密说清了,就知道该回头看哪种观察。
下次再听到「原始数据留在本地」,我想顺着问下去,哪些数据在训练一开始就可以少收一点,哪些中间结果要挡住,最后发出来的东西又允许被一条记录影响到什么程度。这样再回去看威胁模型和实验,就能对上每条保证是在管哪一步。

