前言

聊联邦学习的时候,常会听到一句「数据留在本地」。我读到这里会多停一下。假设训练真是在各台客户端做的,服务器没收到原始数据,手里却有刚送回来的更新。那我该从哪里看出,这件事对隐私有多大帮助?

我想先把服务器手里有什么这件事说清楚。换到别的场景,手里的东西也会换。可能是接口回来的预测概率,可能是整个模型文件,也可能是梯度。知道别人能看到哪一份,才好聊接下来的风险。

下面就顺着这些场景聊几种常见问题。有人想知道一条记录有没有进过训练,有人想知道某个属性。我们各看一下它们靠什么信号、结果该怎么看,再回到那些保护方法在管什么。算数字的例子我都用人工数据。

先建立威胁模型

所以我会先问四件事。谁看得到系统的结果,具体能看到哪些,手上已经知道什么,最后想判断的又是什么。带着这几句去看表,就比较好对上各篇论文在讲哪个场景。

场景攻击者的观察可能额外知道什么
分类服务的用户最终标签、置信度或完整概率向量候选样本及其真实标签、同分布数据
获得模型文件的人参数、结构、中间表示或梯度训练流程、预处理方式、部分训练数据
联邦学习服务器各轮模型、客户端更新或聚合结果客户端身份、参与记录、优化器配置
参与协作的客户端收到的全局模型与自己的本地更新自己持有的数据、部分其他公开信息

光看「黑盒」这个名字,我容易以为两篇文章说的是同一套接口。可以去看看实际返回的内容。收到一个标签,和拿到整串类别概率,手里能用的信息就差了不少。

还有一点容易漏,能看见结果的人,有没有办法改变过程?诚实但好奇的那一方会照协议走,拿到结果再分析。主动恶意的一方还可能动模型、参与者的选择或其他协议步骤。读安全结论时,我会把这个条件一并对上。

几类攻击分别在问什么?

攻击类型目标不应混淆的对象
成员推断(Membership Inference)判断一个候选样本是否参与训练不等于恢复该样本的全部内容
属性推断(Attribute Inference)推断样本、用户或训练集合的敏感属性不一定需要知道精确的成员身份
模型反演 / 梯度重建从模型输出、表示或梯度恢复输入信息类别代表性图像不一定是真实训练样本
训练数据提取(Training Data Extraction)从模型中获得实际训练内容普通生成、相似内容与逐字复现需要区分

看到一个名字里带「攻击」的实验,我也会先翻一眼它最后在量什么。模型窃取想复制模型的能力或参数,对抗样本关心能不能改变预测。这一篇关心的几个问题,都要往回问能从模型里知道哪些训练数据的信息。

成员推断:为什么预测能暴露训练身份?

一个简单的损失阈值攻击

设候选样本为 $(x,y)$,攻击者可以得到目标模型的预测,并知道其标签。最简单的思路之一是计算损失,并按阈值判断:

$$ \widehat m(x,y)=\mathbf 1\{\ell(f_w(x),y)\le\tau\}, $$

其中 $m=1$ 表示训练集成员。这个攻击依赖一个经验信号:模型往往对训练样本拟合得更好,所以成员的损失可能较低。

想两个简单的例子,一条从没训练过的样本,刚好很好分,loss 也会很低。训练过的难样本则可能留下很高的 loss。要量这条规则本身的表现,我会把校准阈值用的数据和最后报结果的数据分开。

Shokri 等人的做法,可以拿来对照这个直觉。用影子模型和分类器去找成员和非成员的预测差异后,在那套黑盒实验里能看到风险。换个模型或者换份数据,我会回头看这些差异还在不在。1

平均准确率为什么不够?

定义

$$ \operatorname{TPR}=P(\widehat m=1\mid m=1), \qquad \operatorname{FPR}=P(\widehat m=1\mid m=0). $$

我看这两个缩写的时候会先数一下分母。TPR 数真正的成员里找出多少,FPR 数非成员里错叫成成员的比例。现在假定候选里成员占 $\pi$,再问一句,被叫成成员的人里到底有多少是真的?

$$ P(m=1\mid\widehat m=1)= \frac{\pi\operatorname{TPR}} {\pi\operatorname{TPR}+(1-\pi)\operatorname{FPR}}. $$

随手算 10,000 个候选样本会好懂一点。取 $\pi=1%$,TPR 是 80%、FPR 是 1%。这么一算,真成员找出了 80 个,非成员却误报了 99 个。把这俩一起放进分母,精确率就只有大约 44.7%。

看到一个成员、非成员各一半的准确率,我会问,这个比例跟实际会遇到的一样吗?Carlini 等人的 LiRA 工作把低误报时还能找出多少成员也一起看了,比如 TPR@0.1% FPR。2

还有个小地方,真要量这么低的误报率,非成员得有足够多。手里只有几百个,碰巧一次没误报,我也只能说这次看到了零次。想稳定量到千分之一的水平,得再看看样本数够不够。

过拟合不是唯一解释

过拟合可以让两边的 loss 好分一些。就算训练和测试的平均 loss 挨得很近,我还会去看那几条比较特别的记录。内容重复了很多次,或者很少见、跟其他样本差得多,都可能被平均数遮过去。

做对照时,我会先看看两批数据是不是从相近的地方来的。类别、预处理和采集来源最好都匹配。要是这些条件本来就不同,得先弄清分类器分出来的究竟是成员身份,还是不同的数据来源。

属性推断与模型反演

说到属性,问题就又缩小了一点。可能有些特征已经知道,想从输出再猜一项。也可能看的是某台客户端的更新,想弄清它这台机器上的数据有怎样的分布。

我会把「猜得准」和「模型记住这条记录」分开看。用公开特征推断敏感属性,本身就可能造成隐私影响。想追问模型是否记住了这个人的训练记录,还需要另外找证据。

看模型反演的图,我会先问它对上的是哪个东西。它可能很符合分类器眼里某个人的样子,也可能真能对上一条训练记录。要说是后者,就得拿训练记录对一下,讲清楚匹配按什么标准,重建得怎么样。

梯度为什么可能泄露输入?

单样本线性模型的解析例子

先看一个最简单的模型:

$$ f_{w,b}(x)=w^{\mathsf T}x+b, \qquad \ell=\frac12(f_{w,b}(x)-y)^2. $$

令残差 $r=f_{w,b}(x)-y$,则

$$ g_w=\nabla_w\ell=rx, \qquad g_b=\frac{\partial\ell}{\partial b}=r. $$

如果攻击者看到这两个单样本梯度,且 $g_b\ne0$,便可以逐坐标相除:

$$ x=\frac{g_w}{g_b}. $$

原始输入没有被上传,但梯度已经足以恢复它。下面仅用三个维度的人工数据验证这一点:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
import numpy as np

x = np.array([0.2, 0.7, -0.4])
w = np.array([0.3, -0.2, 0.5])
b, y = 0.1, 1.0

residual = w @ x + b - y
weight_gradient = residual * x
bias_gradient = residual
assert bias_gradient != 0

reconstructed = weight_gradient / bias_gradient
assert np.allclose(reconstructed, x)
print(reconstructed)

这不是所有模型、所有批量设置都成立的公式。如果 $g_b=0$,相除不可用;如果看到的是多个样本的平均梯度,分子与分母分别变成加权和,通常不能用这个比值恢复每一个输入。

从解析恢复到梯度匹配

对于神经网络,可以把重建理解为寻找一组候选输入,使其产生的梯度与观察到的梯度接近:

$$ \min_{\widetilde x,\widetilde y} \left\|\nabla_w\ell(f_w(\widetilde x),\widetilde y)-g_{\mathrm{obs}}\right\|^2 +\lambda R(\widetilde x). $$

其中 $R$ 表示先验或正则项,这个表达式只是单样本情形的示意。Deep Leakage from Gradients 展示了通过梯度匹配恢复训练输入的可能性;后续 Inverting Gradients 使用方向相关的目标与更强优化策略,进一步研究了图像重建。3、4

所以回头看某一次重建成不成功,我会找实验里到底给了哪些东西。batch 大小、模型、参数、已知标签、预处理、归一化,还有是不是看到了多步更新,都会影响结果。某次没重建出来就是这一套条件下的观察。改 batch、压缩或裁剪之后,想谈严格的隐私保证还要再分析。

训练数据提取:模型真的会复述原文吗?

如果问题变成「能不能把用过的内容拿回来」,我们就得比判断成员身份多走一步。看到语言模型生成一段熟悉的文字,我会想,这段是常见表达、公开材料,还是能核对到某条训练样本的原文?

Carlini 等人有一篇工作就做了后面这件事,把从模型里得到的文字和训练文本相互核对。这种能核对到样本的结果,读起来就能看见记忆带来的风险。5

做受控实验时,可以用自己造的、唯一而且没有真实敏感信息的 canary。它有没有进训练、出现了几次、模型最后吐了什么,都可以一起记下来。我会把结论放回这套条件里读,真实数据的风险还得结合它自己的情况来量。

到这里又要回到最早那个问题。没看到模型复述原文,还是可以继续问成员身份、属性和其他信息能不能被推断,这几个结果要分别看。

联邦学习为何不能自动解决隐私问题?

说回来,联邦学习把训练搬到了客户端,可以少往中心收一些原始数据。接下来我会去看客户端交回了什么。更新送出去了,里面还可能留着和本地数据有关的东西。

我会先看服务器手里是一台的更新,还是合起来的结果。换成只看到聚合值,能观察的东西就少了一些。再看这次参与了几台、有没有串通、会不会结合几轮,以及服务器能不能改动训练条件,才知道这个场景具体是什么样。

安全聚合这边,可以站在服务器那边看一遍。按相应的协议和安全假设,它拿到的是聚合值,各台明文输入在计算时会被挡住。最后公布的聚合结果或模型里还留着多少关于个体的信息,是接下来要问的事。6

所以我会分别记下,安全聚合管的是计算时哪些输入能被看到,DP 管的是发出去的结果受单个受保护单位影响多少。两者可以一起用。读到一个实现,我会再确认它用了哪个协议、参与人数、掉线和串通阈值,看看那份保证是按什么条件算的。

顺便说一下,上篇用 Dirichlet 分布划分 Non-IID 数据7时,有些客户端样本可能很少,标签也比较挤在一类。看到这个结果,我还会问实验到底给出了哪些观察、攻击在什么条件下做,才能看懂它对隐私风险说明了多少。

常见防御保护了什么?

手段主要作用需要保留的边界
数据最小化、敏感字段处理与去重减少训练前进入系统的敏感内容和重复记忆机会无法单独保证剩余数据不会泄露
正则化、早停等训练措施改善泛化,可能降低部分成员推断信号平均泛化良好不等于逐样本隐私保证
减少概率输出、查询限制与访问控制减少攻击者的观察与调用能力需要覆盖模型文件、日志及其他可访问输出
裁剪、量化、压缩或较大 batch改变更新中的信息及攻击难度不经隐私分析,不能直接声称达到 DP
安全聚合、加密计算或可信执行环境在指定信任与协议假设下保护计算过程合法发布的结果仍可能支持推断
差分隐私限制受保护单位改变造成的输出分布变化邻接关系、采样方式和完整隐私预算必须明确

DP-SGD 不只是给梯度加一点噪声

读 DP-SGD 的时候,可以顺着一次更新看。先把每条样本的梯度裁剪一下,再聚合,在聚合后加上按要求校准过的噪声。下面这个式子把那几步摆在了一起。

$$ \overline g_i=\frac{g_i}{\max(1,\|g_i\|_2/C)}, \qquad \widetilde g=\frac1{|\mathcal B|} \left(\sum_{i\in\mathcal B}\overline g_i+\xi\right), \qquad \xi\sim\mathcal N(0,\sigma^2 C^2 I). $$

式子里 $C$ 是裁剪阈值,$\sigma$ 是噪声乘子,$\mathcal B$ 是这一批样本。如果你看到这儿想问 $(\varepsilon,\delta)$ 到底是多少,还得先定好邻接怎么定义、怎么采样,再看看隐私会计怎么做。8

看代码时我会顺手核对两处,裁剪是在单样本上做的还是在整个 batch 上做的,外面又看得到哪些结果。把裁剪移到 batch 上,敏感度和隐私会计就要重算。若还有未加噪的梯度被公开,那一份也得单独算进去。优化器、检查点、调参和额外统计发布同样要看它们透露了什么。

联邦这边还有个容易忘的数,一个用户可能有很多条记录。想保护这个用户,要在与这些贡献匹配的层级上控制影响,再按实际参加和发布的方式计算用户级保证。手里若只有记录级的参数,我会回到这个单位先核对一下。

群体规律和公开信息还是可能支持一些推断。我在这里会再回头看看,邻接到底允许我们换掉了什么,观察者还知道什么。这个问题在隐私计算中的信息论9里也接着聊过。

怎样设计一个有说服力的隐私实验?

换成自己看一份实验,我会先把它给出去的东西和保护的单位写下来。测的是拿到最终预测时的风险,还是拿到训练梯度时的风险?要说的是一条记录,还是某个用户的所有数据?

再回头看它报了哪些数。成员推断我会找低 FPR 下的 TPR,也看看实际成员占比。重建实验要看和真实输入怎么比、整体误差和成功率。提取实验则去数有多少匹配能核实。图好看可以帮我看明白一个例子,全体样本的表现还得看这些数。

我还会查校准和最终评价有没有分开,两组数据的分布是怎么对齐的。训练、攻击优化和分数据的种子一变,结果也可能跟着变。看平均之外,我想看波动和失败的那些例子。

看一种防御时,我会把几种合理的攻击基线放在一起,顺带问它们是不是知道这套防御。某种攻击这次没成功,是一条实验结果。想再往前说有理论保证,就去看证明或者可信实现给的隐私会计。

结语

写到最后,我会把开始的问题再问具体一点。我们是怕别人知道哪条样本参加过训练、知道某个属性,还是怕输入或训练原文被拿回来?把这个秘密说清了,就知道该回头看哪种观察。

下次再听到「原始数据留在本地」,我想顺着问下去,哪些数据在训练一开始就可以少收一点,哪些中间结果要挡住,最后发出来的东西又允许被一条记录影响到什么程度。这样再回去看威胁模型和实验,就能对上每条保证是在管哪一步。

参考资料与相关阅读