潜在因子模型+拉普拉斯噪声差分隐私

古城微笑少年丶 2023-09-29 23:48 40阅读 0赞

在Latent Factor Models中添加拉普拉斯噪声的方式通常是在目标函数中引入拉普拉斯噪声，使得每个元素都有一定的概率被扰动。因此，在该模型中，我们可以将目标函数表示为：

argmin P , Q ∣ R − P Q T ∣ F 2 + λ n ∑ i , j = 1 n ∣ p i j ∣ + λ m ∑ i , j = 1 m ∣ q i j ∣ \\text\{argmin\}\{\\mathbf\{P\}, \\mathbf\{Q\}\} | \\mathbf\{R\} - \\mathbf\{PQ\}^T |F^2 + \\frac\{\\lambda\}\{n\} \\sum\{i,j=1\}^\{n\} |p\{ij\}| + \\frac\{\\lambda\}\{m\} \\sum\_\{i,j=1\}^\{m\} |q\_\{ij\}| argminP,Q∣R−PQT∣F2\+nλ∑i,j=1n∣pij∣\+mλ∑i,j=1m∣qij∣

其中， R \\mathbf\{R\} R 是观测矩阵， P \\mathbf\{P\} P 和  Q \\mathbf\{Q\} Q 分别是潜在因子矩阵和因子载荷矩阵， λ \\lambda λ 是拉普拉斯分布的尺度参数， n n n 和  m m m 分别是  P \\mathbf\{P\} P 和  Q \\mathbf\{Q\} Q 的大小。

要证明合成数据满足差分隐私，我们需要考虑两个相邻数据集  D \\mathcal\{D\} D 和  D ′ \\mathcal\{D\}' D′ 之间的距离，即  ∣ ∣ D − D ′ ∣ ∣ 1 ||\\mathcal\{D\} - \\mathcal\{D\}'||\_1 ∣∣D−D′∣∣1。在这种情况下，我们可以将  D \\mathcal\{D\} D 视为无噪声的数据集，而  D ′ \\mathcal\{D\}' D′ 视为向每个元素添加了拉普拉斯噪声的数据集。因此，我们需要考虑添加的噪声对距离的影响。

具体来说，我们可以使用全局敏感度来度量添加的噪声对目标函数的影响。在这种情况下，我们可以发现，如果我们向每个元素添加的噪声  ϵ i \\epsilon\_i ϵi 满足  ∣ ϵ i ∣ ≤ c / λ |\\epsilon\_i| \\leq c/\\lambda ∣ϵi∣≤c/λ，则目标函数是满足  ( 2 c / λ ) (2c/\\lambda) (2c/λ)\-全局敏感度的。这意味着添加的噪声对目标函数的最大影响不超过  ( 2 c / λ ) ∣ ∣ D − D ′ ∣ ∣ 1 (2c/\\lambda)||\\mathcal\{D\} - \\mathcal\{D\}'||\_1 (2c/λ)∣∣D−D′∣∣1，从而满足  ( ϵ , δ ) (\\epsilon, \\delta) (ϵ,δ)\-差分隐私，其中  δ \\delta δ 取决于拉普拉斯机制的参数设置。

综上所述，将拉普拉斯噪声添加到 Latent Factor Models 的目标函数中可以保护合成数据的差分隐私。

以下是与上述相关的参考论文：

*  Dwork, C. (2006). Differential privacy. In Proceedings of the 33rd International Colloquium on Automata, Languages and Programming (pp. 1-12).
 *  Dwork, C., & Roth, A. (2014). The algorithmic foundations of differential privacy. Foundations and Trends in Theoretical Computer Science, 9(3-4), 211-407.
 *  McSherry, F. (2009). Privacy integrated queries: an extensible platform for privacy-preserving data analysis. In Proceedings of the 2009 ACM SIGMOD International Conference on Management of data (pp. 19-30).
 *  Wang, Y., Zhang, Y., & Jin, R. (2015). Collaborative matrix factorization with multiple similarities for predicting drug-target interactions. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1025-1034).