分布式机器学习中的效率分析
分析同步、异步与 K-worker SGD 的随机运行时间,结合收敛界讨论达到目标精度的时间与并行加速限制。
分析同步、异步与 K-worker SGD 的随机运行时间,结合收敛界讨论达到目标精度的时间与并行加速限制。
从 FedAvg 的本地更新推导全参与模型下的非凸驻点界与强凸误差界,区分梯度噪声、客户端漂移和采样误差,并讨论部分参与与异质性修正。
推导同步、异步及 K-Async SGD 的强凸收敛界,明确独立采样、条件无偏、梯度滞后与新鲜概率假设。
梳理成员推断、属性推断、模型反演与训练数据提取,推导单样本梯度的可恢复性,并讨论联邦学习、风险评估及不同隐私保护手段的适用边界。
在条件无偏和方差有界假设下推导 mini-batch SGD 的强凸误差界与非凸驻点界,说明步长和噪声的影响。
推导光滑与非光滑、凸与非凸条件下的一阶方法收敛界,明确步长、输出点及迭代复杂度。
统一凸性、强凸性、光滑性与随机梯度的定义和假设,并推导收敛性分析常用的不等式。
结合扩散模型与 AI 绘画的发展,讨论艺术创作中哪些工作可能被自动化,以及图像生成的能力、局限和创作者的技术角色。
梳理扩散模型的基本思路与发展历史,记录 Stable Diffusion、DALL·E 等图像生成模型的试玩体验与生成效果。
记录 hCaptcha 水上飞机识别任务的训练与测试实践,讨论样本标注、过拟合问题及模型训练流程的组织方式。