分布式机器学习中的效率分析

分析同步、异步与 K-worker SGD 的随机运行时间,结合收敛界讨论达到目标精度的时间与并行加速限制。

· 8 min

联邦学习中的收敛性分析 (Part 5)

从 FedAvg 的本地更新推导全参与模型下的非凸驻点界与强凸误差界,区分梯度噪声、客户端漂移和采样误差,并讨论部分参与与异质性修正。

· 15 min

分布式机器学习中的收敛性分析 (Part 4)

推导同步、异步及 K-Async SGD 的强凸收敛界,明确独立采样、条件无偏、梯度滞后与新鲜概率假设。

· 5 min

深度学习中的收敛性分析 (Part 3)

在条件无偏和方差有界假设下推导 mini-batch SGD 的强凸误差界与非凸驻点界,说明步长和噪声的影响。

· 3 min

深度学习中的收敛性分析 (Part 2)

推导光滑与非光滑、凸与非凸条件下的一阶方法收敛界,明确步长、输出点及迭代复杂度。

· 4 min

深度学习中的收敛性分析 (Part 1)

统一凸性、强凸性、光滑性与随机梯度的定义和假设,并推导收敛性分析常用的不等式。

· 4 min

深度学习与像素画:研究、数据集与工具

整理像素画的风格特征、画廊、数据集与绘制工具,介绍深度学习在像素化、去像素化和像素画生成中的研究与项目。

· 4 min