分布式机器学习中的效率分析

0x00 Preface 本文着眼于分布式机器学习中的效率分析,在分布式机器学习中,efficiency 通常指的是效率,即在一定的时间内,算法能够达到的最优解的质量,或者是需要得到一定的质量时,算法所需要的时间,参考1。 ...

August 9, 2023 · Edited August 9, 2023 · 2222 words · 5 min · 北屿

分布式机器学习中的收敛性分析 (Part 4)

0x00 Preface 本文着眼于分布式机器学习中的收敛性分析,作为第四部分,主要介绍了分布式学习中的收敛性证明,参考主要还是1。同时我们把假设拓展到分布式的 setting 下。 Gradient Unbiased Estimate Assumption $$ \mathbb{E}[g(w;\xi)] = \nabla f(w) $$ Gradient Bounded Variance Assumption $$ \mathrm {Var}(\nabla f(w;\xi)) \leq \sigma^2 $$ 由 $\frac{1}{m} \sum_{i=1}^{m} g\left(w, \xi_{i}\right)$ 为 $\nabla f(w)$ 的可得 ...

August 7, 2023 · Edited August 9, 2023 · 1966 words · 4 min · 北屿

深度学习中的收敛性分析 (Part 3)

0x00 Preface 本文着眼于深度学习中的收敛性分析,作为第三部分,主要介绍了深度学习中随机梯度下降的收敛性证明1。相较于上一篇 (Part2) 的梯度下降,随机梯度下降的收敛性证明更加复杂,因为随机梯度下降的梯度是随机的,因此需要引入一些随机变量和假设,一些关于随机梯度下降的定义已经在 Part1 中进行了说明。 ...

July 25, 2023 · Edited July 27, 2023 · 826 words · 2 min · 北屿

深度学习中的收敛性分析 (Part 2)

0x00 Preface 本文着眼于深度学习中的收敛性分析,作为第二部分,主要介绍了深度学习中梯度下降在(强凸光滑/光滑凸/非光滑凸/光滑非凸/非凸情况下)的收敛性证明。对于先前的定义,本文将不再赘述,读者可以先阅读 深度学习中的收敛性分析 (Part 1)。很多内容参考了1,2,3和4,少量参考 5。 ...

July 24, 2023 · Edited January 2, 2024 · 3910 words · 8 min · 北屿

深度学习中的收敛性分析 (Part 1)

0x00 Preface 本文着眼于深度学习中的收敛性分析,作为第一部分,首先介绍了深度学习中的优化问题的基本概念以及常见不等式的推导。 笔者并非优化科班出身,因为研究需要所以对这部分内容进行了学习,如本文内容和公式推导有误恳请指出。 ...

July 23, 2023 · Edited July 27, 2023 · 2685 words · 6 min · 北屿

Deep Learning for Pixel Art

因为内容确实不过,搜遍了全网,来做 Deep Learning for Pixel Art 的工作也没多少,肯定是实在是没有市场了吧 hhhh。 先说 GitHub 上一堆标着 pixel-art-generator 或者 image-to-pixel 的,前者大多是随机生成的,无意义的像素块,后者大多是拿 OpenCV 或者什么其他的图像处理的库 resize 一下就完了,最多能给你加个 filter 就不错。 ...

February 15, 2022 · Edited March 21, 2023 · 1865 words · 4 min · 北屿