Posts

这个博客的诞生于 2021-10-16，原站点在 blog-hexo，因为静态文件都已经编译好了，就没有再进行修改了，后面的迁移应该会陆续完成。 原因是我 sb 操作了，原 npm 环境配不回来了，正好之前装了 Hugo，这个博客的部署就是由 Hugo + GitHub Action 完成的了 ...

0. 没想到今天居然也还挺开心的呀！ 简单记一下吧，一会还想工作一下，毕竟现在还一点都不困呢。 1. 今早起来就看到 哈哈 让华裔给她投票，那只能 哈哈 了，她认识到的时间有点晚，已经没人信了，哈哈。 ...

1. 终于把 hugo 版本升级到了最新的版本，之前一直觉得麻烦，现在看来好像并不是，随便改改几个变量就好了。 我也把 GitHub 主页的 douban 和 blog 最近动态去掉了，最近可能就在 blog 发发牢骚了。不喜欢在国内的平台，douban 啊 weibo 啊 xiaohongshu 啊 zhihu 啊，都有自己的群体。一些国际的社交软件反而找不到朋友，那不如自己的数据都自己管，或许 blog 还是我目前最喜欢的方式了。 ...

写在前面 众所周知，TikTok 会锁区，在国内是无法正常使用的，好早前就想上 TikTok 耍耍，一直也没成功。 今天逛 GitHub 的时候看到这个方法，但是项目 README 写的很不全，所以笔者就写了这篇文章来记录一下。 ...

Hi, 好久不见。今天是大年初三，新年快乐！ 一直很想记录一下崭新的 2023，想了很多，但又觉得似乎没什么值得记下的，不过这么久没写博客了，还是随便写点什么吧。 ...

0x00 Preface 本文着眼于分布式机器学习中的效率分析，在分布式机器学习中，efficiency 通常指的是效率，即在一定的时间内，算法能够达到的最优解的质量，或者是需要得到一定的质量时，算法所需要的时间，参考1。 ...

0x00 Preface 本文着眼于分布式机器学习中的收敛性分析，作为第四部分，主要介绍了分布式学习中的收敛性证明，参考主要还是1。同时我们把假设拓展到分布式的 setting 下。 Gradient Unbiased Estimate Assumption $$ \mathbb{E}[g(w;\xi)] = \nabla f(w) $$ Gradient Bounded Variance Assumption $$ \mathrm {Var}(\nabla f(w;\xi)) \leq \sigma^2 $$ 由 $\frac{1}{m} \sum_{i=1}^{m} g\left(w, \xi_{i}\right)$ 为 $\nabla f(w)$ 的可得 ...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第三部分，主要介绍了深度学习中随机梯度下降的收敛性证明1。相较于上一篇 (Part2) 的梯度下降，随机梯度下降的收敛性证明更加复杂，因为随机梯度下降的梯度是随机的，因此需要引入一些随机变量和假设，一些关于随机梯度下降的定义已经在 Part1 中进行了说明。 ...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第二部分，主要介绍了深度学习中梯度下降在（强凸光滑/光滑凸/非光滑凸/光滑非凸/非凸情况下）的收敛性证明。对于先前的定义，本文将不再赘述，读者可以先阅读 深度学习中的收敛性分析 (Part 1)。很多内容参考了1,2,3和4，少量参考 5。 ...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第一部分，首先介绍了深度学习中的优化问题的基本概念以及常见不等式的推导。 笔者并非优化科班出身，因为研究需要所以对这部分内容进行了学习，如本文内容和公式推导有误恳请指出。 ...