Blog

写在前面 众所周知，TikTok 会锁区，在国内是无法正常使用的，好早前就想上 TikTok 耍耍，一直也没成功。 今天逛 GitHub 的时候看到这个方法，但是项目 README 写的很不全，所以笔者就写了这篇文章来记录一下。 ...

0x00 Preface 本文着眼于分布式机器学习中的效率分析，在分布式机器学习中，efficiency 通常指的是效率，即在一定的时间内，算法能够达到的最优解的质量，或者是需要得到一定的质量时，算法所需要的时间，参考1。 ...

0x00 Preface 本文着眼于分布式机器学习中的收敛性分析，作为第四部分，主要介绍了分布式学习中的收敛性证明，参考主要还是1。同时我们把假设拓展到分布式的 setting 下。 Gradient Unbiased Estimate Assumption $$ \mathbb{E}[g(w;\xi)] = \nabla f(w) $$ Gradient Bounded Variance Assumption $$ \mathrm {Var}(\nabla f(w;\xi)) \leq \sigma^2 $$ 由 $\frac{1}{m} \sum_{i=1}^{m} g\left(w, \xi_{i}\right)$ 为 $\nabla f(w)$ 的可得 ...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第三部分，主要介绍了深度学习中随机梯度下降的收敛性证明1。相较于上一篇 (Part2) 的梯度下降，随机梯度下降的收敛性证明更加复杂，因为随机梯度下降的梯度是随机的，因此需要引入一些随机变量和假设，一些关于随机梯度下降的定义已经在 Part1 中进行了说明。 ...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第二部分，主要介绍了深度学习中梯度下降在（强凸光滑/光滑凸/非光滑凸/光滑非凸/非凸情况下）的收敛性证明。对于先前的定义，本文将不再赘述，读者可以先阅读 深度学习中的收敛性分析 (Part 1)。很多内容参考了1,2,3和4，少量参考 5。 ...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第一部分，首先介绍了深度学习中的优化问题的基本概念以及常见不等式的推导。 笔者并非优化科班出身，因为研究需要所以对这部分内容进行了学习，如本文内容和公式推导有误恳请指出。 ...

0x00 前言 起因是这样的，马上就要回所了，计算所的宿舍选择有三项，苏州街、青年公寓和科一招，其中科一招应该是较差的，苏州街住宿条件最好，但是 6 人间，并且通勤时间较长，青年公寓就显得比较 OK。 ...

写在前面 本文主要介绍使用 Zotero 和 Notion 管理文献和笔记的方法。 我个人是 Notion 的重度用户，平时笔记和日程管理也都是用 Notion 进行的，而且 Notion 还有教育优惠，可以一直白嫖，不用太担心存储空间的问题，同时 Notion 的图片和公式也是我比较喜欢的。 ...

前言 最近我正在进行实验，发现自己之前搭建的框架用起来有些不舒服，于是决定进行重构。然而新的框架还没有写好，于是我先搭建了一个基于 mpi4py 的简单联邦学习模拟器，用来跑一些简单的实验。 ...

引言 今天(2023.03.02) OpenAI 发布了 GPT 3.5 Turbo 最新的 API，目前定价是 $0.002/1k tokens1。 warning 本文信息具有时效性，请注意辨别。 使用指南 Usage 官方文档在这里2，显然会比我写的更详细 233，没意外还是建议查看官方文档。 ...