blog

0x00 Preface 本文着眼于分布式机器学习中的效率分析，在分布式机器学习中，efficiency 通常指的是效率，即在一定的时间内，算法能够达到的最优解的质...

0x00 Preface 本文着眼于分布式机器学习中的收敛性分析，作为第四部分，主要介绍了分布式学习中的收敛性证明，参考主要还是1。同时我们把假设拓展到分布式的 setting...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第三部分，主要介绍了深度学习中随机梯度下降的收敛性证明1。相较于上一篇 (Part2) 的梯度下降，随机梯度下降的...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第二部分，主要介绍了深度学习中梯度下降在（强凸光滑/光滑凸/非光滑凸/光滑非凸/非凸情况下）的收敛...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第一部分，首先介绍了深度学习中的优化问题的基本概念以及常见不等式的推导。 笔者并非优化科班出身，因为...

0x00 前言 起因是这样的，马上就要回所了，计算所的宿舍选择有三项，苏州街、青年公寓和科一招，其中科一招应该是较差的，苏州街住宿条件最好，但是 6 人间...

写在前面 本文主要介绍使用 Zotero 和 Notion 管理文献和笔记的方法。 我个人是 Notion 的重度用户，平时笔记和日程管理也都是用 Notion 进行的，而且 Notion 还有教育优惠，可以一直白...

前言 最近我正在进行实验，发现自己之前搭建的框架用起来有些不舒服，于是决定进行重构。然而新的框架还没有写好，于是我先搭建了一个基于 mpi4py 的简单联邦...

引言 今天(2023.03.02) OpenAI 发布了 GPT 3.5 Turbo 最新的 API，目前定价是 $0.002/1k tokens1。 warning 本文信息具有时效性，请注意辨别。 使用指南 Usage 官方文档...

没啥用小知识来了！本文主要是记录一些 GitHub 上的小技巧。 为什么要用 GitHub？ 代码管理 白嫖 GitHub Pages 和 Actions！ 特殊的仓库 主要有两种特殊的仓库，...