Deep-Learning

0x00 Preface 本文着眼于分布式机器学习中的效率分析，在分布式机器学习中，efficiency 通常指的是效率，即在一定的时间内，算法能够达到的最优解的质量，或者是需要得到一定的质量时，算法所需要的时间，参考1。 ...

0x00 Preface 本文着眼于分布式机器学习中的收敛性分析，作为第四部分，主要介绍了分布式学习中的收敛性证明，参考主要还是1。同时我们把假设拓展到分布式的 setting 下。 Gradient Unbiased Estimate Assumption $$ \mathbb{E}[g(w;\xi)] = \nabla f(w) $$ Gradient Bounded Variance Assumption $$ \mathrm {Var}(\nabla f(w;\xi)) \leq \sigma^2 $$ 由 $\frac{1}{m} \sum_{i=1}^{m} g\left(w, \xi_{i}\right)$ 为 $\nabla f(w)$ 的可得 ...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第三部分，主要介绍了深度学习中随机梯度下降的收敛性证明1。相较于上一篇 (Part2) 的梯度下降，随机梯度下降的收敛性证明更加复杂，因为随机梯度下降的梯度是随机的，因此需要引入一些随机变量和假设，一些关于随机梯度下降的定义已经在 Part1 中进行了说明。 ...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第二部分，主要介绍了深度学习中梯度下降在（强凸光滑/光滑凸/非光滑凸/光滑非凸/非凸情况下）的收敛性证明。对于先前的定义，本文将不再赘述，读者可以先阅读 深度学习中的收敛性分析 (Part 1)。很多内容参考了1,2,3和4，少量参考 5。 ...

0x00 Preface 本文着眼于深度学习中的收敛性分析，作为第一部分，首先介绍了深度学习中的优化问题的基本概念以及常见不等式的推导。 笔者并非优化科班出身，因为研究需要所以对这部分内容进行了学习，如本文内容和公式推导有误恳请指出。 ...

导言 如果你是深度学习领域的工作者，最近大火的 Diffusion model 你一定不会太陌生。在知名的机器学习模型托管网站抱抱脸（Hugging Face） 的 Treading 中，前几个无一例外的全是扩散模型。 ...

本来是想在 另一篇文章 中写这个部分的，结果发现这一小部分内容较多，且与文字主题相关性低了一些，于是单独提出来形成了这篇文章，也是调研了一下扩散模型。笔者这里就只简单介绍一下 Diffusion 模型的原理和历史，还有自己对相关知识的整合。 ...

前言 其实，做 hcaptcha challenge 的时候笔者就一直在想，到底下一代的验证码会是什么样子？验证码的发展历程究竟会是怎样？ Where is the Next Generation of Captcha？CAPTCHA 的历史？人机对抗？下一代验证码会是什么样子？ ...

好像这个 prompt 和 水上飞机的 prompt 最近出现的频率比较高，应该是放到生产环境中了。 那么自然要来搞他，数据集可以在这里找到 先来分析一下，一共就三种类型，一种是树叶组成的，一种是花瓣组成的，还有一种不知道是什么玄学组成的黑不拉几的东西. 再来看组成的内容，除了象就是马，就是一个二分类呗。 ...

My machine is a living life. I’ll prove it. 引言 hCaptcha 在今天又喜提一次更新，出现了新的标签，要求选中 在天上 的 向左飞 的 飞机。 不过幸运的是，所有的样例图片里面，都包含一个飞机，所以这个标签相当于少了一个限制，只有 在天上 和 向左飞 这两个限制了。 ...