EmoryHuang's Blog

Hexo 搭建个人博客 Hexo 是一个快速、简洁且高效的博客框架。Hexo 使用 Markdown（或其他渲染引擎）解析文章，在几秒内，即可利用靓丽的主题生成静态网页。 0. 安装前提 Node.js Git 创建 GitHub 仓库 Hexo 建站环境配置详见：Hexo 建站环境配置 1. Hexo 建站 在配置完环境之后，就可以正式安装 Hexo 了。安装步骤还是比较简单的，主要在 Git Bash 中通过命令行安装。 Hexo 建站教程详见：Hexo 建站教程 2. 个性化域名(可选) 部署完博客之后，会发现我们的域名是 https://xxxxxx.github.io，很明显这个域名不够高端大气上档次，因此我们可以在 阿里云、腾讯云 等域名供应商那里注册自己的域名，一年大概几十块的费用，当然你也可以选择不更换域名。 GitHub Pages 个性化域名配置详见：GitHub Pages 个性化域名配置 3. 双线部署到 GitHub 和 Coding 由于 GitHub 的服务器在国外，所以访问速度不怎么样，因此可以把网站双线部署到 GitHub 和 Coding，境外访 ...

LeetCode 解题报告 var chartDom = document.getElementById('main'); var myChart = echarts.init(chartDom);var option; option && myChart.setOption(option); // 基于准备好的dom，初始化echarts实例 var myChart = echarts.init(document.getElementById('echarts4967')); // 指定图表的配置项和数据 var option = option = { tooltip: { trigger: 'item' }, legend: { top: '5 % ', left: 'center' }, series: [ { name: 'LeetCode 解题报告', ...

算法专题汇总 常用算法模板——常见算法 常用算法模板——数据结构 常用算法模板——数学知识 常用算法模板——搜索与图论 背包九讲学习笔记 排序算法总结 二分查找学习笔记 快速幂算法详解 由数据范围反推算法复杂度以及算法内容

计算机面试常见问题总结 数据结构面试常见问题总结 计算机组成原理面试常见问题总结 计算机网络面试常见问题总结 操作系统面试常见问题总结 数据库面试常见问题总结 软件工程面试常见问题总结

梯度下降法学习笔记 前言 梯度下降法是一个经典的优化算法，在机器学习领域非常常见，很多机器学习算法最后都归结为求解最优化问题。在各种最优化算法中，梯度下降法是最简单、最常见的一种，在深度学习的训练中被广为使用。 梯度下降法(GD) 直观解释 通俗来说，梯度就是表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在当前位置的导数。 讲到梯度下降法时，往往都会有这么一个例子：想象你站在山顶，现在你想以最快的速度下山，那么你肯定会选择最陡的路下山，走到一个位置，同样继续向着当前位置最陡峭的位置下山。简单来说，这就是所谓的梯度下降法。 但是你可能也想到了，这样一步步的走下去，一直走到觉得我们已经到了山脚。当然这样走下去，有可能我们不能走到山脚，而是到了某一个局部的山峰低处。 梯度下降不一定能够找到全局的最优解，有可能是一个局部最优解。当然，如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解。 理论推导 “沿着梯度的反方向（坡度最陡）”是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？ 这里直接给出梯度下降算法的公式： θ=θ0−η⋅∇f ...

原文地址: https://blog.csdn.net/red_stone1/article/details/80212814 为什么局部下降最快的方向就是梯度的负方向？ 什么是梯度？ 对于梯度下降算法（Gradient Descent Algorithm），我们都已经很熟悉了。无论是在线性回归（Linear Regression）、逻辑回归（Logistic Regression）还是神经网络（Neural Network）等等，都会用到梯度下降算法。我们先来看一下梯度下降算法的直观解释： 假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。 首先理解什么是梯度？通俗来说，梯度就是表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在当前位置的导数。 ∇=df(θ)dθ\nabla = \frac{df(\theta)}{d\theta} ∇=dθdf(θ)​ 上式中 ...

摩尔投票法学习笔记 博耶-摩尔多数投票算法（英语：Boyer–Moore majority vote algorithm）,中文常作多数投票算法、摩尔投票算法等，是一种用来寻找一组元素中占多数元素的常数空间级时间复杂度算法。这一算法由罗伯特·S·博耶和 J·斯特罗瑟·摩尔在 1981 年发表，也是处理数据流的一种典型算法。 简介 首先我们给出背景：给定一个大小为 n 的数组，找到其中的多数元素。多数元素是指在数组中出现次数 大于 ⌊ n/2 ⌋ 的元素。 这个问题简单来说就是求众数的问题，一个简单的解决办法是使用哈希表记录元素出现的次数，然后遍历哈希表寻找满足条件的元素，时间复杂度为 O(n)、空间复杂度为 O(n)。然而我们希望找到一种时间复杂度为 O(n)、空间复杂度为 O(1) 的算法，也就是下面要讲的摩尔投票法。 算法思想 摩尔投票法的基本思想：在集合中寻找可能存在的多数元素，这一元素在输入的序列重复出现并占到了序列元素的一半以上；在第一遍遍历之后应该再进行一个遍历以统计第一次算法遍历的结果出现次数，确定其是否为众数；如果一个序列中没有占到多数的元素，那么第一次的结果就可能 ...

翻译原文: https://blog.csdn.net/yujianmin1990/article/details/78826506 英文原文: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Understanding LSTM Networks Recurrent Neural Network 人们从不会随意地开始自己的思考，当你在读这篇博文的时候，你根据之前所读的文字来理解现在每个词。并且，你也不会将前面的内容都丢掉，然后从新开始理解现在的内容，人的思路是具有延续性的。 传统的神经网络是没法做到上述事情的，这是一个很大的缺陷。举个栗子，假设你想要对电影里的某个时间点正在发生什么事情做判断。对传统神经网络来说，无法使用之前的发生的事情来推断后续发生的事情。 循环神经网络则可以解决这类问题，这种网络带有自循环结构，使得信息可以保存延续到下个时刻。 在上图中，A + 循环构成一簇网络集合，A 的输入输出分别为 xtx_txt​ 和 hth_tht​。其中 hth_tht​ 又作为 A 的输入。该循环允许信息从本网络 ...

OCSVM 学习笔记 前言 OCSVM(OneClass SVM) 算法是一种经典的异常检测算法，基本原理与 SVM 类似，与 SVM 关注的二分类问题不同的是，就像它的名字 OneClass SVM 那样，OCSVM 只有一个分类，这也正是异常检测所需要的，我们不关注那些异常的数据点。 如果你不了解 SVM 可以点击这里: 支持向量机(SVM)学习笔记 OCSVM 简介 Our strategy is to map the data into the feature space corresponding to the kernel, and to separate them from the origin with maximum margin. OCSVM 的基本思想是: 将数据映射到与内核相对应的特征空间，在数据与原点间构建超平面，并且最大化超平面到零点的距离 类似的，我们可以得到最优化问题的目标函数和优化条件: min⁡w∈F,ξ∈Rn,ρ∈R12∥w∥2+1vn∑i=1nξi−ρs.t.(w⋅Φ(xi))≥ρ−ξi,ξi≥0\begin{aligned} &\m ...

孤立森林学习笔记 前言 「孤立森林」是一种常用于检测异常数据的算法，它具有线性时间复杂度以及较优的性能。作为一种「无监督」的算法，它在深度学习泛滥的今天，仍有着较好的表现。 算法简介 separating an instance from the rest of the instances 作为一种异常检测算法，我们希望的就是在一些正常的数据中，找到那些异常值。 可以预见的是，我们想要找到的这些异常数据点在某种程度上应该是「孤立的」，否则大量聚集的孤立点本身就不能称之为孤立，而应该是属于正常值，异常点本身就是 「few and different」，这也正是算法实现的基础。 回到算法本身，孤立森林的基本思想也很简单：不断地对一个数据集进行随机二分，直到所有数据点都变成孤立的，或者数到达了指定高度。 In a data-induced random tree, partitioning of instances are repeated recursively until all instances are isolated. 你可以把他理解成一颗二叉树，数据经过不断划分，最后每 ...