deepseed使用

Accelerate 

事件脉络概述

windows进程守护

python-docx使用

VBA批量修改word格式

小白一般在C盘安装软件以及程序。这样C盘很容易满载。在进行数据迁移的过程中，经常遇到文件无法删除或者无法复制的情况。本文使用dos系统进行操作完美解决以上问题

windows 数据迁移

完整备份是防止硬件故障、应用程序和升级问题以及可能损坏文件和损坏您的文件的恶意软件攻击的最佳策略。

win10 系统备份还原

Win7/Win10新系统安装时，在安装程序创建用户帐户之前，因为还没有C:\Users
下还没有用户文件夹，所以步骤相对简单些

windows 安装过程中用户数据迁移

Windows的用户文件夹默认所在位置是系统盘。如若系统盘一旦坏掉，就可能连带用户文件一并丢失；其次，用户文件夹的文件越来越多可能会导致系统盘容量不足。

windows 用户数据迁移

在google首页的设置中。勾选“在新的浏览器窗口中打开所选的每条搜索结果”

Google 在新标签页打开网页的设置方法

Linux服务器安装aria2、AList

linux常用命令

使用md2notion将本地的markdown文件上传到notion中

上传本地markdown文件至notion中

WSL2配置

win10系统中Linux子系统默认安装在C盘，在使用过程中，其体量会越来越大，挤占C盘原本就不大的磁盘空间，影响系统运转。本文介绍如何利用wsl export/import来迁移Linux子系统，

WSL迁移

 7 种回归模型

DeepFM 的思想就是充分利用 FM 在一阶和二阶特征的简洁高效和深度学习在高阶特征交互上的优势，同时通过共享 FM 和 DNN 的 Embedding 来减少参数量和共享信息，从而得到更好的模型。

deepfm算法

链表问题在面试过程中也是很重要也很基础的一部分，链表本身很灵活，很考查编程功底，所以是很值得考的地方。我将复习过程中觉得比较好的链表问题整理了下。

链表问题集锦

旋转数组的二分查找与基本二分查找不同。旋转数组是一个部分有序的数组

数组

KMP算法是一种改进的字符串匹配算法。KMP算法的核心是利用匹配失败后的信息，尽量减少模式串与主串的匹配次数以达到快速匹配的目的。python中可以使用find函数

kmp算法

二分搜索（binary search）是一种在有序数组中查找某一特定元素的搜索算法。算法复杂度是 log(n)

二分查找（有序）

旋转数组的二分查找与基本二分查找不同。旋转数组是一个部分有序的数组，每次mid的左侧或者右侧是一个有序数组，所以判断条件要复杂很多。山脉数组又与旋转数据有些区别，山脉数组判断条件是mid、mid+1

二分查找(旋转数组&山脉数据)

hash表的增删改查的平均时间复杂度都是O(1)

哈希表

概率问题

根据哈希原理，Bloom Filter通过多个哈希函数将每一个字符串映射到内存中的每一位。判断一个元素是否属于某个集合时，Boom Filter可以把不属于这个集合的元素准确标注出来；但是有可能会把不属于这个集合的元素误认为属于这个集合

Bloom Filter概念和原理

今天介绍一个 Python 的库heapq，默认的堆结构是小顶堆。在很多时候使用优先队列解决问题的时候会用到。在后面和大家一起 LeetCode 刷题过程中会用到！

Python 的小顶堆 heapq 

站的list类似于vector。栈与队列可以使用python中的collections.deque

python的数组、栈与队列

python的dict、set都是基于散列表的结构。

Python dict和set的底层原理

排序算法

线段树（segment tree）是用来存放给定区间（segment, or interval）内对应信息的一种数据结构。与树状数组（binary indexed tree）相似。与树状数组不同的是，线段树不止可以适用于区间求和的查询，也可以进行区间最大值，区间最小值（Range Minimum/Maximum Query problem）或者区间异或值的查询。

线段树与树状数组

前缀树的初始化、添加操作基本相同，题目变形主要是搜索操作

前缀树

哈夫曼树是带权路径长度最短的树，权值较大的结点离根较近。所谓树的带权路径长度，就是树中所有的叶结点的权值乘上其到根结点的路径长度。

Huffman编码树

二叉树的例题一般都是以二叉树遍历为基础的。题目一般分为创建树、叶子节点、祖先节点、树的深度、树的路径等几类题目。

二叉树

二叉搜索树（BST）是二叉树的一种特殊表示形式。1. 每个节点中的值必须大于（或等于）存储在其左侧子树中的任何值；2. 每个节点中的值必须小于（或等于）存储在其右子树中的任何值。

二叉搜索树

n叉树题目与二叉树相似，但是题目较少。主要是前序遍历、后序遍历、层序遍历；最大深度几类

N叉树

动态规划

dp[i]表示为 A[0,...,i]的状态。要建立 dp[i] 与 dp[i-1]、 dp[i-2]、dp[i-3]、dp[i-4]。。。dp[0]的联系。有时候dp[i]表示为 A[0,...,i]的状态，且必须包含A[i]，此时最好用自低向上的方法，例如：题目LC300，因为此时需要回溯 dp[i] 之前的所有状态；有时候dp[i]表示为 A[0,...,i]的状态，可能包含A[i]，这时候使用自底向上或者自顶向下都可以。

单序列型

dp[i,j] 表示输入为 A[0,...,i]和B[0,...,j]时的状态，要建立 dp[i,j]与dp[i-1,j]、dp[i-1,j-1]、dp[i,j-1]、dp[i-2,j]、dp[i-2,j-1]、...的联系

双序列型

矩阵坐标型

博弈型

并查集

背包型

区间及其他类型

图——概述

图的检测

海量数据处理

python实现多线程顺序打印

nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使用它来替换网络中的这两个操作。

pytorch损失函数之nn.CrossEntropyLoss()

pytorch-lightning 是建立在pytorch之上的高层次模型接口。pytorch-lightning 之于 pytorch，就如同keras之于 tensorflow.pytorch-lightning 

pytorch_lightning模型训练

BN 就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为 0 方差为 1 的标准正太分布而不是正态分布，其实就是把越来越偏的分布强制拉回比较标准的分布，这样使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，意思是这样让梯度变大，避免梯度消失问题产生，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。

batchnorm原理与源码

训练迭代过程早期的RNN预测能力非常弱，几乎不能给出好的生成结果。Teacher forcing直接使用训练数据的标准答案(ground truth)作为输入。

Teacher forcing

Transformer模型详解

BERT进一步改进了11种自然语言处理任务的技术水平，这些任务分为以下几个大类：（1）单一文本分类（如情感分析）、（2）文本对分类（如自然语言推断）、（3）问答、（4）文本标记（如命名实体识别）。从上下文敏感的ELMo到任务不可知的GPT和BERT，它们都是在2018年提出的。概念上简单但经验上强大的自然语言深度表示预训练已经彻底改变了各种自然语言处理任务的解决方案。

来自Transformers的双向编码器表示（BERT）

Transformers之自定义学习率动态调整

BERT模型本质是一种词嵌入模型，也是句子嵌入模型，输入的最大长度是512BERT模型把离散的单词变成了空间中连续的向量，即把一个单词变成向量

基于Transformers库的BERT模型分类任务

tokenizer首先将给定的文本拆分为通常称为tokens的单词（或单词的一部分，标点符号等，在中文里可能就是词或字，根据模型的不同拆分算法也不同）。然后tokenizer能够将tokens转换为数字，以便能够构建张量并输入到模型中。

huggingface中的Tokenizer详解

Datasets 提供了三大特性：1、用于许多公共数据集的单行数据加载器；2、高效的数据预处理；3、NLP 任务相关的许多内置评估指标。

huggingface的datasets库使用

spark分布式预测pytorch模型

数据目录本质上就是数据管理平台

数据目录概述

lateral view 首先将utdf函数应用到每一行上，这时每一行经utdf处理后得到多行输出，这些输出将会组建成一张虚拟表，然后这张虚拟表会跟当前表进行join操作，join完成之后会得出一张结果虚拟表，这张结果表里就有了utdf生成的列

lateral view 用法

map、Array、json的常用方法与处理方式

hive解析处理Map、Array、Json数据

MySql数据库概述

事务是一组操作的集合，这些操作要么同时成功，要么同时失败。

sql事务性

MySQL的存储引擎与索引，以及利用索引优化sql语句。此外还包括评估优化效果的性能评估工具。

MySql存储引擎、索引与优化

通俗的讲，视图只保存了查询的SQL逻辑，不保存查询结果

MySql视图

存储过程思想上很简单，就是数据库 SQL 语言层面的代码封装与重用。

MySql存储过程与存储函数

触发器指在 insert/update/delete 之前或之后，触发并执行触发器中定义的SQL语句集合。

MySql触发器

锁是计算机在执行多线程或线程时用于并发访问同一共享资源时的同步机制，MySQL中的锁是在服务器层或者存储引擎层实现的，保证了数据访问的一致性与有效性。

MySQL锁

MySql工具

MySQL日志

MySQL主从复制

MongoDB 是一个基于分布式文件存储的 NoSQL 数据库。是非关系型数据库当中的能最丰富，最像关系数据库的。

MongDB

Python 函数装饰器

牛顿法和拟牛顿法

huggingface的Trainer

huggingface的Evaluate

胶囊网络

多目标模型

RTOS的简单实现

RTOS原理与实现概述

RTOS原理与实现01：RTOS基础知识

RTOS原理与实现01：芯片内核简介

RTOS原理与实现02：基本任务切换

RTOS原理与实现03：内核核心实现

RTOS原理与实现04：任务管理模块

RTOS原理与实现05：事件控制块实现

RTOS原理与实现06：计数信号量实现

RTOS原理与实现07：邮箱实现

RTOS原理与实现08：存储块实现

RTOS原理与实现09：事件标志组实现

RTOS原理与实现10：互斥信号量实现

RTOS原理与实现11：软件定时器

RTOS原理与实现12：性能测量

RTOS原理与实现13：内核裁剪与移植

聚类概述

聚类数据集生成方法

K-Medoids算法系列

基于图的聚类之-Affinity Propagation

学习思考

碎片杂文

人工智能

计算机

数据结构

数据库

行业经验

编程语言

操作系统

小主机

强化学习

一、强化学习概述

二、状态价值与贝尔曼公式

八、价值函数近似

十五、模仿学习

十九、离线强化学习

十八、目标导向的强化学习

GELU、GLU 和 SwiGLU

Civilization Museum | Notion

password

icon

date

type

slug

status

title

summary

表格

类型为Notice的文章将被显示为公告，仅 hexo和next支持；仅限一个公告

公告

hao_Ma

【论文精读】Neural Machine Translation of Rare Words with Subword Units-BPE

Subword(子词)的划分粒度介于词与字符之间，比如可以将”looking”划分为”look”和”ing”两个子词，而划分出来的"look"，”ing”又能够用来构造其它词，如"look"和"ed"子词可组成单词"looked"，因而Subword方法能够大大降低词典的大小，同时对相近词能更好地处理。