一个复杂的信号（比如一段交响乐），如何才能像向量一样被拆解开？答案或许就藏在那个“用波形当坐标轴”的疯狂想法里。 一些动…
Transformer 与注意力机制：从零开始彻底理解 > 这是一篇超长文，整理自原视频的完整内容。适合想要深…
建议先看我前面写的傅里叶文章后，再来读这个，我这里不在详细的回顾之前的推导。 https://mp.weixin.qq.…
很多初学 Python 的朋友都会有一个疑问： 函数执行完以后，里面的局部变量不是应该消失了吗？ 那为什么有些函数还能“…
散度（Divergence）、梯度（Gradient）和旋度（Curl）这三个概念，单独学的时候也许还能明白，但是一旦放…
很多同学在面试大厂AI岗位时，遇到了一道高频题：“为什么Claude Code放弃了RAG，转而只用grep做代码检索？…
背景： 最近看微分求解的过程中，发现这个对欧拉公式进行积分，数学上直接求很简单，但是想从里面一眼找出物理意义，就不那么直…
前言 网上常见的泰勒展开、构造函数求导证明，要么抽象难懂，要么存在循环论证。本文从复数自带的旋转几何意义、匀速圆周运动切…
学高数时，我们先背周期 2π、区间 [−π,π] 的傅里叶；后来遇到 [−L,L] 对称区间；到电路、信号处理直接上手「…
Flash Attention 为什么那么快？原理详解 大家好，今天我们来深入探讨一个在大型语言模型训练中几乎成为标配的…
作者：哈工大SCIR 徐啸 0. 何为位置信息 首先简单谈一下位置信息。一般将位置信息简单分为绝对位置信息和相对位置信息…
为什么需要位置编码？ Transformer 的核心是自注意力机制，它把句子中的所有词同时计算，天然没有顺序概念（“我打…
AI 总结 为何LLM大语言模型“偏爱”旋转位置编码？ 你发现了吗？传统的位置编码在如今LLM大语言模型下显得黯然失色，…