Site updated: 2025-06-17 16:01:01

Author: WT1W

2025/06/17/A2-norm-emb/index.html

@@ -28,7 +28,7 @@
 <meta property="og:description" content="Task 1: 均方根层归一化 (RMS Norm) 均方根层归一化（RMS Norm）是深度学习中应用最广泛的归一化模块，尤其在自然语言处理（NLP）和大语言模型（LLM）领域。该模块以形状为 [batch_size, seqlen, hidden_size] 的张量为输入（记为 X，形状为 [b, s, h]），并沿着隐藏层 h 维度，执行带可学习缩放变换的均方根归一化操作，得到输出 Y，形状">
 <meta property="og:locale" content="zh_CN">
 <meta property="article:published_time" content="2025-06-17T06:17:05.000Z">
-<meta property="article:modified_time" content="2025-06-17T07:59:19.357Z">
+<meta property="article:modified_time" content="2025-06-17T07:59:55.884Z">
 <meta property="article:author" content="DeepEngine">
 <meta property="article:tag" content="RMSNorm">
 <meta property="article:tag" content="Vocab Embedding">
@@ -181,7 +181,7 @@ <h1 class="post-title" itemprop="name headline">
               <span class="post-meta-item-text">发表于</span>
 
 
-              <time title="创建时间：2025-06-17 14:17:05 / 修改时间：15:59:19" itemprop="dateCreated datePublished" datetime="2025-06-17T14:17:05+08:00">2025-06-17</time>
+              <time title="创建时间：2025-06-17 14:17:05 / 修改时间：15:59:55" itemprop="dateCreated datePublished" datetime="2025-06-17T14:17:05+08:00">2025-06-17</time>
             </span>
             <span class="post-meta-item">
               <span class="post-meta-item-icon">
@@ -213,9 +213,7 @@ <h4 id="task-1-均方根层归一化-rms-norm">Task 1: 均方根层归一化 (RM
 <code>h</code> 维度，执行带可学习缩放变换的均方根归一化操作，得到输出
 <code>Y</code>，形状为 <code>[b, s, h]</code>。具体公式如下所示：</p>
 <p>$$ Y = $$</p>
-<p><span class="math display">$$
-RMS[X]=\sqrt{\frac{1}{h} \sum_{i=1}^{h}x_i^2 + \epsilon}
-$$</span></p>
+<p>$$ RMS[X]= $$</p>
 <p>其中，<span
 class="math inline"><em>R</em><em>M</em><em>S</em>[<em>X</em>]</span>
 表示 <code>X</code> 的均方根，对于 <code>i in batch_size</code> 且
@@ -236,12 +234,8 @@ <h4 id="task-1-均方根层归一化-rms-norm">Task 1: 均方根层归一化 (RM
 class="math inline"><em>γ</em></span> 的隐藏层维度 <code>h</code>
 均匀划分为 <code>Xg</code> 组，并对第 <code>i</code> 组分别应用 <span
 class="math inline">(1)(2)</span> 式中的 <em>RMS Norm</em>
-操作，具体公式如下： <span class="math display">$$
-Y_{g_i}=\frac{X_{g_i}}{RMS[X_{g_i}]} \odot \gamma_{g_i}
-$$</span></p>
-<p><span class="math display">$$
-RMS[X_{g_i}]=\sqrt{\frac{1}{gz} \sum_{j=1}^{gz}x_{g_i, j}^2 + \epsilon}
-$$</span></p>
+操作，具体公式如下： $$ Y_{g_i}= _{g_i} $$</p>
+<p>$$ RMS[X_{g_i}]= $$</p>
 <p>此外，我们还应该为该 <em>Group RMS Norm</em> 模块实现一个名为
 <code>reset_parameters</code> 的参数初始化方法，用于为可学习的参数矩阵
 <span class="math inline"><em>γ</em></span>

css/main.css

@@ -1168,7 +1168,7 @@ pre .javascript .function {
 }
 .links-of-author a::before,
 .links-of-author span.exturl::before {
-  background: #85ff61;
+  background: #1163da;
   border-radius: 50%;
   content: ' ';
   display: inline-block;

default-index/index.html

@@ -175,7 +175,7 @@ <h2 class="post-title" itemprop="name headline">
               <span class="post-meta-item-text">发表于</span>
 
 
-              <time title="创建时间：2025-06-17 14:17:05 / 修改时间：15:59:19" itemprop="dateCreated datePublished" datetime="2025-06-17T14:17:05+08:00">2025-06-17</time>
+              <time title="创建时间：2025-06-17 14:17:05 / 修改时间：15:59:55" itemprop="dateCreated datePublished" datetime="2025-06-17T14:17:05+08:00">2025-06-17</time>
             </span>
             <span class="post-meta-item">
               <span class="post-meta-item-icon">
@@ -207,9 +207,7 @@ <h4 id="task-1-均方根层归一化-rms-norm">Task 1: 均方根层归一化 (RM
 <code>h</code> 维度，执行带可学习缩放变换的均方根归一化操作，得到输出
 <code>Y</code>，形状为 <code>[b, s, h]</code>。具体公式如下所示：</p>
 <p>$$ Y = $$</p>
-<p><span class="math display">$$
-RMS[X]=\sqrt{\frac{1}{h} \sum_{i=1}^{h}x_i^2 + \epsilon}
-$$</span></p>
+<p>$$ RMS[X]= $$</p>
 <p>其中，<span
 class="math inline"><em>R</em><em>M</em><em>S</em>[<em>X</em>]</span>
 表示 <code>X</code> 的均方根，对于 <code>i in batch_size</code> 且
@@ -230,12 +228,8 @@ <h4 id="task-1-均方根层归一化-rms-norm">Task 1: 均方根层归一化 (RM
 class="math inline"><em>γ</em></span> 的隐藏层维度 <code>h</code>
 均匀划分为 <code>Xg</code> 组，并对第 <code>i</code> 组分别应用 <span
 class="math inline">(1)(2)</span> 式中的 <em>RMS Norm</em>
-操作，具体公式如下： <span class="math display">$$
-Y_{g_i}=\frac{X_{g_i}}{RMS[X_{g_i}]} \odot \gamma_{g_i}
-$$</span></p>
-<p><span class="math display">$$
-RMS[X_{g_i}]=\sqrt{\frac{1}{gz} \sum_{j=1}^{gz}x_{g_i, j}^2 + \epsilon}
-$$</span></p>
+操作，具体公式如下： $$ Y_{g_i}= _{g_i} $$</p>
+<p>$$ RMS[X_{g_i}]= $$</p>
 <p>此外，我们还应该为该 <em>Group RMS Norm</em> 模块实现一个名为
 <code>reset_parameters</code> 的参数初始化方法，用于为可学习的参数矩阵
 <span class="math inline"><em>γ</em></span>