feed.xml

<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>LvKouKou Blog</title>
    <description>这里是 @LvKouKou 的个人博客，与你一起发现更大的世界 | 要做一个想环游世界的程序员</description>
    <link>https://jaredddddd.github.io/</link>
    <atom:link href="https://jaredddddd.github.io/feed.xml" rel="self" type="application/rss+xml" />
    <pubDate>Sun, 06 Jul 2025 07:18:12 +0000</pubDate>
    <lastBuildDate>Sun, 06 Jul 2025 07:18:12 +0000</lastBuildDate>
    <generator>Jekyll v3.10.0</generator>
    
      <item>
        <title>语法分析</title>
        <description>&lt;h1 id=&quot;语法分析关键知识点小结&quot;&gt;语法分析关键知识点小结&lt;/h1&gt;

&lt;h1 id=&quot;ll&quot;&gt;LL&lt;/h1&gt;

&lt;p&gt;自顶向下解析 可以细分为 两种： 递归下降解析 和（ ） ，其中递归下降解析又有两种实现方式，回溯法和 预测解析 ，其中预测解析通过预读字符来实现，其预读的个数也作为一个环境变量。&lt;/p&gt;

&lt;p&gt;预读k个字符的预测解析 法 被称为:&lt;/p&gt;

&lt;p&gt;LL(k)文法， 其中第一个L表示从左向右扫描输入字符串 ；第二个L表示LeftMost(最左推导)&lt;/p&gt;

&lt;p&gt;k表示预读 k个字符。&lt;/p&gt;

&lt;h2 id=&quot;如何判断文法是不是有二义性&quot;&gt;如何判断文法是不是有二义性&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;==尝试的时候就看，没有确定优先级和结合性一般就会导致二义性了==&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;定义 10 用二义性甩. 如果对于一个文法，存在一个句子，对这个句子可以构造两棵不同的分析树，那么我们称这个文法为二义的&lt;/p&gt;

&lt;p&gt;所以找到两个不同分析树即可，例如：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240409223311707.png&quot; alt=&quot;image-20240409223311707&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;优先级和结合性&quot;&gt;优先级和结合性：&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;参考：&lt;a href=&quot;https://blog.csdn.net/sandalphon4869/article/details/103423292&quot;&gt;编译原理（三）语法分析：3.二义性与二义性的消除&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;若文法G对同一句子产生不止一棵分析树，则称G是二义的。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;例3.7 句子id+id*id和id+id+id可能的分析树
&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;E→E+E | E*E |（E）| -E | id&lt;/code&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;深度越深，越远离开始节点，&lt;a href=&quot;https://so.csdn.net/so/search?q=优先级&amp;amp;spm=1001.2101.3001.7020&quot;&gt;优先级&lt;/a&gt;越高。
非终结符在终结符(如+)的左边是左结合，右边是右结合。
&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/20191206145651402.png&quot; alt=&quot;在这里插入图片描述&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/24326825-0aa2e31475b1f08a.png&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;如何判断是不是ll文法&quot;&gt;如何判断是不是LL文法&lt;/h2&gt;

&lt;p&gt;Top-down + predict = LL(K)&lt;/p&gt;

&lt;p&gt;如果有以下两项则不是LL(K)文法（lec_7,P35）&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;有共同前缀&lt;/li&gt;
  &lt;li&gt;有左递归&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;幸运的是有办法可以消除这两个。&lt;/p&gt;

&lt;h2 id=&quot;如何变为ll文法&quot;&gt;如何变为LL文法&lt;/h2&gt;

&lt;p&gt;==建议先消除共同前缀，然后再消除左递归，例如hw2的1.5==&lt;/p&gt;

&lt;h3 id=&quot;如何消除左递归&quot;&gt;如何消除左递归&lt;/h3&gt;

&lt;p&gt;更一般情况下的直接左递归&lt;/p&gt;

&lt;p&gt;考虑如下文法：&lt;/p&gt;

&lt;table&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;A→Aα1&lt;/td&gt;
      &lt;td&gt;Aα2&lt;/td&gt;
      &lt;td&gt;…&lt;/td&gt;
      &lt;td&gt;Aαm&lt;/td&gt;
      &lt;td&gt;β1&lt;/td&gt;
      &lt;td&gt;β2&lt;/td&gt;
      &lt;td&gt;…&lt;/td&gt;
      &lt;td&gt;βn&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;产生的句子为：&lt;/p&gt;

&lt;p&gt;βiαj1αj2…&lt;/p&gt;

&lt;p&gt;所以，消除递归后文法为：&lt;/p&gt;

&lt;p&gt;A→(β1|β2|…|βn)A’ 用来产生以βi开头的句型/句子
A’→(α1|α2|…|αm)A’|ε
\(\begin{align*}
    A &amp;amp;\rightarrow A\alpha \\
      &amp;amp;\rightarrow A\alpha \alpha \\
      &amp;amp;\rightarrow A\alpha \alpha \alpha
\end{align*}\)
&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240409224714958.png&quot; alt=&quot;image-20240409224714958&quot; style=&quot;zoom: 50%;&quot; /&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240409224655651.png&quot; alt=&quot;image-20240409224655651&quot; style=&quot;zoom: 50%;&quot; /&gt;&lt;/p&gt;

&lt;h4 id=&quot;易错点例子&quot;&gt;易错点例子&lt;/h4&gt;

&lt;p&gt;==β为多个时==&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701170939385.png&quot; alt=&quot;image-20240701170939385&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;==没有β时==&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701170947186.png&quot; alt=&quot;image-20240701170947186&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;如何消除共同前缀&quot;&gt;如何消除共同前缀&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240409225649592.png&quot; alt=&quot;image-20240409225649592&quot; style=&quot;zoom: 50%;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;first集follow集和select集&quot;&gt;First集、Follow集和Select集&lt;/h2&gt;

&lt;p&gt;定义 15&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;FIRST(α)为从α中推导出来的字符串&lt;strong&gt;第一个终端符号&lt;/strong&gt;的集合&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;FOLLOW(A)集为可以出现在&lt;strong&gt;A右侧&lt;/strong&gt;的&lt;strong&gt;终端符号&lt;/strong&gt;的集合&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;FOLLOW(A)是所有该文法开始符推导的句型中出现在&lt;strong&gt;紧跟A之后&lt;/strong&gt;的终结符或 “#”。
\(follow(A)=\{a|S\to...Aa...,a\in V_t\}\)
其中S表示文法的开始符号，非终结符A后面跟着的&lt;strong&gt;终结符&lt;/strong&gt;或&lt;strong&gt;‘#&lt;/strong&gt;’集合，且是紧挨着A的&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;hr /&gt;

&lt;h3 id=&quot;如何求first集&quot;&gt;如何求First集&lt;/h3&gt;

&lt;p&gt;求$First(X)$&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;如果$X$是&lt;strong&gt;终结符&lt;/strong&gt;，则$First(X)={X}$&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;如果$X$是&lt;strong&gt;非终结符&lt;/strong&gt;且存在$X\to \varepsilon $，则将$\varepsilon$加入到$First(X)$中&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;若$X→Y…$，且$Y$属于&lt;strong&gt;非终结符&lt;/strong&gt;且$Y$不能推出$\varepsilon$，则将$FIRST(Y)/{\varepsilon}$加入到$FIRST(X)$中。&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;也就是第一个&lt;strong&gt;非终结符&lt;/strong&gt;的$First$集就不包含$\varepsilon$(换句话说第一个&lt;strong&gt;非终结符&lt;/strong&gt;不能推出$\varepsilon$)&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;如果$X$是非终结符且$X \to Y_1Y_2Y_3…Y_k$，则&lt;/p&gt;

    &lt;ol&gt;
      &lt;li&gt;
        &lt;p&gt;若$Y_1Y_2Y_3…Y_k$都是&lt;strong&gt;非终结符&lt;/strong&gt;，且$Y_1Y_2Y_3…Y_{i-1}$的$FIRST$集合中均包含$\varepsilon$，则将$FIRST(Y_j)，(j=1,2…i)$的所有非$\varepsilon$元素加入到$FIRST(X)$中，&lt;/p&gt;

        &lt;blockquote&gt;
          &lt;p&gt;==也就是找到第一个$First$集里不包含$\varepsilon$的的$Y_i$==，然后将$Y_0到Y_i$的$First$集合都加入到$First(X)$中。&lt;/p&gt;

          &lt;blockquote&gt;
            &lt;p&gt;这里很容易忘记是要找到第一个不包含$\varepsilon$的symbol&lt;/p&gt;
          &lt;/blockquote&gt;

          &lt;p&gt;&lt;strong&gt;例如&lt;/strong&gt;：如果X是非终结符，有产生式形如$X\to ABCdEF…$(A,B,C为&lt;strong&gt;非终结符&lt;/strong&gt;且包含ε，d为终结符，也就是说First(d)={d}不包含$\varepsilon$)，则需要把&lt;strong&gt;FIRST(A), FIRST(B),FIRST(C),First(d)={d}&lt;/strong&gt;入到FIRST(X)中&lt;/p&gt;
        &lt;/blockquote&gt;
      &lt;/li&gt;
      &lt;li&gt;
        &lt;p&gt;==特别地，若$Y_1Y_2Y_3…Y_k$均有$\varepsilon$产生式，则将$\varepsilon$加到$FIRST(X)$中。==&lt;/p&gt;
      &lt;/li&gt;
    &lt;/ol&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;所以可以总结为直到找到后面不能推出空的，然后累加前面的所有的First集&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;strong&gt;技巧：&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;==First一般从下往上找。==&lt;/p&gt;

&lt;p&gt;如果要找A的First，我们要找A的定义式，即A在&lt;strong&gt;左边&lt;/strong&gt;的式子，看着他的右边来找。&lt;/p&gt;

&lt;hr /&gt;

&lt;h3 id=&quot;如何求follow集&quot;&gt;如何求Follow集&lt;/h3&gt;

&lt;p&gt;如何求$Follow集$(==非终结符才有==)，所以求follow集的时候先找非终结符&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;如果是文法的开始符号S，把$$$加入到$Follow(S)$&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;如果有$A\toαBβ$，则把$First(β)/{ε}$加入到$Follow(B)$中.&lt;strong&gt;（first(β)/{ε}表示把first(β)中去掉ε)&lt;/strong&gt;&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;也就是这里B后面第一个不为空，所以可以直接将后一个的First集加入到$Follow(B)$中&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;如果有$A\to αB$或$A\to αBβ$，&lt;strong&gt;且$β\toε$&lt;/strong&gt;（这个条件应该是First(β)包含ε），则把$Follow(A)$加入到$Follow(B)$中。&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;&lt;strong&gt;注意，&lt;/strong&gt;A-&amp;gt;αBβ，α可以是终结符也可以为非终结符也可以为空，没影响，因为Follow看的是B后面可以是什么符号，β可以为终结符或者非终结符，但是不能为空且B后面要有符号;&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;==注意这里要按顺序走完，满足2的同样有机会满足3，（有$β\toε$）==&lt;/p&gt;

&lt;table&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;如S-&amp;gt;(L)&lt;/td&gt;
      &lt;td&gt;aL&lt;/td&gt;
      &lt;td&gt;LC&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;找Follow的三种情况：&lt;/p&gt;

&lt;p&gt;先在候选式（右边）中找到该&lt;strong&gt;非终结符&lt;/strong&gt;，如L（注意例中只有一个定义，但找Follow要看到所有右边出现该非终结符的）&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;如果L的右边是&lt;strong&gt;终结符&lt;/strong&gt;， 那么这个终结符加入L的$Follow$（其实这一个是第二个情况的一部分，因为如果L右边是终结符，也就是$β$是终结符，那么$First(β)={β}$，所以相当于是把这个终结符加入$Follow集$）&lt;/li&gt;
  &lt;li&gt;如果L的右边是&lt;strong&gt;非终结符&lt;/strong&gt;， 那么把这个&lt;strong&gt;非终结符&lt;/strong&gt;的$First$除去空加到L的Follow中&lt;/li&gt;
  &lt;li&gt;如果L处在最末尾（右边没有东西了），那么，$\to$左手边符号的$Follow$集加入到L的$Follow$集。&lt;/li&gt;
&lt;/ul&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;strong&gt;小结：&lt;/strong&gt;
FOLLOW集对于&lt;strong&gt;非终结符&lt;/strong&gt;而言，是非终结符的全部后跟符号的集合，&lt;/p&gt;

&lt;p&gt;如果后跟终结符则加入，&lt;/p&gt;

&lt;p&gt;如果后跟非终结符，则加入该非终结符的不含空符号串的FIRST集，&lt;/p&gt;

&lt;p&gt;特别地，文法的&lt;strong&gt;开始符号&lt;/strong&gt;的FOLLOW集需要额外的加入‘#’。&lt;/p&gt;

&lt;p&gt;1&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;技巧&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;==Follow一般从上往下找。==&lt;/p&gt;

&lt;p&gt;如果要找L的Follow，要从式子的&lt;strong&gt;右边&lt;/strong&gt;找到&lt;strong&gt;非终结符&lt;/strong&gt;L，然后来找L的Follow，这与First是不同的。&lt;/p&gt;

&lt;h3 id=&quot;如何求select集&quot;&gt;如何求Select集&lt;/h3&gt;

&lt;p&gt;&lt;strong&gt;定义&lt;/strong&gt;:给定上下文无关文法的产生式$A→α, A∈VN,α∈V*$&lt;/p&gt;

&lt;p&gt;如何求：（α是一个整体，例如&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701205715627.png&quot; alt=&quot;image-20240701205715627&quot; /&gt;，其中第一个A可以推出空，所以还需要求B的first，所以First(AB)={a,b}）&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;若α不能推导出ε则：SELECT(A→α)=FIRST(α) 　&lt;/li&gt;
  &lt;li&gt;如果α能推导出ε则：SELECT(A→α)=（FIRST(α) –{ε}）∪FOLLOW(A)&lt;/li&gt;
&lt;/ol&gt;

&lt;blockquote&gt;
  &lt;p&gt;也可以&lt;/p&gt;

  &lt;ol&gt;
    &lt;li&gt;
      &lt;p&gt;先只考虑first集&lt;/p&gt;
    &lt;/li&gt;
    &lt;li&gt;
      &lt;p&gt;然后考虑如果 ε 在 FIRST(α) 中，或者 α=ε，则 a 在 FOLLOW(A) 中（ε-产生式）&lt;/p&gt;

      &lt;blockquote&gt;
        &lt;p&gt;如果 ε 在 FIRST(α) 中并且 $ 在 FOLLOW(A) 中，则将 A 与 α 一起添加到 M[A, $]&lt;/p&gt;
      &lt;/blockquote&gt;
    &lt;/li&gt;
  &lt;/ol&gt;

  &lt;p&gt;例如：&lt;/p&gt;

  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701000422788.png&quot; alt=&quot;image-20240701000422788&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;易错点的例题（  来自HW2-3(1)  ）：&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701170440626.png&quot; alt=&quot;image-20240701170440626&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;需要注意的是，SELECT集是针对&lt;strong&gt;产生式&lt;/strong&gt;而言的。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;意义&lt;/strong&gt;：给定输入的表达式字符串，需要根据表达式的字符串中的字符用来寻找正确的产生式，即&lt;strong&gt;输入的表达式字串中的字符&lt;/strong&gt;作为key，&lt;strong&gt;产生式&lt;/strong&gt;作为value，那么这个select集就是构造的map&lt;/p&gt;

&lt;p&gt;例子：&lt;/p&gt;

&lt;div class=&quot;language-c++ highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;G&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;:&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;TE&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;+&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;TE&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;|&lt;/span&gt; &lt;span class=&quot;err&quot;&gt;ε&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FT&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;*&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FT&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;|&lt;/span&gt; &lt;span class=&quot;err&quot;&gt;ε&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;F&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;|&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;

&lt;span class=&quot;err&quot;&gt;对应的&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;first&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;集合：&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;first&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(}&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;first&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(}&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;first&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;err&quot;&gt;ε&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;first&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;err&quot;&gt;ε&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;first&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;F&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{(,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;

&lt;span class=&quot;err&quot;&gt;对应的&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;follow&lt;/span&gt; &lt;span class=&quot;err&quot;&gt;集合：&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;follow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;#&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;)}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// E作为开始符，且在F-&amp;gt;(E) | i 产生式中，E后存在 ) 符号&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;follow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;#&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;)}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// 根据规则 A-&amp;gt;αB，则E-&amp;gt;TE&apos;将follow(E)加入到follow(E&apos;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;follow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;err&quot;&gt;#&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;)}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// 有E-&amp;gt;TE&apos;，根据A-&amp;gt;αBβ规则，有α为空，E&apos;-&amp;gt;ε，此时将follow(E)加入follow(T)，根据E&apos;-&amp;gt;+TE&apos; | ε将first(+)\{ε}加入follow(T)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;follow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;err&quot;&gt;#&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;)}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// T-&amp;gt;FT&apos;将follow(T)加入&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;follow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;F&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;#&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,)}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// T-&amp;gt;FT&apos;，根据A-&amp;gt;αBβ，α为空，T&apos;-&amp;gt;ε，将follow(T)加入;T&apos;-&amp;gt;*FT&apos; | ε，根据A-&amp;gt;αBβ，将first(T&apos;) / {ε} 加入&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;那么计算的Select集是&lt;/p&gt;

&lt;div class=&quot;language-c highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;select&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;TE&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// T无法推出ε，所以取first(T)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;select&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;+&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;TE&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// 直接取first(+)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;select&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;ε&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;#&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;)}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// 注意候选式要分开计算，因为是ε所以取follow(E&apos;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;select&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{(,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// first(F)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;select&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;*&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FT&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// first(*)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;select&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;ε）&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;err&quot;&gt;#&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;)}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// follow(T&apos;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;select&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;F&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;E&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{(}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// first(()&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;select&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;F&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&amp;gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;// first(i)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;参考：&lt;a href=&quot;https://blog.csdn.net/wzy1120433847/article/details/121866976&quot;&gt;First集 Follow集 Select集 知识点+例题&lt;/a&gt;&lt;/p&gt;

&lt;h3 id=&quot;利用select集构建parse-table&quot;&gt;利用select集构建Parse Table&lt;/h3&gt;

&lt;p&gt;根据select表决定放在哪一列&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240630235526319.png&quot; alt=&quot;image-20240630235526319&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;如何判断是否符合ll1文法&quot;&gt;如何判断是否符合LL(1)文法&lt;/h2&gt;

&lt;p&gt;确定文法是否为 LL(1) 的两种方法：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;构造LL(1)表，检查如果每个格子中只有一条产生式，那么则是LL(1)&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;观察所有Select集，若&lt;strong&gt;左部相同的产生式&lt;/strong&gt;的Select集的交集为空，则符合LL(1)文法，否则不满足。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;如何构造ll1的预测语法表&quot;&gt;如何构造LL(1)的预测语法表&lt;/h2&gt;

&lt;ol&gt;
  &lt;li&gt;变为适合LL文法&lt;/li&gt;
  &lt;li&gt;计算First集和Follow集&lt;/li&gt;
  &lt;li&gt;根据First集和Follow集计算Select表&lt;/li&gt;
  &lt;li&gt;根据Select表画出预测语法表&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;用Select表将每个产生式放到产生式&lt;strong&gt;左部非终结符&lt;/strong&gt;所对应的行，列表中各个&lt;strong&gt;终结符所对应的列&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;例如：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240410223835753.png&quot; alt=&quot;image-20240410223835753&quot; style=&quot;zoom: 43%;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;如何使用ll1的预测语法表&quot;&gt;如何使用LL(1)的预测语法表、&lt;/h2&gt;

&lt;p&gt;X为栈顶symbol，a为目前input buffer中处理的token&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;比较（Match）：&lt;strong&gt;栈顶X&lt;/strong&gt;为&lt;strong&gt;终结符&lt;/strong&gt;出栈查表&lt;strong&gt;对比&lt;/strong&gt;&lt;/p&gt;

    &lt;ol&gt;
      &lt;li&gt;$X==a==$$，那么返回&lt;strong&gt;success&lt;/strong&gt;&lt;/li&gt;
      &lt;li&gt;$X==a！=$$，那么属于中间过程，将X和a弹出即可&lt;/li&gt;
      &lt;li&gt;$X！=a$$，paser halt and input is &lt;strong&gt;rejected&lt;/strong&gt;&lt;/li&gt;
    &lt;/ol&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;展开（Expand）：&lt;strong&gt;栈顶X&lt;/strong&gt;为&lt;strong&gt;非终结符&lt;/strong&gt;出栈&lt;strong&gt;展开&lt;/strong&gt;&lt;/p&gt;

    &lt;ol&gt;
      &lt;li&gt;
        &lt;p&gt;如果MA[X,a] == ‘X-&amp;gt;RHS’，那么X出栈，RHS入栈，input buffer中不变&lt;/p&gt;

        &lt;blockquote&gt;
          &lt;p&gt;入栈的时候是逆序入栈，例如X-&amp;gt;BcD
其实也就是最左推导，最左边符号需要先被展开/比较，所以需要在靠近栈顶的位置。&lt;/p&gt;

          &lt;table&gt;
            &lt;thead&gt;
              &lt;tr&gt;
                &lt;th&gt;之前的栈&lt;/th&gt;
                &lt;th&gt;之后的栈&lt;/th&gt;
              &lt;/tr&gt;
            &lt;/thead&gt;
            &lt;tbody&gt;
              &lt;tr&gt;
                &lt;td&gt; &lt;/td&gt;
                &lt;td&gt;B&lt;/td&gt;
              &lt;/tr&gt;
              &lt;tr&gt;
                &lt;td&gt; &lt;/td&gt;
                &lt;td&gt;c&lt;/td&gt;
              &lt;/tr&gt;
              &lt;tr&gt;
                &lt;td&gt;X&lt;/td&gt;
                &lt;td&gt;D&lt;/td&gt;
              &lt;/tr&gt;
              &lt;tr&gt;
                &lt;td&gt;…&lt;/td&gt;
                &lt;td&gt;…&lt;/td&gt;
              &lt;/tr&gt;
              &lt;tr&gt;
                &lt;td&gt;$&lt;/td&gt;
                &lt;td&gt;$&lt;/td&gt;
              &lt;/tr&gt;
            &lt;/tbody&gt;
          &lt;/table&gt;
        &lt;/blockquote&gt;
      &lt;/li&gt;
      &lt;li&gt;
        &lt;p&gt;如果MA[X,a] == empty，paser halt and input is &lt;strong&gt;rejected&lt;/strong&gt;&lt;/p&gt;
      &lt;/li&gt;
    &lt;/ol&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&quot;lr&quot;&gt;LR&lt;/h1&gt;

&lt;p&gt;LR 文法，&lt;strong&gt;自底向上&lt;/strong&gt;的语法分析&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;首先介绍 &lt;strong&gt;规约&lt;/strong&gt; 的概念 ，自底向上的分析 和 自顶向下是反过来的，每次操作都是将 语法符号序列 转为非终结符 。（这与 自顶向下&lt;strong&gt;非终结符&lt;/strong&gt;展开为&lt;strong&gt;语法符号序列&lt;/strong&gt;恰好相反）&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;也就是从右往左替换，例如A-&amp;gt;B，LL中是A被B替换，而LR中是用A替换B&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;strong&gt;自底向上&lt;/strong&gt; 对应 &lt;strong&gt;反向最右推导&lt;/strong&gt;(&lt;strong&gt;自顶向下&lt;/strong&gt; 对应 &lt;strong&gt;最左推导&lt;/strong&gt;)&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;例如：下面举个例子:
\(id*id=&amp;gt;dF*id=&amp;gt;T*id=&amp;gt;T*T=&amp;gt;T=&amp;gt;E\)
如果反过来:
\(E=&amp;gt;T=&amp;gt;T*F=&amp;gt;T*id=&amp;gt;F*id=&amp;gt;id*id\)
发现正好是一个最右推导&lt;/p&gt;

&lt;p&gt;例子（lec-10）：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504160449367.png&quot; alt=&quot;image-20240504160449367&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;strong&gt;先科普下LR语法分析器的优势:&lt;/strong&gt;&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;更通用：对于几乎所有程序设计语言，只要能写出上下文无关文法，就能够造出识别该语言的LR语法分析器。确实存在非LR的上下文无关文法，但常见程序设计语言都可以避免这种文法。&lt;/li&gt;
  &lt;li&gt;已知的最通用的 &lt;strong&gt;无回溯&lt;/strong&gt; 移入-规约分析技术，其实现十分高效。&lt;/li&gt;
  &lt;li&gt;能尽早的发现语法错误，可以解决左递归问题&lt;/li&gt;
  &lt;li&gt;LR的语言是LL语言的 真超集(也就是$LL \subseteq  LR$)。LR文法的要求比LL文法要求宽松，且与LL一样高效&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;缺点：手工构造LR分析器的工作量非常大，但是可以利用LR语法分析器生成工具。比如Yacc等。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;strong&gt;分界点用 # 标记&lt;/strong&gt;(#号左边即为已经处理过的，右边为还没处理的)&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;# 仅作为标示，不是字符串的一部分&lt;/li&gt;
  &lt;li&gt;最初，所有输入都是未经检查的,例如： $ # x1 x2 . . .xn$[输入尚未有任何解析]&lt;/li&gt;
&lt;/ul&gt;

&lt;hr /&gt;

&lt;p&gt;自下而上的解析也称为 Shift-Reduce 解析&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;涉及两种类型的操作：Shift和Reduce&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;回顾：LL（自顶向下）中也是只有两种动作：expend和compare&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;Shift[移入]：向右移动 # 一个位置[向左侧移入终结符，推进解析]&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;ABC&lt;strong&gt;#x&lt;/strong&gt;yz ⇒ ABC&lt;strong&gt;x#&lt;/strong&gt;yz&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;Reduce[归约]：逆向使用产生式[左侧串的右端进行归约]（#号左边的句柄规约）&lt;/p&gt;

    &lt;ul&gt;
      &lt;li&gt;如果 E → Cx 是产生式，那么：AB&lt;strong&gt;Cx&lt;/strong&gt;#yz ⇒ AB&lt;strong&gt;E&lt;/strong&gt;#yz&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;hr /&gt;

&lt;p&gt;我们用栈来实现，&lt;/p&gt;

&lt;p&gt;#号左边字符串存储到堆栈中，堆栈的顶部是 #[#号左右串的分界]&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;Shift就是将终结符放到栈中&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;Reduce 执行以下操作（例如右产生式LHS -&amp;gt; RHS）：&lt;/p&gt;

    &lt;ol&gt;
      &lt;li&gt;从堆栈中弹出零个或多个符号[pop出了产生式RHS]&lt;/li&gt;
      &lt;li&gt;在堆栈上推进非终结符[push进了产生式LHS]&lt;/li&gt;
    &lt;/ol&gt;

    &lt;blockquote&gt;
      &lt;p&gt;其实就是反向使用产生式LHS &amp;lt;- RHS&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;hr /&gt;

&lt;p&gt;下面介绍 &lt;strong&gt;移入-规约 语法分析技术 ，实际上这是自底向上分析的基本算法框架&lt;/strong&gt;，&lt;/p&gt;

&lt;p&gt;其包含两个组件：1个栈 ， 1个输入缓冲区 ；&lt;/p&gt;

&lt;p&gt;主要由4 个操作组成：&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;1）移入&lt;/strong&gt;：将下一个输入 符号 移入 栈顶&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;2）规约&lt;/strong&gt; ：规约是对栈中的语法符号串进行规约，被规约的串右侧位于栈顶，语法分析器确定串左端&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;3）接收&lt;/strong&gt; ：宣布语法分析过程成功完成&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;4）报错&lt;/strong&gt; ：发现语法错误，执行错误恢复程序。&lt;/p&gt;

&lt;p&gt;移入-规约 技术的关键在于 决定 何时进行 规约， 何时进行移入操作，这将在后文的具体实现中介绍方法。&lt;/p&gt;

&lt;h2 id=&quot;句柄&quot;&gt;句柄&lt;/h2&gt;

&lt;p&gt;一个关键的问题是何时进行Shift何时进行Reduce？&lt;/p&gt;

&lt;p&gt;只有&lt;strong&gt;栈顶&lt;/strong&gt;是&lt;strong&gt;句柄&lt;/strong&gt;的时候才Reduce，其他时候都是Shift&lt;/p&gt;

&lt;p&gt;实际上句柄就是产生式的替换 ，&lt;/p&gt;

&lt;p&gt;如果有$ S=&amp;gt;^{rm*}\alpha A\omega =&amp;gt;^{rm}\alpha \beta \omega$&lt;/p&gt;

&lt;p&gt;则我们称$ A-&amp;gt;\beta $是 $\alpha\beta\omega $的一个句柄，为了简化起见，有时直接把 $\beta $称为句柄，其中 $\omega $只包含终结符号（最右推导，所以右边这里其实是已经处理完的，也即最右推导中已被完全展开 ，左边的尚未被完全展开 )。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;回顾： $\omega $只包含终结符号，也就是&lt;strong&gt;句子&lt;/strong&gt;，&lt;strong&gt;句型&lt;/strong&gt;既包含终结符也包含非终结符&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;所以自顶向上分析的技术可以看成不断的替换&lt;strong&gt;句柄&lt;/strong&gt;为&lt;strong&gt;非终结符&lt;/strong&gt; 的过程。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;如何找到句柄？&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;最右句型：最右句型是指在语法分析过程中，通过逐步应用产生式规则，从初始符号开始逐步推导出的一系列符号串中的&lt;strong&gt;最后一个&lt;/strong&gt;。在自底向上的语法分析（如移进-归约分析）中，最右句型是分析&lt;strong&gt;栈顶部的符号串&lt;/strong&gt;&lt;/li&gt;
  &lt;li&gt;短语：一个句型的语法树中&lt;strong&gt;任一子树&lt;/strong&gt;的叶结点所组成的符号串都是该句型的短语&lt;/li&gt;
  &lt;li&gt;直接短语：只用一步就可以推导出&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;句柄是最左直接短语：&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;例子1：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504162935876.png&quot; alt=&quot;image-20240504162935876&quot; /&gt;&lt;/p&gt;

&lt;p&gt;例子2：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504163108393.png&quot; alt=&quot;image-20240504163108393&quot; /&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;==句柄一定只出现在栈顶==&lt;/p&gt;

&lt;h2 id=&quot;一些概念&quot;&gt;一些概念&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701180526280.png&quot; alt=&quot;image-20240701180526280&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;例子：&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701180548844.png&quot; alt=&quot;image-20240701180548844&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;活前缀可动前缀&quot;&gt;活前缀/可动前缀&lt;/h2&gt;

&lt;p&gt;定义：一个可行前缀是一个最右句型的前缀，并且它没有越过该最右句型的最右句柄的右端&lt;/p&gt;

&lt;p&gt;举例：S =&amp;gt; bBa =&amp;gt; b&lt;strong&gt;bA&lt;/strong&gt;a，这里句柄是 bA，因此可行前缀包括 bA 的所有前缀：b, bb,&lt;/p&gt;

&lt;p&gt;bbA），但不能是 bbAa（因为越过了句柄）&lt;/p&gt;

&lt;h2 id=&quot;二义文法&quot;&gt;二义文法&lt;/h2&gt;

&lt;p&gt;有多个可能的动作，会导致冲突&lt;/p&gt;

&lt;p&gt;例如：既可以像左边一样规约，也可以向右边一样移进&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504163623225.png&quot; alt=&quot;image-20240504163623225&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Can have conflicts[冲突可能发生]&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;如果Shift或Reduce是合法的，则存在&lt;strong&gt;Shift-Reduce conflict[移入-归约冲突]&lt;/strong&gt;&lt;/li&gt;
  &lt;li&gt;如果有两个合法的Reduce，则有一个&lt;strong&gt;Reduce-Reduce conflict[归约-归约冲突]&lt;/strong&gt;&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;没有Shift-Shift冲突这种东西&lt;/strong&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;hr /&gt;

&lt;p&gt;自底向上有很多种实现方式，但是我们只学LR类解析器，例如：LR(0), LR(1), SLR, LALR&lt;/p&gt;

&lt;p&gt;LR（k）：LR 解析器系列的成员&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;L：从左到右扫描输入&lt;/li&gt;
  &lt;li&gt;R：反向构造最右边的推导&lt;/li&gt;
  &lt;li&gt;k：向前看k个
    &lt;ul&gt;
      &lt;li&gt;k = 0 或 1 特别有意义，默认为 1&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;LR比LL更加powerful且一样高效&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504174545143.png&quot; alt=&quot;image-20240504174545143&quot; /&gt;&lt;/p&gt;

&lt;p&gt;LR 解析器使用两个表：action表和goto表，这两个表通常合并在一起&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;action表指定终结符的条目（遇到终结符看action表）&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;goto表指定非终结符的条目（遇到非终结符看goto表）&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;其实是reduce之后看goto表，reduce得出的结果是非终结符，所以也可以说遇到非终结符看goto表&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;Action table[动作表]&lt;/strong&gt;（也就是用s+a确定下一个动作，a是终结符）&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;Action[s， a] 告诉解析器当堆栈是 S，终结符 A 是下一个输入token
    &lt;ul&gt;
      &lt;li&gt;可能的操作：shift、reduce、accept、error&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;Goto Table[跳转表]&lt;/strong&gt;（也就是查看action表后发现是Reduce操作，Reduce发生后用S+x确定下一个状态，x是非终结符）&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;Goto[s， X] 表示要放置在堆栈顶部的新状态，在非终结符X 的Reduce之后，状态 s 位于
堆栈&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;如何使用解析表&quot;&gt;如何使用解析表&lt;/h2&gt;

&lt;p&gt;PPT：lec11&lt;/p&gt;

&lt;p&gt;表条目的意思：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;s&lt;strong&gt;i&lt;/strong&gt;：及先执行shift，然后转移到 state i&lt;/li&gt;
  &lt;li&gt;r&lt;strong&gt;j&lt;/strong&gt;：用j号产生式来归约，规约之后要去goto表找对应状态加到stack中&lt;/li&gt;
  &lt;li&gt;ACC：接受&lt;/li&gt;
  &lt;li&gt;空白：错误&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;最终目标是栈中只有$&lt;/p&gt;

&lt;h2 id=&quot;如何构建解析表&quot;&gt;如何构建解析表&lt;/h2&gt;

&lt;ol&gt;
  &lt;li&gt;求出item(根据增广文法求)&lt;/li&gt;
  &lt;li&gt;由S’-&amp;gt;S求出I0(这里需要用到求closure的方法，每一个$I_{k}$都是先根据$I_{k-1}$中的item，找到转移symbol可得到的下一个状态的item，然后看&lt;strong&gt;点&lt;/strong&gt;后面的符号，在全部的production中找到可以的符号再加入到$I_{k}$中)&lt;/li&gt;
  &lt;li&gt;然后一步步求出全部的I得到DFA&lt;/li&gt;
  &lt;li&gt;根据DFA构建ACTION表和GOTO表&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504175519565.png&quot; alt=&quot;image-20240504175519565&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;增广文法&quot;&gt;增广文法&lt;/h2&gt;

&lt;table&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;首先引入，&lt;strong&gt;增广文法&lt;/strong&gt;的概念，这个比较简单。G的增广文法G’是 G加上一个新的 开始符S’,并且加入产生式 :$ S’-&amp;gt;S$ (S为G的开始符) 得到的文法。其目的是告诉语法分析器合适结束（当要运行规则$ S’-&amp;gt;S $时结束），==同时还要把同时又多个可能的拆开，例如$S \to AB&lt;/td&gt;
      &lt;td&gt;a$ 拆为 $S \to AB, S \to a$==&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;blockquote&gt;
  &lt;p&gt;对文法进行增广的目的是为了区分开某些右部含有开始符号的文法，在归约过程中能分清是否已归约到文法的最初开始符，还是在文法右部出现的开始符号，增广文法的开始符号S′只在左部出现，这样确保了不会混淆。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;也就是添加了一个0号规则保证ACC的唯一性&lt;/p&gt;

&lt;h2 id=&quot;s0-initial-state&quot;&gt;S0 initial state&lt;/h2&gt;

&lt;p&gt;也就是加入了增广文法之后的item set&lt;/p&gt;

&lt;p&gt;例子：
\(S \to AB | a\\
A \to a | ε \\
B \to b\)
那么initial stage $S_0$是:
\({ S’\to .S, S \to .AB, S \to .a, A \to .a, A \to . }\)&lt;/p&gt;

&lt;hr /&gt;

&lt;hr /&gt;

&lt;p&gt;下面介绍具体实现，构造LR语法分析器的关键就在于 识别 何时该 移入，何时该规约。&lt;/p&gt;

&lt;p&gt;LR语法分析器通过维护一些状态，来做出 移入-规约 决策。&lt;/p&gt;

&lt;p&gt;那么这些状态是什么？ 是 item 的集合。&lt;/p&gt;

&lt;h2 id=&quot;如何求文法的项目item&quot;&gt;如何求文法的项目item&lt;/h2&gt;

&lt;p&gt;那么 item 是什么？：一个文法G的LR(0)item（简称item）是G的一个&lt;strong&gt;产生式&lt;/strong&gt;再加上位于其中的某&lt;strong&gt;点&lt;/strong&gt;，比如，&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$A-&amp;gt;XYZ $有4个item:&lt;/li&gt;
&lt;/ul&gt;

\[A-&amp;gt;\dot \ XYZ\\ A-&amp;gt;X\dot\ YZ\\ A-&amp;gt;XY\dot\ Z \\ A-&amp;gt;XYZ\dot \\\]

&lt;ul&gt;
  &lt;li&gt;$A-&amp;gt;\epsilon$ 只有一个item:&lt;/li&gt;
&lt;/ul&gt;

\[A-&amp;gt; \dot\\]

&lt;p&gt;item的通俗理解是: 表明了在语法分析 过程中 ，我们已经&lt;strong&gt;看到了 一个产生式的哪些部分&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;举例来说:&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;$A-&amp;gt;\dot\ XYZ $在接下来的输入中期望看到从$XYZ$推导而得到的串&lt;/li&gt;
  &lt;li&gt;$A-&amp;gt;X\dot\ YZ $表明我们刚刚在输入中看到了一个可以由$X$推导得到的串，并且希望看到从$YZ$推导得到的串。&lt;/li&gt;
  &lt;li&gt;$A-&amp;gt;XYZ \dot\ $表示已经看到了产生式体 $XYZ $可以，可以执行规约了。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;==如何求项目：如何求项目：就给每个规则加一个点以后然后挪位置，挪一个位置就得到一个项目，操作完了以后你就得到了一堆项目==&lt;/p&gt;

&lt;p&gt;item的集合叫LR parser的&lt;strong&gt;configuration set[配置集]&lt;/strong&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;strong&gt;根据项集族，可以构建 DFA（确定有穷自动机）&lt;/strong&gt; -&amp;gt; 利用该自动机，就可以自动作出决策（移入 or 规约）&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;明确来说，自动机的每个状态对应item set族中的一个item set,&lt;/p&gt;
&lt;/blockquote&gt;

&lt;hr /&gt;

&lt;p&gt;下面来研究如何 构造LR(0）的项集族。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;ul&gt;
    &lt;li&gt;&lt;strong&gt;项&lt;/strong&gt;就是上文的&lt;strong&gt;item&lt;/strong&gt;,已经有明确定义&lt;/li&gt;
    &lt;li&gt;&lt;strong&gt;item set&lt;/strong&gt;或者&lt;strong&gt;项集&lt;/strong&gt;，表示 item的集合，&lt;/li&gt;
    &lt;li&gt;&lt;strong&gt;item set族&lt;/strong&gt;或者&lt;strong&gt;项集族&lt;/strong&gt;，意思就是集合的集合 。&lt;/li&gt;
  &lt;/ul&gt;

  &lt;p&gt;DFA的每个状态对应 LR(0)项集族中的一个元素，也就是一个项集&lt;/p&gt;
&lt;/blockquote&gt;

&lt;hr /&gt;

&lt;hr /&gt;

&lt;h2 id=&quot;项目集闭包closure-of-item-sets&quot;&gt;项目集闭包（closure of item sets）&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;也是期待意义等价&lt;/p&gt;
&lt;/blockquote&gt;

&lt;blockquote&gt;
  &lt;p&gt;求闭包是要先根据$I_{k-1}$得到$I_k$(对应到图里面，走横线上的才看上一个框)，然后对$I_k$中的item求闭包(求闭包的时候（用点后面那个符号扩展继续推）要看&lt;strong&gt;所有的产生式&lt;/strong&gt;。)&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;下面引入 &lt;strong&gt;项集的闭包&lt;/strong&gt;的概念&lt;/p&gt;

&lt;p&gt;如果I是文法G的一个项集，那么$ CLOSURE(I) $通过以下算法生成:&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;令其为$I$（也就是把$I$中每一项都会被加到$ CLOSURE(I) $中  ） ;&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;如果 $A\to\alpha \dot\ B\beta $位于$CLOSURE(I)$ 中，且 $B\to\gamma $是一个产生式，将$ B\to\dot\ \gamma $加入$CLOSURE(I)$(如果有了就不加)&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;也就是点后面的那个符号还能推出什么（这一步要查看&lt;strong&gt;所有产生式&lt;/strong&gt;），都加到$ CLOSURE(I) $中&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;不断应用规则2，直到没有新项可以加入$CLOUSURE(I)$.&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;blockquote&gt;
  &lt;p&gt;对应到图里面，走横线上的才看上一个框，求闭包的时候（用点后面那个符号扩展继续推）要看&lt;strong&gt;所有的产生式&lt;/strong&gt;。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;例子1：已知文法G[E]如下:
(1) E -&amp;gt; E+T
(2) E -&amp;gt; T
(3) T -&amp;gt;( E )
(4) T -&amp;gt; d&lt;/p&gt;

&lt;p&gt;可以直到它的拓广文法G’ [E’]为 ：
(0) E’ -&amp;gt; E
(1) E -&amp;gt; E+T
(2) E -&amp;gt; T
(3) T -&amp;gt; ( E )
(4) T -&amp;gt; d&lt;/p&gt;

&lt;p&gt;令I0 = CLOSURE({E’-&amp;gt;.E})&lt;/p&gt;

&lt;p&gt;则I0 = {
E’ -&amp;gt; • E，(这一步是根据{E’-&amp;gt;• E}得到的)&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;剩下这些是求闭包产生的，要看全部产生式&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;E -&amp;gt; • E+T，
E -&amp;gt; • T，
T -&amp;gt; •( E ),
T -&amp;gt; • d
}&lt;/p&gt;

&lt;p&gt;例子2：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504180616098.png&quot; alt=&quot;image-20240504180616098&quot; /&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504181307301.png&quot; alt=&quot;image-20240504181307301&quot; /&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504181409872.png&quot; alt=&quot;image-20240504181409872&quot; /&gt;&lt;/p&gt;

&lt;p&gt;表条目的意思：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;s&lt;strong&gt;i&lt;/strong&gt;：及先执行shift，然后转移到 state i&lt;/li&gt;
  &lt;li&gt;r&lt;strong&gt;j&lt;/strong&gt;：用j号产生式来归约&lt;/li&gt;
  &lt;li&gt;ACC：接受&lt;/li&gt;
  &lt;li&gt;空白：错误&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;最终目标是栈中只有$&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;在实际工程实践中，分两种项,&lt;/p&gt;

&lt;p&gt;1)核心项: 包含初始项 $S’\to\dot\ S $以及&lt;strong&gt;点不在最左端&lt;/strong&gt;的所有项&lt;/p&gt;

&lt;p&gt;2)非核心项: 除了 $S’\to\dot\ S $之外的点在最左端的所有项&lt;/p&gt;

&lt;p&gt;由于，我们感兴趣的（也就是实际中能出现）的每一个项集 都是某个&lt;strong&gt;内核项&lt;/strong&gt;的闭包，则如果抛弃非内核项，就可以用很少的内存来表示项集&lt;/p&gt;

&lt;p&gt;【注：以上的意思就是，实际工程出现的项集都是&lt;strong&gt;内核项集&lt;/strong&gt;的闭包， 所以只需要用内核项集来表示 真实项集（节省内存），需要的时候执行一次闭包运算即可】&lt;/p&gt;

&lt;hr /&gt;

&lt;h2 id=&quot;goto函数状态转移函数&quot;&gt;Goto函数（状态转移函数）&lt;/h2&gt;

&lt;p&gt;下面引入 &lt;strong&gt;GOTO函数&lt;/strong&gt; 的概念&lt;/p&gt;

&lt;p&gt;GOTO (I,X) = CLOSURE(J)&lt;/p&gt;

&lt;p&gt;GOTO(I,X)：返回可以通过推进X到达的状态。&lt;/p&gt;

&lt;p&gt;GOTO(I,X) 输入I 为项集 ，X为语法符号。其取值为是一个项集,定义为:&lt;/p&gt;

&lt;p&gt;I中所有形如 $[A\to\alpha\dot\ X\beta] $的项【这里括号只是强调是一个项】所对应的项$[A\to\alpha X\dot\ \beta] $的集合的闭包 。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;也就是先归约/识别之后再求闭包，表示对于一个状态项目集中的一个项目A -&amp;gt; α• Xβ，在下一个输入字符是X的情况下，一定到另一个新状态 A -&amp;gt; αX•β。&lt;/p&gt;

  &lt;p&gt;例如：&lt;/p&gt;

  &lt;p&gt;(0) E’ -&amp;gt; E
(1) E -&amp;gt; E+T
(2) E -&amp;gt; T
(3) T -&amp;gt; ( E )
(4) T -&amp;gt; d&lt;/p&gt;

  &lt;p&gt;那么$GOTO(I_0,E)=CLOSURE{E’ -&amp;gt; E \cdot ,E -&amp;gt; E\cdot+T}$&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;显然，GOTO定义了DFA的转换关系。自动机的状态对应于项目集，goto(I， X)指定输入 X 下 I 的状态转换&lt;/p&gt;

&lt;p&gt;有了以上概念，我们可以来构造增广语法G’的 LR(0)项集族C了(实际就是构建DFA)&lt;/p&gt;

&lt;p&gt;例子：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504214809285.png&quot; alt=&quot;image-20240504214809285&quot; /&gt;&lt;/p&gt;

&lt;p&gt;算法如下:&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;void items(G&apos;) {
C={CLOSURE({[S&apos;-&amp;gt;.S]})};
repeat
for (C中的每个项集I)
	for(每个文法符号X)
		if(GOTO(I,X)非空 且不在 C中)
			将GOTO(I,X)加入 C中;
	until 在某一轮中没有新 项集 被加入 C
}
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;lr0-有限状态机的构造&quot;&gt;LR(0) 有限状态机的构造&lt;/h2&gt;

&lt;p&gt;从 LR(0) FSM 的初态出发 ，先求出初态项目集的闭包（CLOSURE({S’-&amp;gt;.S})），然后应用上述转移函数，通过项目分析每种输入字符下的状态转移，若为新状态，则就求出新状态下的项目集的闭包，可逐步构造出完整的 LR(0) FSM。&lt;/p&gt;

&lt;p&gt;LR(0) FSM 的构造举例
给定文法G[E]：
(1) E -&amp;gt; E+T
(2) E -&amp;gt; T
(3) T -&amp;gt; ( E )
(4) T -&amp;gt; d&lt;/p&gt;

&lt;p&gt;构造LR(0) FSM
① G[E]的拓广文法，得到G’ [E’]：
(0) E’ -&amp;gt; E
(1) E -&amp;gt; E+T
(2) E -&amp;gt; T
(3) T -&amp;gt; ( E )
(4) T -&amp;gt; d&lt;/p&gt;

&lt;p&gt;②构造G’[E’] 的 LR(0) FSM&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/20181229131739897&quot; alt=&quot;2869373-16bab55cf10501de.png&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;lr0-有限状态机的构造方法&quot;&gt;LR(0) 有限状态机的构造方法&lt;/h2&gt;

&lt;ol&gt;
  &lt;li&gt;用闭包函数（CLOSURE）来求DFA一个状态的项目集&lt;/li&gt;
  &lt;li&gt;求LR(0) FSM 的状态转移函数GOTO函数&lt;/li&gt;
  &lt;li&gt;LR(0) 有限状态机的构造&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;lr0分析表的构造&quot;&gt;LR(0)分析表的构造&lt;/h2&gt;

&lt;p&gt;ACTION 表项和 GOTO表项可按如下方法构造：&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;a 为终结符,A为非终结符&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;若项目$A -&amp;gt;α • aβ$属于 $I_k$ 且 $GO (I_k, a)= I_j$, 期望字符&lt;strong&gt;a 为终结符&lt;/strong&gt;，则置$ACTION[k, a] =sj $(j表示&lt;strong&gt;新状态&lt;/strong&gt;的下标/状态号);&lt;/li&gt;
  &lt;li&gt;若项目$A -&amp;gt;α • Aβ属于 I_k$，且$GO (I_k, A)= I_j$,期望字符 &lt;strong&gt;A为非终结符&lt;/strong&gt;，则置$GOTO(k, A)=j$ （j就是下一个状态的下标/状态号）&lt;/li&gt;
  &lt;li&gt;若项目$A -&amp;gt;α •$属于$I_k$, 那么对任何终结符a, 置$ACTION[k, a]=rj$；其中，假定$A-&amp;gt;α$为文法G 的第j个产生式；&lt;/li&gt;
  &lt;li&gt;若项目$S’ -&amp;gt;S • $属于$I_k$, 则置$ACTION[k, #]$为“acc”;&lt;/li&gt;
  &lt;li&gt;分析表中凡不能用上述规则填入信息的&lt;strong&gt;空白格&lt;/strong&gt;均置上“出错标志”&lt;/li&gt;
&lt;/ul&gt;

&lt;blockquote&gt;
  &lt;p&gt;用人话说就是：&lt;/p&gt;

  &lt;ol&gt;
    &lt;li&gt;不是句柄且栈顶为终结符：如果圆点不在&lt;strong&gt;项目k&lt;/strong&gt;最后且圆点后的&lt;strong&gt;期待字符a为终结符&lt;/strong&gt;，则&lt;strong&gt;ACTION[k, a] =sj (&lt;/strong&gt;j表示新状态Ij)；&lt;/li&gt;
    &lt;li&gt;不是句柄且栈顶为非终结符：如果圆点不在项目k最后且圆点后的期待字符&lt;strong&gt;A为非终结符&lt;/strong&gt;，则&lt;strong&gt;GOTO(k, A)=j&lt;/strong&gt; (j表示文法中第j个产生式)；&lt;/li&gt;
    &lt;li&gt;是句柄则归约：如果圆点在&lt;strong&gt;项目k&lt;/strong&gt;最后且k不是S’ -&amp;gt;S，那么对==所有==&lt;strong&gt;终结符a&lt;/strong&gt;，&lt;strong&gt;ACTION[k, a]=rj&lt;/strong&gt; (j表示文法中第j个产生式)；&lt;/li&gt;
    &lt;li&gt;如果圆点在项目k最后且k是&lt;strong&gt;S’ -&amp;gt;S&lt;/strong&gt;，则ACTION[k, #]为“acc”;&lt;/li&gt;
  &lt;/ol&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504224645920.png&quot; alt=&quot;image-20240504224645920&quot; style=&quot;zoom: 67%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;例子：&lt;/p&gt;

&lt;p&gt;考虑文法G[S] :
S → （S） | a&lt;/p&gt;

&lt;p&gt;相应的LR(0) FSM如下，构造其LR(0)分析表。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/20181229131739956&quot; alt=&quot;2869373-24792d5abfee9bbe.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;LR(0) FSM&lt;/p&gt;

&lt;p&gt;从I0看，&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$S’-&amp;gt;·S$，期望字符是非终结符S，根据上面的&lt;strong&gt;规则2&lt;/strong&gt;，得到GOTO(0,S)=1；&lt;/li&gt;
  &lt;li&gt;$S-&amp;gt;·(S)$，期望字符是终结符( ，根据上面的&lt;strong&gt;规则1&lt;/strong&gt;，得到ACTION(0,()=S2；&lt;/li&gt;
  &lt;li&gt;$S -&amp;gt; ·a$，期望字符是终结符a，根据上面规则1，得到ACTION(0,a) = S3&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;从I1看&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$S’-&amp;gt;S·$，根据&lt;strong&gt;规则4&lt;/strong&gt;，置ACTION[1, #]为“acc”;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;从I2看，&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$S-&amp;gt;(·S)$，期望字符是非终结符S，根据上面的规则2，得到GOTO(1,S)=4；&lt;/li&gt;
  &lt;li&gt;$S-&amp;gt;·(S)$，期望字符是终结符( ，根据上面的&lt;strong&gt;规则1&lt;/strong&gt;，得到ACTION(0,()=S2；&lt;/li&gt;
  &lt;li&gt;$S -&amp;gt; ·a$，期望字符是终结符a，根据上面规则1，得到ACTION(0,a) = S3&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;从I3看，&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$S-&amp;gt;a·$，根据&lt;strong&gt;规则3&lt;/strong&gt;，置ACTION[3, a]为r2;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;从I4看&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$S-&amp;gt;(S·)$，期望字符是终结符) ，根据上面的&lt;strong&gt;规则1&lt;/strong&gt;，得到ACTION(0,))=S5；&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;从I5看&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$S-&amp;gt;(S)·$，根据&lt;strong&gt;规则3&lt;/strong&gt;，置ACTION[5, ）]为r1;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;看完所有$I$和里面的所有item，即可得到下表&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/201812291317408&quot; alt=&quot;2869373-ae315fcdb75b399c.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;例子2：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504225653296.png&quot; alt=&quot;image-20240504225653296&quot; style=&quot;zoom:67%;&quot; /&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240504232939266.png&quot; alt=&quot;image-20240504232939266&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;如何使用lr0-的parser-table&quot;&gt;==如何使用LR(0) 的parser table==&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701201704154.png&quot; alt=&quot;image-20240701201704154&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;shift&quot;&gt;shift&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701201949186.png&quot; alt=&quot;image-20240701201949186&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;reduce&quot;&gt;reduce&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701201934772.png&quot; alt=&quot;image-20240701201934772&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;hr /&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701202155813.png&quot; alt=&quot;image-20240701202155813&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;slrsimple-lr-&quot;&gt;SLR(Simple LR )&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;参考：&lt;a href=&quot;https://www.cnblogs.com/getianao/p/10195492.html&quot;&gt;编译原理系列之六 自底向上的LR分析法(2) – SLR(1)分析&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;LR(0)文法的要求是&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;不同时含有移进项目和归约项目，即&lt;strong&gt;不存在移进-归约冲突&lt;/strong&gt; 。&lt;/li&gt;
  &lt;li&gt;不含有两个以上归约项目，即&lt;strong&gt;不存在归约-归约冲突&lt;/strong&gt;。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;例如项目集$Ii$中存在： &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ii ＝{A-&amp;gt;α•bγ ， B→ γ•，C→β• }&lt;/code&gt;，此时就同时存在移进-归约冲突和归约-归约；因为你不知道下一步是选择归约还是移进，选择归约的话选择哪个产生式归约。&lt;/p&gt;

&lt;p&gt;而事实上一般文法满足这种要求有一定难度，但是假如在归约时出现了移进-归约冲突或者归约-归约冲突，我们可以通过在待分析的字符串中向后再看一位，大多数情况下通过这一位字符就可以确定，选择哪一个表达式归约，或是移进操作。&lt;/p&gt;

&lt;p&gt;这种方法就叫做SLR(1)分析法，即简单的LR(1)分析法。&lt;/p&gt;

&lt;hr /&gt;

&lt;h3 id=&quot;如何判断能否用slr1解决冲突&quot;&gt;如何判断能否用SLR(1)解决冲突&lt;/h3&gt;

&lt;p&gt;假如LR(0) 项目集规范族中有项目集 Ii 含有移进-归约冲突和归约-归约冲突： &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ii ＝{A1-&amp;gt;α1•b1γ1 ，… ， Am-&amp;gt;m•bm γm， B1-&amp;gt;β 1 • ，…， Bn-&amp;gt; β n • }&lt;/code&gt;，若集合&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{b1 ，b2，… ，bm }&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;FOLLOW(B1)&lt;/code&gt; 、 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;FOLLOW(B2)&lt;/code&gt; ，…，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;FOLLOW(Bn)&lt;/code&gt;&lt;strong&gt;均两两不相交&lt;/strong&gt;，则可用SLR(1)解决方法解决分析表上第i行上的冲突问题。&lt;/p&gt;

&lt;h3 id=&quot;如何构建slr1的表&quot;&gt;如何构建SLR(1)的表&lt;/h3&gt;

&lt;p&gt;与LR(0)相比表的结构一致但是动作填充不同，只有下一个token再FOLLOW集中才&lt;strong&gt;归约&lt;/strong&gt;：&lt;/p&gt;

&lt;p&gt;假设下一个移进的字符为&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;b&lt;/code&gt;，&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;若&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;b∈ {b1 ，b2，… ，bm }&lt;/code&gt;，则移进输入符；&lt;/li&gt;
  &lt;li&gt;若&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;b∈FOLLOW(Bj) ，j＝1 ，… ，n，&lt;/code&gt;则用&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Bj-&amp;gt; βj&lt;/code&gt; 归约；&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;综上，我们可以在构建分析表时做出如下改变(&lt;strong&gt;只有填rj时才有变化&lt;/strong&gt;)：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;若项目&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;A -&amp;gt;α • aβ&lt;/code&gt;属于 $I_k $且 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;GO (Ik, a)= Ij,&lt;/code&gt; 期望字符a 为终结符，则置&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ACTION[k, a] =sj&lt;/code&gt; (j表示新状态Ij);&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;若项目&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;A -&amp;gt;α • Aβ&lt;/code&gt;属于 $I_k $，且&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;GO (Ik, A)= Ij&lt;/code&gt;,期望字符 A为非终结符，则置&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;GOTO(k, A)=j&lt;/code&gt;&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;==若项目&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;A -&amp;gt;α •&lt;/code&gt;属于$I_k $, 那么对任何&lt;strong&gt;终结符a&lt;/strong&gt;，&lt;strong&gt;只有满足a属于follow(A)时&lt;/strong&gt;，才 置&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ACTION[k, a]=rj&lt;/code&gt;；其中，假定&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;A-&amp;gt;α&lt;/code&gt;为文法G 的第j个产生式；==&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;LR(0)中是不管怎么样，全部终结符a都有ACTION[k, a]=rj，这里是只有满足a属于follow(A)时才可以置ACTION[k, a]=rj&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;若项目&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;S’ -&amp;gt;S •&lt;/code&gt; 属于$I_k $, 则置&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ACTION[k, #]=“acc”&lt;/code&gt;;&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;分析表中凡不能用上述规则填入信息的空白格均置上“出错标志”&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;slr1分析的例子&quot;&gt;SLR(1)分析的例子&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;算术表达式文法G[E]：
E→E +T | T
T→T * F | F
F→ （E）| i
求此文法的识别规范句型活前缀的DFA，分析句子i+i *i。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;ol&gt;
  &lt;li&gt;将文法拓广为G’[E’]：
(0) E’ -&amp;gt;E
(1) E-&amp;gt; E +T
(2) E -&amp;gt;T
(3) T -&amp;gt;T * F
(4) T -&amp;gt;F
(5) F -&amp;gt;(E)
(6) F -&amp;gt;i&lt;/li&gt;
  &lt;li&gt;构造识别规范句型活前缀的DFA&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/20181229131728485&quot; alt=&quot;2869373-ad08b869d250fc67.png&quot; style=&quot;zoom: 50%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;DFA&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;判断有无冲突：&lt;/p&gt;

    &lt;p&gt;I1 ，I2 ，I9有移进_归约冲突。
I1:E´ -&amp;gt;E· E -&amp;gt;E·+T
I2: E -&amp;gt;T · T -&amp;gt;T · *F
I9: E -&amp;gt;E+T· T -&amp;gt;T · *F&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;==考虑能否用SLR(1)方法解决冲突：==&lt;/p&gt;

    &lt;p&gt;对于I1: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{ E´ -&amp;gt;E· E -&amp;gt;E·+T}&lt;/code&gt; 因为：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{+} ∩ FOLLOW(E´)= {+} ∩ {＃} ＝∅&lt;/code&gt;, 所以可用SLR(1)方法 解决I1的冲突。&lt;/p&gt;

    &lt;p&gt;对于I2: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{E -&amp;gt;T· T -&amp;gt;T·*F}&lt;/code&gt; 因为：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{*} ∩ FOLLOW(E)= {*} ∩ {＃，）,+} ＝ ∅&lt;/code&gt; 所以可用SLR(1)方法解决I2的冲突。&lt;/p&gt;

    &lt;p&gt;对于I9: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{E -&amp;gt;E+T· T -&amp;gt;T ·*F}&lt;/code&gt; 因为：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{*} ∩ FOLLOW(E)= ∅&lt;/code&gt;, 所以可用SLR(1)方法解决I9的冲突。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;构建分析表：&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/20181229131728536&quot; alt=&quot;2869373-f48f0b76db25c414.png&quot; style=&quot;zoom: 67%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;分析表&lt;/p&gt;

&lt;p&gt;6.句子i+i *i的分析过程：&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;步骤&lt;/th&gt;
      &lt;th&gt;状态栈&lt;/th&gt;
      &lt;th&gt;符号栈&lt;/th&gt;
      &lt;th&gt;输入符&lt;/th&gt;
      &lt;th&gt;剩余输入串&lt;/th&gt;
      &lt;th&gt;查表&lt;/th&gt;
      &lt;th&gt;操作&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;#&lt;/td&gt;
      &lt;td&gt;i&lt;/td&gt;
      &lt;td&gt;i+i*i#&lt;/td&gt;
      &lt;td&gt;Action[0,i]=S5&lt;/td&gt;
      &lt;td&gt;移进i&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;2&lt;/td&gt;
      &lt;td&gt;0 5&lt;/td&gt;
      &lt;td&gt;# i&lt;/td&gt;
      &lt;td&gt;+&lt;/td&gt;
      &lt;td&gt;+i*i#&lt;/td&gt;
      &lt;td&gt;Action[5,+]=r6,GOTO(0,F)=3&lt;/td&gt;
      &lt;td&gt;用F -&amp;gt; i 归约&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;3&lt;/td&gt;
      &lt;td&gt;0 3&lt;/td&gt;
      &lt;td&gt;# F&lt;/td&gt;
      &lt;td&gt;+&lt;/td&gt;
      &lt;td&gt;+i*i#&lt;/td&gt;
      &lt;td&gt;Action[3,+]=r4,GOTO(0,T)=2&lt;/td&gt;
      &lt;td&gt;用F -&amp;gt; T归约&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;4&lt;/td&gt;
      &lt;td&gt;0 2&lt;/td&gt;
      &lt;td&gt;# T&lt;/td&gt;
      &lt;td&gt;+&lt;/td&gt;
      &lt;td&gt;+i*i#&lt;/td&gt;
      &lt;td&gt;Action[2,+]=r4,GOTO(0,E)=1&lt;/td&gt;
      &lt;td&gt;用F -&amp;gt; E归约&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;5&lt;/td&gt;
      &lt;td&gt;0 1&lt;/td&gt;
      &lt;td&gt;# E&lt;/td&gt;
      &lt;td&gt;+&lt;/td&gt;
      &lt;td&gt;+i*i#&lt;/td&gt;
      &lt;td&gt;Action[1,+]=S6&lt;/td&gt;
      &lt;td&gt;移进+&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;6&lt;/td&gt;
      &lt;td&gt;0 1 6&lt;/td&gt;
      &lt;td&gt;# E +&lt;/td&gt;
      &lt;td&gt;i&lt;/td&gt;
      &lt;td&gt;i*i#&lt;/td&gt;
      &lt;td&gt;Action[6,i]=S6&lt;/td&gt;
      &lt;td&gt;移进+&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;7&lt;/td&gt;
      &lt;td&gt;0 1 6 5&lt;/td&gt;
      &lt;td&gt;# E + i&lt;/td&gt;
      &lt;td&gt;*&lt;/td&gt;
      &lt;td&gt;*i#&lt;/td&gt;
      &lt;td&gt;Action[5,*]=r6,GOTO(6,F)=3&lt;/td&gt;
      &lt;td&gt;用F -&amp;gt; i 归约&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;8&lt;/td&gt;
      &lt;td&gt;0 1 6 3&lt;/td&gt;
      &lt;td&gt;# E + F&lt;/td&gt;
      &lt;td&gt;*&lt;/td&gt;
      &lt;td&gt;*i#&lt;/td&gt;
      &lt;td&gt;Action[3,*]=r6,GOTO(6,T)=9&lt;/td&gt;
      &lt;td&gt;用F -&amp;gt; F 归约&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;9&lt;/td&gt;
      &lt;td&gt;0 1 6 9&lt;/td&gt;
      &lt;td&gt;# E + T&lt;/td&gt;
      &lt;td&gt;*&lt;/td&gt;
      &lt;td&gt;*i#&lt;/td&gt;
      &lt;td&gt;Action[9,*]=S7&lt;/td&gt;
      &lt;td&gt;移进*&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;10&lt;/td&gt;
      &lt;td&gt;0 1 6 9 7&lt;/td&gt;
      &lt;td&gt;# E + T *&lt;/td&gt;
      &lt;td&gt;i&lt;/td&gt;
      &lt;td&gt;i#&lt;/td&gt;
      &lt;td&gt;Action[7,i]=S5&lt;/td&gt;
      &lt;td&gt;移进i&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;11&lt;/td&gt;
      &lt;td&gt;0 1 6 9 7 5&lt;/td&gt;
      &lt;td&gt;# E + T * i&lt;/td&gt;
      &lt;td&gt;#&lt;/td&gt;
      &lt;td&gt;#&lt;/td&gt;
      &lt;td&gt;Action[5,#]=r6,GOTO(7,F)=10&lt;/td&gt;
      &lt;td&gt;用F -&amp;gt; i 归约&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;12&lt;/td&gt;
      &lt;td&gt;0 1 6 9 7 10&lt;/td&gt;
      &lt;td&gt;# E + T * F&lt;/td&gt;
      &lt;td&gt;#&lt;/td&gt;
      &lt;td&gt;#&lt;/td&gt;
      &lt;td&gt;Action[10,#]=r3,GOTO(6,T)=9&lt;/td&gt;
      &lt;td&gt;用T -&amp;gt; T+F归约&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;13&lt;/td&gt;
      &lt;td&gt;0 1 6 9&lt;/td&gt;
      &lt;td&gt;# E + T&lt;/td&gt;
      &lt;td&gt;#&lt;/td&gt;
      &lt;td&gt;#&lt;/td&gt;
      &lt;td&gt;Action[9,#]=r1,GOTO(0,E)=1&lt;/td&gt;
      &lt;td&gt;用E -&amp;gt; E+T归约&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;14&lt;/td&gt;
      &lt;td&gt;0 1&lt;/td&gt;
      &lt;td&gt;# E&lt;/td&gt;
      &lt;td&gt;#&lt;/td&gt;
      &lt;td&gt;#&lt;/td&gt;
      &lt;td&gt;Action[1,#]=acc&lt;/td&gt;
      &lt;td&gt;接受&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h2 id=&quot;lr1&quot;&gt;LR(1)&lt;/h2&gt;

&lt;h3 id=&quot;slr1的问题&quot;&gt;SLR(1)的问题&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;仍有Shift-reduce conflict&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;strong&gt;无效归约问题：&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;在SLR(1)分析中，我们考虑了&lt;strong&gt;所归约非终结符&lt;/strong&gt;的 &lt;strong&gt;Follow&lt;/strong&gt; 符号，这可以分析出怎么选择归约或移进，但是在选择&lt;strong&gt;归约&lt;/strong&gt;的情况中里，我们只是确认了移进符号是属于非终结符的Follow集的，而没有确认&lt;strong&gt;移进后&lt;/strong&gt;是否是表达式文法规范句型的活前缀，也就是&lt;strong&gt;未考虑非终结符 Follow 集中的符号是否也是句柄的 Follow 符号&lt;/strong&gt;；这样虽然不会影响判断结果，但产生了无效归约，减低了效率。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;例：现在符号栈中的元素是&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;βα&lt;/code&gt;，移进符号是&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;a&lt;/code&gt;，已知有归约项目&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;A-&amp;gt;α&lt;/code&gt;，并且&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;a&lt;/code&gt;属于&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;follow(A)&lt;/code&gt;而&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;a&lt;/code&gt;不属于&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;follow(βα)&lt;/code&gt;；此时我们的做法是归约然后移进，之后的符号栈中的元素是&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;βAa&lt;/code&gt;，而&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;βAa&lt;/code&gt;不是文法规范句型的活前缀。&lt;/p&gt;

  &lt;p&gt;如果我们能判断出&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;a!∈follow(βA)&lt;/code&gt;，就可以判断出出错了。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;strong&gt;局限性问题：&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;SLR（1）分析的要求是：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ii ＝{A1-&amp;gt;α1•b1γ1 ，… ， Am-&amp;gt;m•bm γm， B1-&amp;gt;β 1 • ，…， Bn-&amp;gt; β n • }&lt;/code&gt;，若集合&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{b1 ，b2，… ，bm }&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;FOLLOW(B1)&lt;/code&gt; 、 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;FOLLOW(B2)&lt;/code&gt; ，…，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;FOLLOW(Bn)&lt;/code&gt;均&lt;strong&gt;两两&lt;/strong&gt;不相交。和上面的道理相似，&lt;strong&gt;没有考虑非终结符 Follow 集中的符号是否也是句柄的 Follow 符号&lt;/strong&gt;，导致虽然follow集出现了相交，但是事实上正确的符号串是不会出现某些 follow集中的符号的，从而不能判断。&lt;/p&gt;

&lt;p&gt;已知：增广文法 G’ [ S ]:
(0) S -&amp;gt; E
(1) E -&amp;gt; (L , E )
(2) E -&amp;gt; F
(3) L -&amp;gt; L , E
(4) L -&amp;gt; E
(5) F -&amp;gt; ( F )
(6) F -&amp;gt; d&lt;/p&gt;

&lt;p&gt;有G’ [S] 的 LR（0）FSM：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/2869373-f658195d208efeb7.png&quot; alt=&quot;2869373-f658195d208efeb7.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;G’ [S] 的 LR（0）FSM&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;在I7中出现了&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{)}∩follow(E)={)}&lt;/code&gt;的情况，所以不能进行SLR（1）分析；但是I7中的情况是&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;(·F,E)&lt;/code&gt;，此时的&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;follow(E)&lt;/code&gt;中没有&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;）&lt;/code&gt;而应该是&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;,&lt;/code&gt;。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;hr /&gt;

&lt;h3 id=&quot;lr1分析法原理&quot;&gt;LR（1）分析法原理&lt;/h3&gt;

&lt;h4 id=&quot;规范-lr1-项&quot;&gt;规范 LR(1) 项&lt;/h4&gt;

&lt;p&gt;还记得 LR(0) 项长什么样子吗？LR(1) 项和它挺像的。对于某个产生式 𝐴→𝛼𝛽 ，和它对应的其中一个 LR(1) 项就是 [𝐴→𝛼·𝛽,𝑎] ，其中 𝑎 是这个项的&lt;strong&gt;向前看符号&lt;/strong&gt;（lookahead）。如果 LR(1) 中的点号不在项的最右侧，向前看符号没有任何意义；当点号在最右端时，向前看符号表示，&lt;strong&gt;只有下一个输入的符号和 𝑎 一致时，我们才归约这个产生式&lt;/strong&gt;。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;我们在求项目集的时候，每个项目的末尾添加一个&lt;strong&gt;非终结符$&lt;/strong&gt;并以&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;,&lt;/code&gt;分隔开来，来表示&lt;strong&gt;在当前情况下&lt;/strong&gt;用该产生式进行规约时所期望的下一个字符，称之为&lt;strong&gt;向前搜索符&lt;/strong&gt;，来替代follow集。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;首先，明白了在 LR(1) 分析法中展望是为了解决其他分析法解决不了的问题。简单的说就是，状态会出现冲突，我们不能只通过后 1 个输入串符号，直接确定选用哪个产生式，这是严重的错误。&lt;/p&gt;

  &lt;p&gt;所以 &lt;strong&gt;展望（向前搜索符）&lt;/strong&gt; 是通过展望后面的内容，所以展望对应的终结符，应该 &lt;strong&gt;属于该非终结符的 FOLLOW 集（确切的说，属于 FOLLOW 集中的具体哪个个终结符，应该根据产生式的推导过程确定，通过语法树来分析，是比较直观的方法。也可以直接通过求该非终结符后的 FIRST 集来确定，但要注意是对谁求 FIRST 集，可表示为 FIRST(βa)，例题中会提到）&lt;/strong&gt;，来帮助唯一确定选择产生式。&lt;/p&gt;

  &lt;blockquote&gt;
    &lt;p&gt;&lt;strong&gt;拓展注：这里提到的 FOLLOW 集和 FIRST 集不是冲突的，因为我们要求的向前搜索符时 FOLLOW 集的子集，有时候不能确定，所以用 FIRST(βa)， β 表示由谁哪个非终结符推导的，这个非终结符的后面的剩余串，a 表示它上一个状态中的向前搜索符。它俩拼接起来的串，对该串求 FIRST 集。
那么可能会有疑问，利用上一个状态？那第一个状态呢？第一个状态是固定的 S’→S,#
其实 # 就是 S 的 FOLLOW 集中的唯一的元素，它也是开始符号的向前搜索符
所以说 FOLLOW 集和 FIRST(βa) 是都可以求的，FIRST(βa) 是准确的向前搜索符，它是 FOLLOW 集的一部分&lt;/strong&gt;&lt;/p&gt;
  &lt;/blockquote&gt;

  &lt;p&gt;在 LR(1) 中，用&lt;/p&gt;

  &lt;blockquote&gt;
    &lt;p&gt;&lt;strong&gt;状态, 终结符&lt;/strong&gt;
例如：S’ → # （#表示开始符号FOLLOW集会提到那个符号，有的地方用 $，是一样的 ）&lt;/p&gt;
  &lt;/blockquote&gt;

  &lt;p&gt;这种形式是表式展望，终结符就是展望的后面的终结符，具体的下面例题中还会提到。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;在检查是否可用.LR（1）分析法的时候，要求是&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ii&lt;/code&gt;＝&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{A1-&amp;gt;α1•b1 γ1,a1&lt;/code&gt;，… ， &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Am-&amp;gt;m•bm γm,am&lt;/code&gt; ， &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;B1-&amp;gt;β 1 •,c1&lt;/code&gt;，…，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Bn-&amp;gt; β n •,cn&lt;/code&gt; }，若集合&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{b1}&lt;/code&gt; ，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{b2}&lt;/code&gt;，… ，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{bm}&lt;/code&gt;、&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{c1}&lt;/code&gt; ，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{c2}&lt;/code&gt;，… ，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;{cm}&lt;/code&gt;均两两不相交。满足这样要求的文法称之为&lt;strong&gt;LR（1）文法&lt;/strong&gt;：。&lt;/p&gt;

&lt;p&gt;通过比较``{b1}&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;，&lt;/code&gt;{b2}&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;，… ，&lt;/code&gt;{bm}&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;、&lt;/code&gt;{c1}&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;，&lt;/code&gt;{c2}&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;，… ，&lt;/code&gt;{cm}`和待移进字符就能分析出当前应该进行的操作。&lt;/p&gt;

&lt;h4 id=&quot;如何求lr1的closure也就是求i&quot;&gt;如何求LR(1)的Closure(也就是求I)&lt;/h4&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240505220849944.png&quot; alt=&quot;image-20240505220849944&quot; style=&quot;zoom: 80%;&quot; /&gt;&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;tips：走横线上过去的，逗号后面都是直接加展望符$，只有求闭包的时候才需要求First集&lt;/p&gt;

  &lt;p&gt;并且是来自谁就求谁的first(va)&lt;/p&gt;

  &lt;p&gt;例如上图中$S\to\cdot XX$是由$S’\to\cdot S$推出来的，那么就是First(ε$)=$&lt;/p&gt;

  &lt;p&gt;$X\to\cdot aX$和$X\to\cdot b$来自$S\to\cdot XX$，那么就是First(X$)=a/b&lt;/p&gt;

  &lt;blockquote&gt;
    &lt;p&gt;这里求连续多个的first集时，就是要找到第一个不能推出空的符号才停，然后累加之前所有符号的first集（与求first集一样）&lt;/p&gt;
  &lt;/blockquote&gt;
&lt;/blockquote&gt;

&lt;p&gt;例：增广文法 G’ [ S ]:
(0) S -&amp;gt; E
(1) E -&amp;gt; (L , E )
(2) E -&amp;gt; F
(3) L -&amp;gt; L , E
(4) L -&amp;gt; E
(5) F -&amp;gt; ( F )
(6) F -&amp;gt; d&lt;/p&gt;

&lt;p&gt;构造增广文法G’ [S] 的 LR（1）FSM：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/2869373-9a66aa8e872964c0.png&quot; alt=&quot;2869373-9a66aa8e872964c0.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;G’ [S] 的 LR（1）FSM（1）&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/2869373-7dba1dc8361a36ad.png&quot; alt=&quot;2869373-7dba1dc8361a36ad.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;G’ [S] 的 LR（1）FSM（2）&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/2869373-900f044983c4a63b.png&quot; alt=&quot;2869373-900f044983c4a63b.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;G’ [S] 的 LR（1）FSM（3）&lt;/p&gt;

&lt;h3 id=&quot;lr1构建表&quot;&gt;LR(1)构建表&lt;/h3&gt;

&lt;p&gt;只有r的填写不同，只写到展望的符号的格子中&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701225627813.png&quot; alt=&quot;image-20240701225627813&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;lrk分析&quot;&gt;LR（k）分析&lt;/h3&gt;

&lt;p&gt;同理可推广到LR（k）分析：&lt;/p&gt;

&lt;p&gt;形如： &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;[A -&amp;gt;α . β , a1a2…ak ]&lt;/code&gt;，其中a1a2…ak 为向前搜索符号串。&lt;/p&gt;

&lt;p&gt;移进项目形如：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;[ A -&amp;gt;α . aβ， a1 a2 … ak]&lt;/code&gt; ；待约项目形如：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;[A -&amp;gt;α . Bβ， a1 a2 … ak]&lt;/code&gt;； 归约项目形如：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;[A -&amp;gt;α . ，a1 a2 … ak]&lt;/code&gt; 。&lt;/p&gt;

&lt;p&gt;但LR（k）分析只有理论意义，因为LR（1）FSM 的状态数已经很大，k&amp;gt;1 的情形难以想象。&lt;/p&gt;

&lt;h2 id=&quot;lalr1分析会引入rr冲突&quot;&gt;LALR（1）分析（会引入RR冲突）&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;lec_14-split&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;LALR是Lookahead LR，是LR(1)和SLR(1)的折中&lt;/p&gt;

&lt;p&gt;合并LR(1)中的相似状态（相似状态是：core相同，展望不同，展望就是LR(1)新加入的逗号后的部分，需要根据first集来求的）&lt;/p&gt;

&lt;p&gt;LALR的特点是FSM&lt;strong&gt;形式上与LR(1)相同，大小上与LR(0)/SLR相当，分析能力介于SLR和LR(1)二者之间&lt;/strong&gt;
\(SLR&amp;lt;LALR(1)&amp;lt;LR(1)\)
合并后的展望符集合仍为FOLLOW集的子集，LALR相对于LR(1)&lt;strong&gt;会延迟错误的发现&lt;/strong&gt;，因此其分析能力会低于LR(1)分析法。但其对信息的划分比SLR分析法更细致，因此它延迟发生的错误要比SLR分析要少分析能力也就比SLR分析要强。&lt;/p&gt;

&lt;h3 id=&quot;1基本概念&quot;&gt;1.基本概念&lt;/h3&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;LR（1）项目的“心”（core）：&lt;/p&gt;

    &lt;p&gt;LR（1）项目 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;[A -&amp;gt; α . β , a]&lt;/code&gt; 中的&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;A -&amp;gt; α . β&lt;/code&gt; 部分称为该项目的“心“ 。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;同心集：&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;对于LR（1）FSM 的两个状态，如果只考虑每个项目的 “心”，它们是完全相同的项目集合，那么这两个状态互为同心集。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h4 id=&quot;2lalr1分析法原理&quot;&gt;2.LALR（1）分析法原理&lt;/h4&gt;

&lt;p&gt;我们可以发现LR（1）分析的有限状态机中，项目集的数量十分的多。这是因为许多在LR（0）分析中循环的项目集在LR（1）分析中由于&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;·&lt;/code&gt;的位置变化导致向前搜索集也产生了变化，从而产生了许多同心集。&lt;strong&gt;而LALR（1）分析法正是对这些同心集进行了合并。&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;暴风(&lt;em&gt;Brute&lt;/em&gt; &lt;em&gt;Force&lt;/em&gt;)算法：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;构造增广文法的 LR（1）FSM 状态 。（FSM=有限状态机）&lt;/li&gt;
  &lt;li&gt;合并“同心”的状态（同心项目的搜索符集合相并） 得到LALR(1) FSM 的状态 。&lt;/li&gt;
  &lt;li&gt;LALR(1) FSM 状态由 GO 函数得到的后继状态是所有被合并的“同心”状态的后继状态之并 。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;注意：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;合并同心状态后，不会产生新的&lt;strong&gt;移进-归约&lt;/strong&gt;冲突，但==可能产生新的&lt;strong&gt;归约-归约&lt;/strong&gt;冲突==。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;一个LR（1）文法，==如果将其LR（1）FSM的 同心状态&lt;strong&gt;合并后所得到的新状态无归约-归约 冲突，则该文法是一个 LALR（1）文法&lt;/strong&gt; 。==&lt;/p&gt;

    &lt;p&gt;例：增广文法 G’ [ S ]:
(0) S -&amp;gt; E
(1) E -&amp;gt; (L , E )
(2) E -&amp;gt; F
(3) L -&amp;gt; L , E
(4) L -&amp;gt; E
(5) F -&amp;gt; ( F )
(6) F -&amp;gt; d&lt;/p&gt;

    &lt;p&gt;构造增广文法G’ [S] 的 LALR(1) FSM&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/2869373-80c9b8a85f90cca0.png&quot; alt=&quot;2869373-80c9b8a85f90cca0.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;G’ [S] 的 LALR(1) FSM&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;合并的例子：&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240516152035442.png&quot; alt=&quot;Image 1&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;(a)&lt;/p&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240516152057441.png&quot; alt=&quot;Image 2&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;(b)&lt;/p&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240516152417421.png&quot; alt=&quot;image-20240516152417421&quot; style=&quot;zoom: 40%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;==合并状态后，不会产生新的&lt;strong&gt;移进-归约&lt;/strong&gt;冲突(SR)，但可能产生新的&lt;strong&gt;归约-归约&lt;/strong&gt;冲突(RR)，只有不产生冲突时才符合LALR(1)==&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240516153058562.png&quot; alt=&quot;Image 1&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;(a)为什么不会有SR冲突&lt;/p&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240516152959762.png&quot; alt=&quot;Image 2&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;(b)RR冲突的例子&lt;/p&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;p&gt;虽然合并同心项目可能会产生归约-归约冲突，但不会产生移入-归约冲突，是因为同心项目集在合并时只是&lt;strong&gt;合并展望符集合&lt;/strong&gt;，而展望符只在归约时起作用在移入是不起作用的，因此只要合并前项目不存在移入-归约冲突的话合并后也不存在移入-归约冲突。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;合并同心项集后，虽然不产生冲突，但可能==会推迟错误的发现==&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/webp.webp&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;p&gt;过程：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;因为状态9合并至状态4，当输入d$时d移入栈后会进入状态4。&lt;/li&gt;
  &lt;li&gt;d归约成A后，d跟状态4出栈，A进栈，状态栈露出状态0。&lt;/li&gt;
  &lt;li&gt;0状态遇到A后进入状态2，状态2进栈。&lt;/li&gt;
  &lt;li&gt;接着$进栈，状态2遇到$后报错。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;可见如果状态4在跟状态9合并前，在进入状态4前就已经报错。而合并后却进行额外的操作直至进入状态2才报错。可见合并同心项目集后确实推迟了错误的发现。&lt;/p&gt;

&lt;p&gt;实际上合并同心项目时合并的其实是对应项的展望符集合，而移入动作与展望符没有任何关系，因此合并展望符集合不会影响移入操作的正确性。&lt;/p&gt;

&lt;h3 id=&quot;lalr小结&quot;&gt;LALR小结&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/image-20240701230249983.png&quot; alt=&quot;image-20240701230249983&quot; /&gt;&lt;/p&gt;

&lt;h1 id=&quot;总结&quot;&gt;总结&lt;/h1&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hpeG8wNjI4,size_16,color_FFFFFF,t_70.png&quot; alt=&quot;Image 1&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;(a)&lt;/p&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/CompilationPrinciple/SyntaxAnalysis/2.png&quot; alt=&quot;Image 2&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;(b)&lt;/p&gt;
    &lt;/div&gt;
&lt;/div&gt;
</description>
        <pubDate>Mon, 08 Jul 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/07/08/SyntaxAnalysis/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/07/08/SyntaxAnalysis/</guid>
        
        <category>CompilationPrinciple</category>
        
        <category>NOTES</category>
        
        
      </item>
    
      <item>
        <title>词法分析</title>
        <description>&lt;h1 id=&quot;词法分析&quot;&gt;词法分析&lt;/h1&gt;

&lt;h3 id=&quot;字母表的运算&quot;&gt;字母表的运算&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240627173856988.png&quot; alt=&quot;image-20240627173856988&quot; style=&quot;zoom: 67%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;易错点：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240627174023232.png&quot; alt=&quot;image-20240627174023232&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;运算优先级&quot;&gt;运算优先级&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240627174214828.png&quot; alt=&quot;image-20240627174214828&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;常见表达&quot;&gt;常见表达&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240627174257750.png&quot; alt=&quot;image-20240627174257750&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240627174335977.png&quot; alt=&quot;image-20240627174335977&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;例题&quot;&gt;例题&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240627174626265.png&quot; alt=&quot;image-20240627174626265&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240627174743331.png&quot; alt=&quot;image-20240627174743331&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;词法分析关键知识点&quot;&gt;词法分析关键知识点&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;2024.3.14&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;正则表达式nfadfa最简dfa的转换&quot;&gt;正则表达式、NFA、DFA、最简DFA的转换&lt;/h2&gt;

&lt;p&gt;在编译原理中，正则表达式、NFA（非确定有穷自动机）、DFA、最小化DFA的转换在词法分析中是十分重要的一个环节。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;一般来说：我们经常碰到的问题类型都是如下类型的：
正则表达式-&amp;gt;NFA-&amp;gt;DFA-&amp;gt;最小DFA。&lt;/li&gt;
  &lt;li&gt;对于这类问题我们可以经过以下三个步骤进行解决：
（1）正则表达式-&amp;gt;NFA（三个替换规则/MYT算法）；
（2）NFA-&amp;gt;DFA （子集构造法）；
（3）DFA-&amp;gt;最小DFA（分割法）。&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;1-如何将正则表达式转为nfa&quot;&gt;1. 如何将正则表达式转为NFA&lt;/h2&gt;

&lt;p&gt;McNaughton-Yamada-Thompson算法（MYT算法）&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/20200526083759232.png&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240314201850703.png&quot; alt=&quot;image-20240314201850703&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;2-如何将nfa转为dfa&quot;&gt;2. 如何将NFA转为DFA&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;可以证明，L(NFA) ⊆ L(DFA)且L(NFA) ≡ L(DFA)&lt;/p&gt;
&lt;/blockquote&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;a href=&quot;https://blog.csdn.net/liuyiming2019/article/details/117630191&quot;&gt;【编译原理】NFA到DFA转换的实例&amp;amp;&amp;amp;DFA确定化和最小化&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;子集构造法&quot;&gt;子集构造法&lt;/h3&gt;

&lt;ul&gt;
  &lt;li&gt;预备知识&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;(1 )状态集的ε-闭包：状态集I中的==任何状态s经任意条&lt;strong&gt;ε弧&lt;/strong&gt;能到达的所有状态的集合，定义为状态集I的ε -闭包，表示为ε -closure()。&lt;/p&gt;

&lt;p&gt;(2)状态集的a弧转换: 状态集I中的任何状态s经过一条a弧而能到达的所有状态的集合，定义为状态集I的a弧转换，表示为move(l,a)。&lt;/p&gt;

&lt;p&gt;(3)状态集的a弧转换的闭包： la= ε-closure(move(l,a))。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;子集构造法求DFA的步骤&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;对于输入字符集合∑={a1,a2…ak}，我们构造一张k+1列的表格（行数未做限制）。一般来来讲，步骤如下：&lt;/p&gt;

&lt;p&gt;（1）表格的第一行第一列的位置写的是从NFA的起始节点经过任意个ε所能到达的结点集合S0的ε-closure(S0)。&lt;/p&gt;

&lt;p&gt;（2）接着填写该行剩余位置的信息，做法是在对应的位置上填写la= ε-closure(move(l,a))。Ia表示从该集合开始经过一个a所能到达的集合，经过一个a的意思是可以略过前后的ε。&lt;/p&gt;

&lt;p&gt;（3）检查该行上的所有状态子集，&lt;strong&gt;如果未在第一列出现&lt;/strong&gt;，则将该状态子集写到第一列。&lt;/p&gt;

&lt;p&gt;（4）重复（2）（3）的步骤，&lt;strong&gt;直到所有状态子集均在第一列上出现即可&lt;/strong&gt;。(也就是不产生新状态)&lt;/p&gt;

&lt;p&gt;（5）然后给状态子集重新编号，需要注意的是，包含原来终态的状态子集为新的终态，按照对应的转换函数f，构造对应的DFA即可。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;另一种描述方法：&lt;a href=&quot;https://blog.csdn.net/weixin_43541528/article/details/123790687#:~:text=%E4%BB%8E%E4%B8%80%E4%B8%AADFA%E8%BD%AC%E5%8C%96%E4%B8%BA%E4%B8%80%E4%B8%AA%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%EF%BC%8C%E6%88%91%E4%BB%AC%E9%9C%80%E8%A6%81%E7%9F%A5%E9%81%93%E4%B8%8B%E9%9D%A2%E4%B8%89%E6%9D%A1%E6%9E%84%E9%80%A0%E8%A7%84%E5%88%99%EF%BC%9A%20%E9%99%A4%E6%AD%A4%E4%B9%8B%E5%A4%96%EF%BC%8C%E6%88%91%E4%BB%AC%E8%BF%98%E9%9C%80%E8%A6%81%E7%9F%A5%E9%81%93%EF%BC%8C%E5%9C%A8%E8%BD%AC%E5%8C%96%E4%B8%BA%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E6%97%B6%EF%BC%8C%E6%88%91%E4%BB%AC%E5%8F%AA%E5%85%B3%E5%BF%83%E7%94%B1%E5%BC%80%E5%A7%8B%E5%88%B0%E6%8E%A5%E5%8F%97%E7%8A%B6%E6%80%81%E7%9A%84%E6%89%80%E6%9C%89%E8%B7%AF%E5%BE%84%E3%80%82%20%E6%89%80%E4%BB%A5%E5%9C%A8%E8%87%AA%E5%8A%A8%E6%9C%BA%E7%9A%84%E5%9B%BE%E9%87%8C%E9%9D%A2%EF%BC%8C%E9%99%A4%E4%BA%86%E8%87%AA%E6%88%91%E9%97%AD%E7%8E%AF%E7%9A%84%E8%B7%AF%E5%BE%84%EF%BC%8C%E5%8F%AA%E6%9C%89%E6%8C%87%E5%90%91%E8%87%AA%E5%B7%B1%E8%80%8C%E6%B2%A1%E6%9C%89%E6%8C%87%E5%87%BA%E7%9A%84%E7%8A%B6%E6%80%81%E6%98%AF%E6%97%A0%E7%94%A8%E7%8A%B6%E6%80%81%EF%BC%8C%E4%BE%8B%E5%A6%82%E4%B8%8A%E9%9D%A2%E7%94%B5%E8%AF%9D%E5%8F%B7%E7%A0%81%E7%9A%84%E4%BE%8B%E5%AD%90%E4%B8%AD%EF%BC%8C%20q8%20%E7%8A%B6%E6%80%81%E5%AE%9E%E9%99%85%E4%B8%8A%E6%98%AF%E4%B8%80%E4%B8%AA%E6%B2%A1%E7%94%A8%E7%9A%84%E7%8A%B6%E6%80%81%E3%80%82%20%E6%A0%B9%E6%8D%AE%E4%BB%A5%E4%B8%8A%E4%B8%89%E6%9D%A1%E8%A7%84%E5%88%99%E7%9A%84%E7%AC%AC%E4%B8%80%E6%9D%A1%EF%BC%8C%E6%88%91%E4%BB%AC%E5%8F%AF%E4%BB%A5%E5%BE%97%E5%88%B0%E4%B8%8B%E9%9D%A2%E7%9A%84%E8%87%AA%E5%8A%A8%E6%9C%BA%EF%BC%9A%20%E6%A0%B9%E6%8D%AE%E7%AC%AC%E4%BA%8C%E6%9D%A1%E8%A7%84%E5%88%99%EF%BC%8C%E6%88%91%E4%BB%AC%E5%8F%AF%E4%BB%A5%E5%BE%97%E5%88%B0%E4%B8%8B%E9%9D%A2%E7%9A%84%E8%87%AA%E5%8A%A8%E6%9C%BA%EF%BC%9A,%E5%86%8D%E6%A0%B9%E6%8D%AE%E7%AC%AC%E4%B8%80%E6%9D%A1%E8%A7%84%E5%88%99%EF%BC%8C%E6%88%91%E4%BB%AC%E5%8F%AF%E4%BB%A5%E5%BE%97%E5%88%B0%E4%B8%8B%E9%9D%A2%E7%9A%84%E8%87%AA%E5%8A%A8%E6%9C%BA%EF%BC%9A%20%E6%89%80%E4%BB%A5%EF%BC%8C%E7%94%B5%E8%AF%9D%E5%8F%B7%E7%A0%81%E7%9A%84%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E4%B8%BA%EF%BC%9A%201%283%5B0%E2%88%92%209%5D%20%E2%88%A3%205%5B0%E2%88%923%2C7%E2%88%929%5D%29%5B0%E2%88%929%5D%5B0%E2%88%929%5D%20%E3%80%82&quot;&gt;正则表达式和自动机（DFA&amp;amp;NFA）&lt;/a&gt;&lt;/p&gt;

  &lt;p&gt;NFA的确定化：由NFA构造出与其等价的DFA称为NFA确定化。其算法如下：&lt;/p&gt;

  &lt;p&gt;已知 $ A:NFA$， 构造$A’:DFA$。&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;令$A’$’的初始状态为$I_0’=ε_CLOSURE({S1,S2,…Sk})$，其中$S1…Sk$是A的全部初始状态。&lt;/li&gt;
    &lt;li&gt;若$I={S_1,…,S_m}$是$A’$的一个状态，$ a∈∑$，则定义$ f’(I, a)=I_a$，将$ I_a$加入$ S’$’，重复该过程，直到$S’$不产生新状态。&lt;/li&gt;
    &lt;li&gt;若$ I’={S_1,…,S_n}$是$A’$的一个状态,且存在一个$S_i$是$A$的终止状态，则令$ I’$为$ A’$的终止状态。&lt;/li&gt;
  &lt;/ul&gt;

  &lt;hr /&gt;

  &lt;p&gt;举个例子：
&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/cae7f4c718ef41f3bdf9210a9e3214d7.png&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

  &lt;p&gt;这个NFA确定化的过程如下：&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;NFA的初始状态是1，该状态可以接收一个空闭包ε到状态2。因此DFA的初始状态是 {1,2}&lt;/li&gt;
    &lt;li&gt;由上可知DFA的初始状态是 {1,2}，{1,2} 中的
1 接收输入字a可转换到 {4,5}，而 {4,5} 接收空闭包到状态 {6,7}，其中 6 还可以接收空闭包到状态 2。
而 2 不能接收输入字 a。因此 {1,2} 接收输入字a可转换到 {2,4,5,6,7}。&lt;/li&gt;
    &lt;li&gt;{1,2} 中的 1 不能接收输入字 b；2 接收输入字 b 到 状态3，状态 3 还可以接收空闭包到状态 8。因此 {1,2} 接收输入字b到状态 {3,8}。&lt;/li&gt;
    &lt;li&gt;进行如上三步后，DFA 中的状态有 {1,2}、{2,4,5,6,7}、{3,8}，其中 {1,2} 状态转换后的状态已经算完。&lt;/li&gt;
    &lt;li&gt;接下来，我们再看DFA的状态 {2,4,5,6,7}。该状态不能接收输入字a；该状态中的2状态接收 b 到达 3 状态，该 3 状态接收空闭包还可到达8状态。其中的 6 状态和 7 状态均可接收输入字b到达9状态。于是DFA的状态中多了一个状态{3,8,9}。&lt;/li&gt;
    &lt;li&gt;我们再看DFA中状态{3,8}。其中的状态8接收输入字a可以到达状态9；状态{3,8}不能接收输入字b。因此 DFA 的状态增加一个状态{9}。&lt;/li&gt;
    &lt;li&gt;再来看状态{3,8,9}，其中的状态8接收输入字a可以到达状态9；该状态不能接收输入字b。由于DFA中已经有状态{9}，不再重复加入 DFA 的状态。&lt;/li&gt;
    &lt;li&gt;最后只有一个状态 {9} 了，该状态不能接收任何输入字。&lt;/li&gt;
    &lt;li&gt;总结出DFA中有状态 {1,2}，{2,4,5,6,7}，{3,8}，{3,8,9}，{9}。其中包含有NFA的终止状态 6 7 9 中&lt;strong&gt;任意一个&lt;/strong&gt;状态的状态是DFA的终止状态。&lt;/li&gt;
  &lt;/ul&gt;

  &lt;p&gt;表格如下：&lt;/p&gt;

  &lt;table&gt;
    &lt;thead&gt;
      &lt;tr&gt;
        &lt;th&gt;状态 \ 输入字&lt;/th&gt;
        &lt;th&gt;a&lt;/th&gt;
        &lt;th&gt;b&lt;/th&gt;
      &lt;/tr&gt;
    &lt;/thead&gt;
    &lt;tbody&gt;
      &lt;tr&gt;
        &lt;td&gt;+{1,2}（新的1）&lt;/td&gt;
        &lt;td&gt;{2,4,5,6,7}（新的2）&lt;/td&gt;
        &lt;td&gt;{3,8}（新的3）&lt;/td&gt;
      &lt;/tr&gt;
      &lt;tr&gt;
        &lt;td&gt;-{2,4,5,6,7}（新的2）&lt;/td&gt;
        &lt;td&gt;{}&lt;/td&gt;
        &lt;td&gt;{3,8,9}（新的4）&lt;/td&gt;
      &lt;/tr&gt;
      &lt;tr&gt;
        &lt;td&gt;{3,8}（新的3）&lt;/td&gt;
        &lt;td&gt;{9}（新的5）&lt;/td&gt;
        &lt;td&gt;{}&lt;/td&gt;
      &lt;/tr&gt;
      &lt;tr&gt;
        &lt;td&gt;-{3,8,9}（新的4）&lt;/td&gt;
        &lt;td&gt;{9}（新的5）&lt;/td&gt;
        &lt;td&gt;{}&lt;/td&gt;
      &lt;/tr&gt;
      &lt;tr&gt;
        &lt;td&gt;-{9}（新的5）&lt;/td&gt;
        &lt;td&gt;{}&lt;/td&gt;
        &lt;td&gt;{}&lt;/td&gt;
      &lt;/tr&gt;
    &lt;/tbody&gt;
  &lt;/table&gt;

  &lt;p&gt;最终转化出来的DFA如下：
&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/7a586e7c789a403f8a76c64a0f98dadc.png&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;例子&quot;&gt;例子&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/20210606162947344.png&quot; alt=&quot;在这里插入图片描述&quot; /&gt;&lt;/p&gt;

&lt;p&gt;先从初态0开始求：【因为每个状态通过一条ε弧到达自己本身，所以求得ε的闭包包含自己】&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;（1）求0的ε的闭包：经过任意条ε所能到达的状态，集合为{0,1,3,4,5,6,7,9}&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;（2）求0的a弧转换：1经过a弧到达2，4经过a弧到达4，其余没有经过一条a弧到达某个状态，所以集合为{2,4}&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;（3）求a弧转换的闭包：{2,4}分别经过任意条ε所能到达的状态，集合为{2,4,6,7,9}&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;（4）求0的b弧转换：5经过b到5，7经过b到8，，其余没有经过一条b弧到达某个状态，所以集合为{5,8}&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;（5）求b弧转换的闭包：{5,8}分别经过任意条ε所能到达的状态，集合为{5,6,7,8,9}&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;blockquote&gt;
  &lt;p&gt;0的ε-闭包：{0,1,3,4,5,6,7,9}
0的a弧转换：{2,4}
0的a弧转换的ε-闭包：{2,4,6,7,9}
0的b弧转换：{5,8}
0的b弧转换的ε-闭包：{5,6,7,8,9}&lt;/p&gt;
&lt;/blockquote&gt;

&lt;hr /&gt;

&lt;p&gt;现在列一个表格：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;（1）表格的列数为输入字符的个数+1，此题为a，b两个输入字符，所以为3列。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;（2）第一列第一行填写初态的ε-闭包（此题0的ε-闭包），第二列第一行填写初态的a弧转换的ε-闭包（此题0的a弧转换的ε-闭包），第三列第一行填写初态的b弧转换的ε-闭包（此题0的b弧转换的ε-闭包）……以此类推。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;（3）第一列的第二行以下填入上一行第二列以后的没有出现过的状态集。（此题第一行第二列第三列都没有出现在第一列中，将他们填入第一列）&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;$I$&lt;/th&gt;
      &lt;th&gt;$I_a$&lt;/th&gt;
      &lt;th&gt;$I_b$&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;{0,1,3,4,5,6,7,9}&lt;/td&gt;
      &lt;td&gt;{2,4,6,7,9}&lt;/td&gt;
      &lt;td&gt;{5,6,7,8,9}&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;{2,4,6,7,9}&lt;/td&gt;
      &lt;td&gt; &lt;/td&gt;
      &lt;td&gt; &lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;{5,6,7,8,9}&lt;/td&gt;
      &lt;td&gt; &lt;/td&gt;
      &lt;td&gt; &lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;下图为填好的表：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;新的终态的判断方法就是包含原来终态的集合就为终态&lt;/strong&gt;，例如此题原来终态为9，所以包含9的集合就为终态，[双圈代表终态]；&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;新的初态就是包含原来初态的集合就为初态&lt;/strong&gt;，例如此题原来初态为0，所以包含0的集合就为初态&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/20210606163054269.png&quot; alt=&quot;在这里插入图片描述&quot; /&gt;&lt;/p&gt;

&lt;p&gt;为表里的状态集重新标上号：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/20210606163109695.png&quot; alt=&quot;在这里插入图片描述&quot; /&gt;&lt;/p&gt;

&lt;p&gt;可以得到下面的图：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/20210606163121759.png&quot; alt=&quot;在这里插入图片描述&quot; /&gt;&lt;/p&gt;

&lt;p&gt;这个图是还不是最小化的DFA，还需要DFA最小化。但下面DFA最小化重新举例。&lt;/p&gt;

&lt;h2 id=&quot;3-如何最小化dfa&quot;&gt;3. 如何最小化DFA&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;一句话简单描述就是，首先初始化分为两个集合{Final-state}{Non-final state}，然后看集合中状态是不是等价（经过ε的输入后，新状态是否还在集合中），不是的话就要划分，划分规则就是产生状态一致的分到一起。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;a href=&quot;https://blog.csdn.net/jianbai_/article/details/106345056&quot;&gt;编译技术：正规式、NFA、DFA、最简DFA的转换&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;分割法&quot;&gt;分割法&lt;/h3&gt;

&lt;p&gt;预备知识&lt;/p&gt;

&lt;p&gt;（1）无关状态&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;①多余状态：对于一个状态Si ，若从开始状态出发，不可能到达该状态Si，则Si为多余（无用）状态。&lt;/li&gt;
  &lt;li&gt;②死状态：对于一个状态Si，对任意输入符号a，若转到它本身后，不可能从它到达终止状态，则称为Si为死状态。S2为死状态。多余状态和死状态又称为无关状态。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;（2）等价状态：若Si为自动机的一个状态，我们把从Si出发能导出的所有符号串集合记为L(Si)。设有两个状态Si和Sj，若有L(Si)=L(Sj)，则称Si和Sj是等价状态。
&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/20200526091045364.png&quot; alt=&quot;在这里插入图片描述&quot; /&gt;
（3）可区别状态：Si，Sj不是等价状态即为可区别状态。一般有两种情况：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;①终止状态和非终止状态是可区别状态。&lt;/li&gt;
  &lt;li&gt;②状态Si，Sj对于∀a∈∑，必须转到等价的状态里面，否则称其实可区别的。&lt;/li&gt;
&lt;/ul&gt;

&lt;hr /&gt;

&lt;p&gt;分割法求最简DFA的步骤&lt;/p&gt;

&lt;p&gt;（1）首先将DFA的状态集进行初始划分，分成π=(S-Z,Z)。【其中Z为终态集合，S-Z为非终态，终态对于非终态是可以区分的】&lt;/p&gt;

&lt;p&gt;（2）用下面的过程对π构造新的划分π new， 对π中每个组G，满足以下条件：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;① 任意两个状态Si和Sj在同一组中&lt;/li&gt;
  &lt;li&gt;② move(Si, a) 和move(Sj, a) 是到不同的组中
则说明Si和Sj是可区别的，可进行划分，在π new中用刚完成的对G的划分代替原来的G， 否则不可以进行划分。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;（3）重复执行(2)的操作，直到π中每个状态集都不能再进一步划分为止。&lt;/p&gt;

&lt;p&gt;（4）合并等价状态，在每个G中，取任意状态作为代表，删去其它状态。将删去的状态关系全部转到代表状态。&lt;/p&gt;

&lt;p&gt;（5）删去无关状态，包括从其它状态到无关状态的转换弧都都删掉。&lt;/p&gt;

&lt;h3 id=&quot;例子-1&quot;&gt;例子&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/20200526094734625.png&quot; alt=&quot;在这里插入图片描述&quot; /&gt;
&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/20200526095112479.png&quot; alt=&quot;在这里插入图片描述&quot; /&gt;
&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/2020052609542665.png&quot; alt=&quot;在这里插入图片描述&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;易错点&quot;&gt;易错点&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;lec_3&lt;/p&gt;

  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240629222525546.png&quot; alt=&quot;image-20240629222525546&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;nfadfa的空间复杂度和时间复杂度&quot;&gt;NFA→DFA的空间复杂度和时间复杂度&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;lec-3&lt;/p&gt;

  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240629222633590.png&quot; alt=&quot;image-20240629222633590&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;img src=&quot;/img/in-post/CompilationPrinciple/LexicalAnalysis/image-20240629222712653.png&quot; alt=&quot;image-20240629222712653&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;4-如何将dfa转为正则表达式&quot;&gt;4. 如何将DFA转为正则表达式&lt;/h2&gt;

</description>
        <pubDate>Sun, 07 Jul 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/07/07/LexicalAnalysis/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/07/07/LexicalAnalysis/</guid>
        
        <category>CompilationPrinciple</category>
        
        <category>NOTES</category>
        
        
      </item>
    
      <item>
        <title>开放词汇检测综述</title>
        <description>&lt;h1 id=&quot;海报&quot;&gt;海报&lt;/h1&gt;

&lt;iframe src=&quot;/img/pdf/Poster.pdf&quot; style=&quot;width: 100% !important; height: 60vh !important; border: none !important;&quot;&gt;&lt;/iframe&gt;

&lt;h1 id=&quot;全文&quot;&gt;全文&lt;/h1&gt;

&lt;iframe src=&quot;/img/pdf/openvocabulary.pdf&quot; width=&quot;100%&quot; height=&quot;600px&quot;&gt;&lt;/iframe&gt;

</description>
        <pubDate>Mon, 01 Jul 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/07/01/PROpenVocabulary/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/07/01/PROpenVocabulary/</guid>
        
        <category>AI</category>
        
        <category>PatternRecognition</category>
        
        <category>NOTES</category>
        
        
      </item>
    
      <item>
        <title>Seq2Seq+attention中英机器翻译</title>
        <description>&lt;div align=&quot;center&quot; style=&quot;page-break-after: always;&quot;&gt;
        &lt;br /&gt;&lt;br /&gt;
    &lt;br /&gt;&lt;br /&gt;
&lt;img src=&quot;/img/in-post/PatternRecognition/sysu.png&quot; alt=&quot;img&quot; style=&quot;zoom:150%;&quot; /&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;20&quot; face=&quot;Impact&quot;&gt;
        Artificial Neural Networks
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;6&quot; face=&quot;Arial Black&quot;&gt;
        Final-term Homework:&lt;br /&gt;
        中-英机器翻译
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Student ID: 21307381 &amp;nbsp;&amp;nbsp;
        Student Name: LJW &lt;br /&gt;
        &lt;br /&gt;
        Date: 2024.6.22
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Lectured by: Xiaojun Quan&lt;br /&gt;
        Artificial Neural Networks Course&lt;br /&gt;
        Sun Yat-sen University&lt;br /&gt;
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
&lt;/div&gt;
&lt;div style=&quot;page-break-after: always;&quot;&gt;&lt;/div&gt;

&lt;h1 id=&quot;实验介绍&quot;&gt;实验介绍&lt;/h1&gt;

&lt;h2 id=&quot;数据集简介&quot;&gt;数据集简介&lt;/h2&gt;

&lt;p&gt;数据集说明：压缩包中共有 4 个 jsonl 文件，分别对应着训练集（小）、训练集（大）、验证集和测试集，它们的大小分别是 100k、 10k、 500、 200。 jsonl 文件中的每一行包含一个平行语料样本。模型的性能以测试集的结果为最终标准。&lt;/p&gt;

&lt;p&gt;若计算设备受限，可以仅使用训练集（小）中的 10k 平行语料进行训练；鼓励探索使用训练集（大）；&lt;/p&gt;

&lt;h2 id=&quot;数据预处理&quot;&gt;数据预处理&lt;/h2&gt;

&lt;p&gt;&lt;strong&gt;数据清洗&lt;/strong&gt;：非法字符（#,$），稀少字词的过滤；过长句子的过滤或截断。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;分词&lt;/strong&gt;：将输入句子切分为 tokens，每个子串相对有着完整的语义，便于学习 embedding 表达&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;英文: 词语之间存在天然的分隔 (空格、标点符号)，可以直接利用 NLTK 或 BPE、 WordPiece （后两个更细粒度）等统计方法分词&lt;/li&gt;
  &lt;li&gt;中文：可以借助分词工具，诸如 &lt;strong&gt;Jieba(轻量型)&lt;/strong&gt;, HanLP(大体量但效果好)&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;构建词典&lt;/strong&gt;：利用分词后的结果构建统计词典，可以过滤掉出现频次较低的词语，防止词典规模过大&lt;/p&gt;

&lt;p&gt;建议用&lt;strong&gt;预训练词向量初始化&lt;/strong&gt;，在训练的过程中允许更新&lt;/p&gt;

&lt;h2 id=&quot;nmt-模型&quot;&gt;NMT 模型&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;自行构建基于 GRU 或者 LSTM 的 Seq2Seq 模型 (编码器和解码器各 2 层；单向)&lt;/li&gt;
  &lt;li&gt;自行实现 attention 机制&lt;/li&gt;
  &lt;li&gt;自行探索 attention 机制中不同对齐函数 (dot product,multiplicative, additive) 的影响&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;训练和推理&quot;&gt;训练和推理&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;定义损失函数（例如交叉熵损失）和优化器（例如 Adam）。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;将双语平行语料库处理成中译英数据，训练模型的中译英能力。&lt;/li&gt;
  &lt;li&gt;在训练过程中，对比 Teacher Forcing 和 Free Running 策略的效果。&lt;/li&gt;
  &lt;li&gt;对比 greedy 和 beam-search 解码策略；&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;评估指标&quot;&gt;评估指标&lt;/h2&gt;

&lt;p&gt;BLEU&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/image-20240612145444135.png&quot; alt=&quot;image-20240612145444135&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;重点考查&quot;&gt;重点考查&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;搭建 Seq2Seq 模型&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;Attention 机制的实现&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;训练 Seq2Seq 模型的技巧&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;分类结果性能评估&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;Attention 可视化（少量案例进行分析）&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;提交&quot;&gt;提交&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;源代码和训练好的 checkpoint&lt;/li&gt;
  &lt;li&gt;文档（ PDF）（至少包含方法、实验结果分析以及心得体会）&lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;基础知识&quot;&gt;基础知识&lt;/h1&gt;

&lt;h2 id=&quot;rnn&quot;&gt;RNN&lt;/h2&gt;

&lt;p&gt;我们做的大多数决策不只是基于当前获取的信息，也会参考之前存储的先验信息，比如文章、音频和视频都是连续的序列。基于此，我们就不可以使用之前期中使用的卷积神经网络CNN了，因为它的输出只是由当前的输入决定。&lt;/p&gt;

&lt;p&gt;这时候就引入了递归神经网络RNN，它是一种专门处理序列信息的具有时间依赖的网络。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/v2-2533c83fb33ee27f21ae0c72f6338aae_r.webp&quot; alt=&quot;BrandImg&quot; style=&quot;zoom: 67%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;这种链式结构表示了递归神经网络用于序列形式的数据，每一步就输入序列的不同元素，即执行一个cell。序列数据可以是音频（语音识别），文本（翻译）等。而且很明显我们可以看出，输入输出的序列是具有相同的时间长度的，其中的每一个权值都是共享的（不要被链式形状误导，本质上只有一个cell）。&lt;/p&gt;

&lt;p&gt;但是RNN存在着梯度消息/爆炸以及对长期信息不敏感(&lt;strong&gt;长期依赖&lt;/strong&gt;)的问题，所以LSTM就被提出来了。&lt;/p&gt;

&lt;h2 id=&quot;lstm&quot;&gt;LSTM&lt;/h2&gt;

&lt;p&gt;在标准的RNN中，这个重复复制的模块只有一个非常简单的结果。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/rnn.svg&quot; alt=&quot;../_images/rnn.svg&quot; /&gt;&lt;/p&gt;

&lt;p&gt;LSTM也有这样的链式结构，但是这个重复的模块和上面RNN重复的模块结构不同：LSTM之所以能够解决RNN的长期依赖问题，是因为LSTM引入了门（gate）机制用于控制特征的流通和损失。包括以下三个门：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;输出门（output gate）&lt;/strong&gt;用来从单元中输出条目。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;输入门（input gate）&lt;/strong&gt;用来决定何时将数据读入单元。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;遗忘门（forget gate）&lt;/strong&gt;用来重置单元的内容，能够通过专用机制决定什么时候记忆或忽略隐状态中的输入。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;同时还有一个候选记忆单元。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/lstm-3.svg&quot; alt=&quot;../_images/lstm-3.svg&quot; /&gt;&lt;/p&gt;

\[\begin{gathered}
\mathbf{I}_{t} =\sigma(\mathbf{X}_t\mathbf{W}_{xi}+\mathbf{H}_{t-1}\mathbf{W}_{hi}+\mathbf{b}_i), \\
\mathbf{F}_{t} =\sigma(\mathbf{X}_t\mathbf{W}_{xf}+\mathbf{H}_{t-1}\mathbf{W}_{hf}+\mathbf{b}_f), \\
\mathbf O_{t} =\sigma(\mathbf{X}_t\mathbf{W}_{xo}+\mathbf{H}_{t-1}\mathbf{W}_{ho}+\mathbf{b}_o), 
\end{gathered}\\
\tilde{\mathbf{C}}_t=\tanh(\mathbf{X}_t\mathbf{W}_{xc}+\mathbf{H}_{t-1}\mathbf{W}_{hc}+\mathbf{b}_c)\]

&lt;p&gt;三个门由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。 因此，这三个门的值都在(0,1)的范围内。候选记忆元使用tanh函数作为激活函数，函数的值范围为(−1,1)。&lt;/p&gt;

&lt;p&gt;输入门$𝐼_𝑡$控制采用多少来自候选记忆$\tilde{𝐶}&lt;em&gt;𝑡$的新数据，而遗忘门$𝐹_𝑡$控制保留多少过去的记忆元$𝐶&lt;/em&gt;{𝑡−1}$的内容。 使用&lt;strong&gt;按元素&lt;/strong&gt;乘法，得出：&lt;/p&gt;

\[𝐶_𝑡=𝐹_𝑡⊙𝐶_{𝑡−1}+𝐼_𝑡⊙\tilde{𝐶}_𝑡.\]

&lt;blockquote&gt;
  &lt;p&gt;如果遗忘门始终为1且输入门始终为0， 则过去的记忆元$𝐶_{𝑡−1} $将随时间被保存并传递到当前时间步。 引入这种设计是为了缓解梯度消失问题， 并更好地捕获序列中的长距离依赖关系。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;hr /&gt;

&lt;p&gt;计算完最右边的$C_t$，接下来需要定义如何计算图中最右边的隐状态 $𝐻_𝑡$， 这就是输出门发挥作用的地方。LSTM中，它仅仅是记忆元的tanh的门控版本。 这就确保了$𝐻_𝑡$的值始终在区间(−1,1)内：&lt;/p&gt;

\[𝐻_𝑡=𝑂_𝑡⊙tanh⁡(𝐶_𝑡).\]

&lt;blockquote&gt;
  &lt;p&gt;只要输出门接近1，我们就能够有效地将上一次所有隐状态记忆信息传递给预测部分， 而对于输出门接近0，我们只保留记忆元内的所有信息，而不需要更新隐状态。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;gru&quot;&gt;GRU&lt;/h2&gt;

&lt;p&gt;门控循环单元（gated recurrent unit，GRU）是LSTM的简化变体。GRU通常能够提供同等的效果， 并且计算的速度明显更快。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;输入&lt;/strong&gt;是由当前时间步的输入和前一时间步的隐状态&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/gru-3.svg&quot; alt=&quot;../_images/gru-3.svg&quot; style=&quot;zoom: 80%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;GRU中只有两个门，两个门的输出是由使用sigmoid激活函数的两个全连接层给出：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;重置门（reset gate）：控制“可能还想记住”的过去状态的数量&lt;/li&gt;
  &lt;li&gt;更新门（update gate）：控制新状态中有多少个是旧状态的副本&lt;/li&gt;
&lt;/ul&gt;

\[\begin{gathered}
\mathbf{R}_t =\sigma(\mathbf{X}_t\mathbf{W}_{xr}+\mathbf{H}_{t-1}\mathbf{W}_{hr}+\mathbf{b}_r), \\
\mathbf{z}_{t} =\sigma(\mathbf{X}_t\mathbf{W}_{xz}+\mathbf{H}_{t-1}\mathbf{W}_{hz}+\mathbf{b}_z), 
\end{gathered}\]

&lt;p&gt;接下来会将重置门$𝑅_𝑡 $与中的常规隐状态更新机制集成， 得到在时间步𝑡的&lt;strong&gt;候选隐状态&lt;/strong&gt;（candidate hidden state） $\tilde{𝐻}_𝑡$。符号⊙表示Hadamard积（按元素乘积），使用tanh非线性激活函数来确保候选隐状态中的值保持在区间(−1,1)中。&lt;/p&gt;

\[\tilde{\mathbf{H}}_t=\tanh(\mathbf{X}_t\mathbf{W}_{xh}+(\mathbf{R}_t\odot\mathbf{H}_{t-1})\mathbf{W}_{hh}+\mathbf{b}_h),\]

&lt;blockquote&gt;
  &lt;p&gt;$𝑅_𝑡$和$𝐻_{𝑡−1} $的元素相乘可以减少以往状态的影响。 每当重置门$𝑅_𝑡$中的项接近1时， 也就是普通的RNN网络。 对于重置门$𝑅_𝑡$中所有接近0的项， 候选隐状态是以$𝑋_𝑡$作为输入的多层感知机的结果。 因此，任何预先存在的隐状态都会被重置为默认值。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;计算出候选隐状态后就可以根据更新门$𝑍_𝑡$的效果。 就可以进一步确定新的隐状态$H_t$了。这一步确定新的隐状态$𝐻_𝑡$在多大程度上来自旧的状态$𝐻_{𝑡−1}$和 新的候选状态$\tilde{𝐻}&lt;em&gt;𝑡$。 更新门$𝑍_𝑡$仅需要在 $𝐻&lt;/em&gt;{𝑡−1}$和$\tilde{𝐻}_𝑡 $之间进行按元素的乘法就可以实现这个目标。 这就得出了门控循环单元的最终更新公式：&lt;/p&gt;

\[\mathbf{H}_t=\mathbf{Z}_t\odot\mathbf{H}_{t-1}+(1-\mathbf{Z}_t)\odot\tilde{\mathbf{H}}_t.\]

&lt;blockquote&gt;
  &lt;p&gt;每当更新门$𝑍_𝑡$接近1时，模型就倾向只保留旧状态。 此时，来自$𝑋_𝑡$的信息基本上被忽略， 从而有效地跳过了依赖链条中的时间步𝑡。 相反，当$𝑍_𝑡$接近0时， 新的隐状态$𝐻_𝑡$就会接近候选隐状态$\tilde{𝐻}_𝑡$。 这些设计可以帮助我们处理循环神经网络中的梯度消失问题， 并更好地捕获时间步距离很长的序列的依赖关系。 例如，如果整个子序列的所有时间步的更新门都接近于1， 则无论序列的长度如何，在序列起始时间步的旧隐状态都将很容易保留并传递到序列结束。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;总结：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;重置门有助于捕获序列中的短期依赖关系；&lt;/li&gt;
  &lt;li&gt;更新门有助于捕获序列中的长期依赖关系。&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;attention&quot;&gt;Attention&lt;/h2&gt;

&lt;p&gt;Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制。Attention给模型赋予了区分辨别的能力，例如，在机器翻译中，为句子中的每个词赋予不同的权重，使神经网络模型的学习变得更加灵活（soft），同时Attention本身可以做为一种对齐关系，解释翻译输入/输出句子之间的对齐关系，通过Attention可视化即可解释模型到底学到了什么知识。&lt;/p&gt;

&lt;p&gt;RNN网络本身缺点：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;RNN具有的梯度消失问题，随着所需翻译句子的长度的增加，这种结构的效果会显著下降。&lt;/li&gt;
  &lt;li&gt;RNN结构得到的hidden vector虽然包含了整句话的全部信息，但是这个全部信息具有局部依赖的特性，也就是说越近的句子对hidden vector的贡献越大，很多时候hidden vector其实只学到了每句话最后几个词的信息&lt;/li&gt;
  &lt;li&gt;RNN不能够支持并行计算，因为依赖于前一时刻输出，训练起来会很慢，每个词向量对应的导数依赖后续的词的导数，这样递归求导也是梯度消失问题的主要原因。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;引入attention机制能够解决前两个问题，self-attention可以解决第三个问题。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/image-20240616170014533.png&quot; alt=&quot;image-20240616170014533&quot; style=&quot;zoom: 30%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;首先我们利用RNN结构得到encoder中的hidden state $h_1$到$h_t$ ，假设当前decoder的hidden state 是$s_{t-1}$，我们可以计算每一个输入位置j的hidden vector与当前输出位置的关联性$similarity(s_{t-1},h_j)$，这个有很多种计算方式，其实就是相似度的计算方式。(也叫对齐函数)&lt;/p&gt;

&lt;p&gt;对于所有的$similarity(s_{t-1},h_j)$进行softmax操作后将其normalize得到attention的分布，这一步得到的就是图中的$a_{t,1}$到$a_{t,t}$，也就是decoder的下一层输出与所有输入之间的权重关系。&lt;/p&gt;

\[\alpha_{t,j}={e^{similarity(s_{t-1},h_j)}\over{\sum_{k=1}^{T}e^{similarity(s_{t-1},h_k)}}}\]

&lt;p&gt;利用$\alpha_{t,j}$我们可以进行加权求和得到相应的context vector $c_t=\sum_{j=1}^{T}\alpha_{t,j}h_j$。&lt;/p&gt;

&lt;p&gt;由此，我们可以计算decoder的下一个hidden $s_t=f(s_{t-1},y_{t-1},c_t)$以及该位置的输出$p(y_t\mid y_1,…,y_{t-1},x)=g(y_{i-1},s_t,c_t)$&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;直观上看，Attention层其实类似于一个非常复杂的全连接神经网络&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h1 id=&quot;实验过程&quot;&gt;实验过程&lt;/h1&gt;

&lt;h2 id=&quot;简单介绍&quot;&gt;简单介绍&lt;/h2&gt;

&lt;p&gt;Seq2Seq模型由两个主要的循环神经网络（RNN）组件构成：编码器（encoder）和解码器（decoder）。在机器翻译领域，这两个组件协同工作以实现语言之间的转换。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;在训练阶段：&lt;/strong&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;encoder接收输入的英文句子，将其分解为一系列的token向量，并按顺序处理这些向量。每个token经过LSTM或GRU单元后，最终在encoder的最后一个时间步生成隐状态( h )和细胞状态( c )。这两个状态随后作为decoder的初始状态。&lt;strong&gt;decoder&lt;/strong&gt;以特定的起始符号SOS为输入，并逐步生成目标语言中的单词序列。每一步生成的单词都作为下一步的输入，同时更新decoder的状态。最终，decoder的输出通过一个全连接层转化为单词的概率分布，该分布与目标句子的one-hot编码形式进行比较，计算损失函数，并据此反向传播更新模型参数。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;在预测阶段：&lt;/strong&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;预测过程与训练阶段相似，encoder首先处理输入句子并生成最终状态( h )和( c )。这些状态被用作decoder的初始状态。decoder从起始符号开始，根据模型的预测逐步生成单词序列，并将预测的单词作为下一步的输入，以此循环直至生成终止符号，完成翻译序列的输出。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;引入注意力机制（Attention）：&lt;/strong&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Seq2Seq模型中的注意力机制是对传统模型的重要补充。它允许decoder在每次状态更新时，不仅考虑encoder的最终状态，而是计算与encoder所有时间步的隐状态的相关性。这种机制使得模型能够更加灵活地关注输入序列中的不同部分，从而克服仅依赖最终状态可能带来的信息丢失问题。没有attention机制会只使用encoder的最后时刻的状态来更新decoder的状态，有可能其遗忘掉了在比较靠前的单词的信息。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/v2-8ddf993a95ee6e525fe2cd5ccd49bba7_hd.jpg&quot; alt=&quot;img&quot; style=&quot;zoom:67%;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;准备数据&quot;&gt;准备数据&lt;/h2&gt;

&lt;p&gt;准备数据的完整流程是：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;读取文本文件并分成行，将行分成对&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;在词统计的类中：&lt;/p&gt;

      &lt;p&gt;英文分词选择nltk的word_tokenize&lt;/p&gt;

      &lt;p&gt;中文选择使用jieba分词（根据&lt;a href=&quot;https://blog.csdn.net/sinat_26917383/article/details/52275328&quot;&gt;中文分词技术小结&lt;/a&gt;中总结，jieba效果并不是最好的，但是是最容易使用的）&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;标准化文本，按长度和内容过滤&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;ol&gt;
        &lt;li&gt;英文统一转为Ascii&lt;/li&gt;
        &lt;li&gt;去掉中文中的多余空格&lt;/li&gt;
        &lt;li&gt;去掉中文中多余符号，例如连续的多个“-”、“！”等符号减少为1个&lt;/li&gt;
        &lt;li&gt;长度大于30的句子切分为两句而不是删掉&lt;/li&gt;
      &lt;/ol&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;从成对的句子中制作单词列表&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;参考pytorch中seq2seq模型，构建词典代码如下：&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;以下是基本代码，我尝试了很多个版本代码，详情见具体代码，以下是尝试过的方法：&lt;/p&gt;

  &lt;ol&gt;
    &lt;li&gt;
      &lt;p&gt;尝试深度学习进阶中提到的反转输入的方法加强seq2seq模型的性能并加速训练&lt;/p&gt;
    &lt;/li&gt;
    &lt;li&gt;
      &lt;p&gt;尝试先将句子切分为token，然后组合为pair，而不是先根据maxlen截断再切分&lt;/p&gt;
    &lt;/li&gt;
    &lt;li&gt;
      &lt;p&gt;尝试使用下面方法：&lt;/p&gt;

      &lt;p&gt;分词和词形还原：确保分词的准确性，并且在英文处理部分引入词形还原（Lemmatization），以处理单词的不同形式。&lt;/p&gt;

      &lt;p&gt;停用词去除：在英文和中文处理过程中去除常见的停用词，以减少噪声。&lt;/p&gt;

      &lt;p&gt;词汇对齐与扩充：在构建词典时，可以采用预训练的词向量（例如，Word2Vec、GloVe）进行词汇对齐与扩充，以提高词典的覆盖度和表示能力。&lt;/p&gt;

      &lt;p&gt;句子清理和标准化：进一步优化句子清理和标准化步骤，确保处理后的文本更加干净和一致。&lt;/p&gt;

      &lt;p&gt;数据增强：使用数据增强技术（如同义词替换、随机插入、删除等）来增加训练数据的多样性和丰富性。&lt;/p&gt;
    &lt;/li&gt;
    &lt;li&gt;
      &lt;p&gt;长度大于30的句子切分为两句而不是直接删掉&lt;/p&gt;
    &lt;/li&gt;
    &lt;li&gt;
      &lt;p&gt;将出现次数少于2次的低频率标记视为相同的未知（”&lt;unk&gt;&quot;）标记&lt;/unk&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/blockquote&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;SOS_token&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;EOS_token&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;UNK_token&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;MAX_LENGTH&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;30&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;Lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word2index&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&amp;lt;UNK&amp;gt;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;UNK_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word2count&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{}&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;index2word&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;SOS&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;EOS&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;UNK_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;&amp;lt;UNK&amp;gt;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_words&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# Count SOS, EOS and UNK
&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;addSentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;chin&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;words&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;jieba&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cut&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;words&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;split&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos; &apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;word&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;c1&quot;&gt;# print(word)
&lt;/span&gt;            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;addWord&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;addWord&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;word&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word2index&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word2index&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_words&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word2count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;index2word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_words&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word2count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;

&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;然后分别对中文和英文构建词典：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 定义一个函数prepareData，用于准备训练数据。
&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;prepareData&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;filepath&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;reverse&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;False&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Preparing training data...&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    
    &lt;span class=&quot;c1&quot;&gt;# 调用readLangs函数读取语言数据，返回输入语言、输出语言和句子对。
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;input_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;readLangs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;filepath&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;reverse&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Read %s sentence pairs&quot;&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;%&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
    
    &lt;span class=&quot;c1&quot;&gt;# 使用filterPairs函数过滤掉无效的句子对。
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;filterPairs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Trimmed to %s sentence pairs&quot;&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;%&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
   
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Counting words...&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 遍历所有句子对，对输入语言和输出语言的每个句子进行单词计数。
&lt;/span&gt;    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pair&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;input_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;addSentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pair&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;output_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;addSentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pair&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
    
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Counted words:&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;input_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;output_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;input_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;结果如下（展示前10个词典中词汇）：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/image-20240620110531429.png&quot; alt=&quot;image-20240620110531429&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;模型搭建&quot;&gt;模型搭建&lt;/h2&gt;

&lt;p&gt;整个模型分为3个代码块：Encoder、Attention、Decoder。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;Encoder层负责处理输入数据，并输出$ s_0$和$ [h_1,…,h_m]$；&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;Attention层负责根据Encoder层的输出，生成$a_1,…,a_m$和$ c_i$；&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;Decoder层负责处理Attention层的输出，解码得到$s_i$；&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;seq2seq--attention总体概览&quot;&gt;seq2seq + attention总体概览&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/1.png&quot; alt=&quot;1&quot; style=&quot;zoom: 67%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;encoder&quot;&gt;encoder&lt;/h3&gt;

&lt;p&gt;Encoder是一种将输入序列转换为一个包含其重要信息的固定大小向量的机制。在自然语言处理中，句子是由多个单词组成的序列。例如，句子 “I love programming” 包含三个单词。为了使计算机能够处理这个句子，我们需要将每个单词转换为一个向量，这个向量包含了单词的语义信息。然后，我们将这些向量传递给一个神经网络，使其能够理解整个句子。&lt;/p&gt;

&lt;p&gt;Encoder的主要任务是将输入的序列数据转换为一个包含其重要信息的固定大小向量。它通过嵌入层将单词转换为向量，然后通过GRU处理这些向量，得到序列的输出和最终的隐藏状态。这些输出和隐藏状态将被传递给解码器（Decoder），用于生成目标序列。&lt;/p&gt;

&lt;p&gt;可以通过以下代码来实现一个Encoder：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;EncoderRNN&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Module&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;input_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dropout_p&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;nb&quot;&gt;super&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;EncoderRNN&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        
        &lt;span class=&quot;c1&quot;&gt;# 定义隐藏层的大小。
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 定义循环神经网络的层数。
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# 创建一个嵌入层，用于将输入序列中的单词转换为固定大小的向量。
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# input_size是词汇表的大小，hidden_size是嵌入向量的维度。
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedding&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Embedding&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        
        &lt;span class=&quot;c1&quot;&gt;# 创建一个门控循环单元（GRU）层，用于处理序列数据。
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# hidden_size是GRU层的隐藏层大小，num_layers是堆叠的层数。
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# batch_first=True表示输入和输出的张量中第一个维度是批次大小。
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# dropout=dropout_p用于在不同层之间添加dropout以防止过拟合，如果num_layers只有1层，则不添加dropout。
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gru&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;GRU&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;batch_first&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dropout&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dropout_p&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# forward方法定义了数据通过网络的前向传播过程。
&lt;/span&gt;    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 将输入序列通过嵌入层，得到嵌入后的序列向量。
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;embedded&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedding&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        
        &lt;span class=&quot;c1&quot;&gt;# 将嵌入后的序列通过GRU层进行处理，得到输出和最终的隐藏状态。
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# output是序列在每个时间步的输出，hidden是序列处理完后的最终隐藏状态。
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gru&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedded&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        
        &lt;span class=&quot;c1&quot;&gt;# 返回序列的输出和最终的隐藏状态。
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;嵌入层（Embedding Layer）&lt;/strong&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;嵌入层的作用是将输入序列中的单词转换为固定大小的向量。可以将其想象为一个查找表，每个单词都有一个对应的向量表示。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedding&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Embedding&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;这里，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;input_size&lt;/code&gt; 是词汇表的大小，也就是我们模型所能识别的单词数量。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;hidden_size&lt;/code&gt; 是每个单词向量的维度。例如，如果 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;input_size&lt;/code&gt; 为10000，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;hidden_size&lt;/code&gt; 为256，那么嵌入层将每个单词转换为一个256维的向量。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;循环神经网络（GRU）&lt;/strong&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;GRU（门控循环单元）是一种处理序列数据的神经网络。它能够记住序列中的信息，并且在长序列中效果很好。我们用GRU来处理嵌入后的单词向量。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;对比LSTM后发现10k数据集上GRU的效果更好，100k的数据集上LSTM的效果更好。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gru&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;GRU&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;batch_first&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dropout&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dropout_p&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;这里，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;hidden_size&lt;/code&gt; 决定了GRU每一层的隐藏状态的大小。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;num_layers&lt;/code&gt; 是GRU的层数，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;batch_first=True&lt;/code&gt; 表示输入和输出的张量的第一个维度是批次大小。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;dropout_p&lt;/code&gt; 是一个防止过拟合的技术，在训练时会随机忽略一些GRU单元的输出。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;前向传播（Forward Pass）&lt;/strong&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;前向传播是指数据通过神经网络进行处理的过程。在这个过程中，我们将输入序列通过嵌入层，得到嵌入后的序列向量。然后，将嵌入后的序列向量传递给GRU进行处理，得到输出和最终的隐藏状态。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;embedded&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedding&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gru&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedded&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;attention-1&quot;&gt;attention&lt;/h3&gt;

&lt;p&gt;计算注意力权重是通过另一个前馈层 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;attn&lt;/code&gt; 完成的，使用解码器的输入和隐藏状态作为输入。因为训练数据中有各种大小的句子，所以要实际创建和训练该层，我们必须选择它可以应用的最大句子长度（输入长度，用于编码器输出）。最大长度的句子将使用所有注意力权重，而较短的句子将仅使用前几个。&lt;/p&gt;

&lt;p&gt;Bahdanau 注意，又称加法注意，是序列到序列模型中常用的一种注意机制，尤其是在神经机器翻译任务中。这种注意力机制采用学习的对齐模型来计算编码器和解码器隐藏状态之间的注意力分数。它利用前馈神经网络来计算对齐分数。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;相似度计算：&lt;/strong&gt;&lt;/p&gt;

\[\mathrm{a(s_{i-1},h_j)=V_a^T\tanh(W_as_{i-1}+U_ah_j)}\\\]

&lt;blockquote&gt;
  &lt;p&gt;之前介绍attention中介绍到的：一个输入位置j的hidden vector与当前输出位置的关联性$similarity(s_{t-1},h_j)$，这个有很多种计算方式，其实就是相似度的计算方式(也叫&lt;strong&gt;对齐&lt;/strong&gt;函数)，Bahdanau 注意用上面这个函数作为对齐函数&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;strong&gt;注意力分数(注意力权重)：&lt;/strong&gt;&lt;/p&gt;

\[\mathrm{\alpha_i=softmax(a(s_{i-1},h_1),a(s_{i-1},h_2),...a(s_{i-1},h_l))}\]

&lt;p&gt;不难发现计算完$W_as_{i-1} + U_ah_j$ ，其维度固定成$[hiddenSize ,1]$，所以我们也称其为对齐，具体代码如下：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 使用additive attention
&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;BahdanauAttention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Module&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;nb&quot;&gt;super&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;BahdanauAttention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 定义一个线性层Wa，将输入的隐藏状态映射到hidden_size维度的空间
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Wa&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 定义一个线性层Ua，将输入的键（keys）映射到hidden_size维度的空间
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Ua&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 定义一个线性层Va，将上一步的和映射到1维空间，用于计算注意力分数
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Va&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        
    &lt;span class=&quot;c1&quot;&gt;# 前向传播函数，计算注意力机制的输出
&lt;/span&gt;    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;query&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 使用线性层Wa处理查询（query），然后使用tanh激活函数
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# 将处理后的查询与线性层Ua处理的键（keys）相加
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# 然后使用线性层Va将结果映射到1维，得到注意力分数的初步计算结果
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Va&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tanh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Wa&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;query&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Ua&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)))&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 将分数的维度调整为适合softmax操作的形状，即(batch_size, seq_len, 1)
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;squeeze&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unsqueeze&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 应用softmax函数计算权重，这些权重表示每个键在生成当前输出时的重要性
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;weights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;F&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;softmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 使用计算出的权重和键（keys）进行矩阵乘法，得到加权的上下文信息
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;context&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bmm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;weights&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 返回加权的上下文信息和对应的权重
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;weights&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;这里初始化了三个线性层，其实也就是上面公式中的$W_a$、$U_a$和$V_a$矩阵，是待学习的参数：&lt;/li&gt;
&lt;/ol&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Wa&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Ua&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Va&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
&lt;ol&gt;
  &lt;li&gt;计算相似度&lt;/li&gt;
&lt;/ol&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Va&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tanh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Wa&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;query&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Ua&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)))&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
&lt;p&gt;这里首先使用&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Wa&lt;/code&gt;和&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Ua&lt;/code&gt;分别处理&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;query&lt;/code&gt;和&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;keys&lt;/code&gt;，然后将它们的输出相加。接着，将这个和通过&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tanh&lt;/code&gt;激活函数，最后通过&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Va&lt;/code&gt;生成注意力分数。数学上，如果我们将&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;query&lt;/code&gt;表示为( q )，将&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;keys&lt;/code&gt;表示为( k )，那么注意力分数的计算可以表示为：&lt;/p&gt;

\[\text{scores} = V_a^T \tanh(W_a q + U_a k)\]

&lt;p&gt;这里的q是decoder的上一次输出$s_{i-1}$，k是隐藏层$h_j$。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;计算注意力分数&lt;/li&gt;
&lt;/ol&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;weights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;F&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;softmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;之后用使用softmax函数对调整后的分数应用，计算每个位置的权重。这将确保所有权重的和为1，表示对&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;keys&lt;/code&gt;的归一化注意力分布。这里的&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;dim=-1&lt;/code&gt;表示沿着最后一个维度（即新增加的维度）应用softmax。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;计算加权上下文信息：&lt;/li&gt;
&lt;/ol&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;context&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bmm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;weights&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
&lt;p&gt;这一步通过矩阵乘法计算加权的上下文信息。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;weights&lt;/code&gt;是归一化的注意力权重，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;keys&lt;/code&gt;是decoder的输出。这里使用的是二维矩阵乘法&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;bmm&lt;/code&gt;，它将&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;weights&lt;/code&gt;的最后一个维度和&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;keys&lt;/code&gt;的第一个维度进行广播和乘法操作。数学上，如果我们将权重矩阵表示为( w )，那么加权上下文的计算可以表示为：&lt;/p&gt;

\[\text{context} = w \times k\]

&lt;p&gt;其中，( w )的每一行是对应于&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;keys&lt;/code&gt;中每个元素的注意力权重。&lt;/p&gt;

&lt;p&gt;函数返回两个值：加权的上下文信息&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;context&lt;/code&gt;和对应的注意力权重&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;weights&lt;/code&gt;。上下文信息可以用于后续的解码步骤，而注意力权重可以用于分析模型的注意力分布。&lt;/p&gt;

&lt;h3 id=&quot;decoder&quot;&gt;decoder&lt;/h3&gt;

&lt;p&gt;Decoder的任务是将Encoder生成的固定大小向量转换回原始的序列数据。在序列到序列的模型中，比如翻译或者对话生成中，Decoder使用来自Encoder的输出向量以及前一步生成的单词来预测下一个单词。如下图，decoder要将attention层的上下文向量context于上一次的输出s拼接到一起作为RNN网络的输入。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/20210319170705842.png&quot; alt=&quot;img&quot; style=&quot;zoom:67%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Decoder就是一个解码器，它根据编码器提供的信息一步一步地生成输出。假设我们已经用Encoder将一个英文句子转换成了一个固定大小的向量作为中间表示，现在我们要用Decoder将这个向量转换回一个中文句子。&lt;/p&gt;

&lt;p&gt;Decoder的主要任务是将Encoder生成的固定大小向量转换回原始的序列数据。它通过嵌入层将输入的单词转换为向量，通过GRU处理这些向量，然后通过线性层和Softmax层生成下一个单词的概率分布。通过结合Attention机制，Decoder可以在生成每个单词时动态地关注Encoder输出的不同部分，从而生成更加准确和流畅的序列。为了使Decoder更加高效，可以使用Attention机制。Attention机制可以让Decoder在生成每个单词时关注Encoder输出的不同部分，从而生成更加准确的结果。&lt;/p&gt;

&lt;p&gt;下面是基于attention机制的Decoder的实现代码（之后还会在此基础上实现beam search）：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;AttnDecoderRNN&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Module&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dropout_p&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;nb&quot;&gt;super&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;AttnDecoderRNN&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;

        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedding&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Embedding&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;output_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# self.attention = BahdanauAttention(hidden_size)
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attention&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;LuongAttention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gru&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;GRU&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;batch_first&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dropout&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dropout_p&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;#经过全连接层输出，映射成单词的概率分布形式
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;out&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dropout&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Dropout&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dropout_p&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;target_tensor&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;batch_size&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;empty&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;batch_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dtype&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;long&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;SOS_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;decoder_hidden&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_hidden&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;decoder_outputs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;

        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LENGTH&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;decoder_output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attn_weights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;forward_step&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;
            &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;decoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;decoder_output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attn_weights&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

            &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;target_tensor&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;is&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;target_tensor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unsqueeze&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# Teacher forcing
&lt;/span&gt;            &lt;span class=&quot;c1&quot;&gt;#推理时默认用贪心搜索greedy search
&lt;/span&gt;            &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;topi&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;topk&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;topi&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;squeeze&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# detach from history as input
&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;decoder_outputs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;decoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;decoder_outputs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;F&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;log_softmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;decoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward_step&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;embedded&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dropout&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedding&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

        &lt;span class=&quot;n&quot;&gt;query&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unsqueeze&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# Use the last layer&apos;s hidden state for attention
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attn_weights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;query&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;input_gru&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedded&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gru&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_gru&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;out&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attn_weights&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;嵌入层（Embedding Layer）&lt;/strong&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;嵌入层的作用是将Decoder的输入（通常是前一步生成的单词）转换为向量。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedding&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Embedding&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;output_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;output_size&lt;/code&gt; 是词汇表的大小，也就是我们模型所能生成的单词数量。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;hidden_size&lt;/code&gt; 是每个单词向量的维度。例如，如果 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;output_size&lt;/code&gt; 为10000，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;hidden_size&lt;/code&gt; 为256，那么嵌入层将每个单词转换为一个256维的向量。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;循环神经网络（GRU）&lt;/strong&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;GRU在Decoder中用来处理嵌入后的单词向量，并生成新的隐藏状态和输出。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gru&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;GRU&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;batch_first&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dropout&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dropout_p&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_layers&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;这里，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;hidden_size&lt;/code&gt; 决定了GRU每一层的隐藏状态的大小。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;num_layers&lt;/code&gt; 是GRU的层数，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;batch_first=True&lt;/code&gt; 表示输入和输出的张量的第一个维度是批次大小。&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;dropout_p&lt;/code&gt; 是一个防止过拟合的技术，在训练时会随机忽略一些GRU单元的输出。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;线性层和Softmax层&lt;/strong&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;线性层将GRU的输出转换为词汇表大小的向量，Softmax层将这个向量转换为概率分布，用于预测下一个单词。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;out&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;softmax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;LogSoftmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;Attention层&lt;/strong&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;Attention层会计算Decoder当前时间步的隐藏状态与Encoder输出的每个时间步的隐藏状态之间的相关性，从而决定Decoder应该关注Encoder输出的哪些部分。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attn&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;BahdanauAttention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;或者&lt;/span&gt;
&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attention&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;LuongAttention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;前向传播&lt;/strong&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;在前向传播过程中，我们首先将Decoder的输入通过嵌入层和GRU处理，然后通过Attention层计算上下文向量，最后将GRU的输出和上下文向量拼接起来，通过线性层和Softmax层生成下一个单词的概率分布。多次重复以上步骤，直到输出为EOS&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 执行解码器的单个前向传播步骤
&lt;/span&gt;    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward_step&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 将输入通过嵌入层，并通过dropout层
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;embedded&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dropout&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedding&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 使用上一步的隐藏状态作为查询，计算注意力权重和上下文向量
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;query&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unsqueeze&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# Use the last layer&apos;s hidden state for attention
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attn_weights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;query&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 将嵌入的输入和上下文向量在最后一个维度上进行拼接
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;input_gru&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;embedded&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 将拼接后的输入传递给GRU层，并获取输出和新的隐藏状态
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gru&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_gru&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 将GRU的输出通过全连接层
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;out&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# 返回当前步骤的输出、隐藏状态和注意力权重
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attn_weights&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;不同的对齐函数&quot;&gt;不同的对齐函数&lt;/h3&gt;

&lt;p&gt;在注意力机制中，对齐函数（alignment function）是用来计算当前解码器隐藏状态和编码器隐藏状态之间的相关性。不同的对齐函数可以有不同的计算方式，并会对最终模型的性能产生影响。在这里，我们比较Bahdanau注意力（也称为加法注意力）和Luong注意力（也称为乘法注意力）的区别，并分析为什么在本次实验中，Luong注意力效果更好。&lt;/p&gt;

&lt;h4 id=&quot;bahdanau注意力加法注意力&quot;&gt;Bahdanau注意力（加法注意力）&lt;/h4&gt;

&lt;p&gt;Bahdanau注意力的对齐函数通过一个前馈神经网络计算解码器隐藏状态和编码器隐藏状态之间的相关性。其计算公式如下：&lt;/p&gt;

\[a(s_{i-1}, h_j) = V_a^T \tanh(W_a s_{i-1} + U_a h_j)\]

&lt;p&gt;其中，$V_a$、$W_a$ 和 $U_a$ 都是可学习的参数矩阵。这个方法的优点是能够更灵活地捕捉解码器和编码器隐藏状态之间的复杂关系。&lt;/p&gt;

&lt;h4 id=&quot;luong注意力乘法注意力&quot;&gt;Luong注意力（乘法注意力）&lt;/h4&gt;

&lt;p&gt;Luong注意力的对齐函数有三种变体：dot、general 和 concat。它们的共同点是都通过乘法计算相关性，其中 dot 和 general 是乘法计算，而 concat 是先拼接再通过前馈神经网络计算。其计算公式如下：&lt;/p&gt;

\[\mathrm{score}(h_t, \bar{h}_s) = \begin{cases}
h_t^\top \bar{h}_s &amp;amp; \text{dot} \\
h_t^\top W_a \bar{h}_s &amp;amp; \text{general} \\
v_a^\top \tanh\left(W_a [h_t; \bar{h}_s] \right) &amp;amp; \text{concat}
\end{cases}\]

&lt;p&gt;在本次实验中，我们使用了general变体，其具体实现如下：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;LuongAttention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Module&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;nb&quot;&gt;super&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;LuongAttention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 初始化一个线性层Wa，用于将键（keys）的维度从hidden_size映射到hidden_size
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Wa&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;query&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 将查询query与键keys通过线性层Wa进行变换
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;keys_transformed&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Wa&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        
        &lt;span class=&quot;c1&quot;&gt;# 计算查询query与变换后的键keys_transformed的点积，得到注意力分数
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# 使用矩阵乘法torch.bmm，query的维度为[batch_size, 1, hidden_size]
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# keys_transformed.transpose(1, 2)的维度为[batch_size, hidden_size, seq_len]
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# 点积结果scores的维度为[batch_size, 1, seq_len]
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bmm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;query&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keys_transformed&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transpose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
        
        &lt;span class=&quot;c1&quot;&gt;# 对得到的分数应用softmax函数，得到归一化的注意力权重
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# softmax沿着最后一个维度进行计算，确保每个位置的权重和为1
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;weights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;F&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;softmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        
        &lt;span class=&quot;c1&quot;&gt;# 使用得到的注意力权重weights和原始的键keys进行矩阵乘法
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# 计算加权求和，得到上下文向量context
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# weights的维度为[batch_size, 1, seq_len]，keys的维度为[batch_size, seq_len, hidden_size]
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# 上下文向量context的维度为[batch_size, 1, hidden_size]
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;context&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bmm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;weights&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;context&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;weights&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;理论分析：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;计算效率&lt;/strong&gt;：Bahdanau注意力需要对每个解码时间步和编码时间步计算一次前馈神经网络的输出，这在计算上是昂贵的。尤其是在长序列情况下，计算复杂度较高。而Luong注意力的dot和general变体仅仅是矩阵乘法，计算复杂度较低，更加高效。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;性能&lt;/strong&gt;：在实际应用中，尤其是像本次实验的机器翻译这样的任务中，Luong注意力的表现通常优于Bahdanau注意力。这是因为乘法注意力（dot和general）能够更直接地捕捉到解码器和编码器隐藏状态之间的相似性，而不用通过复杂的前馈神经网络。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;对齐效果&lt;/strong&gt;：Luong注意力的general变体通过一个线性变换（$W_a$）调整了编码器隐藏状态的表示，使其更好地与解码器隐藏状态匹配。这种直接的相似性计算在很多情况下能够提供更精确的对齐效果。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;在本次实验中，使用Luong注意力相比Bahdanau注意力效果确实好了很多。并且Luong注意力的参数较少，相比Bahdanau注意力更容易训练和优化。在本次实验中，这可能使得模型更快地达到最佳状态。&lt;/p&gt;

&lt;h2 id=&quot;teacher-forcing-和-free-running&quot;&gt;Teacher Forcing 和 Free Running&lt;/h2&gt;

&lt;p&gt;在循环神经网络（RNN）的训练初期，模型的预测能力通常较弱，难以生成高质量的输出。在这一阶段，如果某个单元产生了低质量的预测结果，这种不良效应可能会沿着时间序列传播，对后续单元的学习造成负面影响。&lt;/p&gt;

&lt;p&gt;为了解决这一问题，引入了一种称为”教师强制”（Teacher Forcing）的训练策略。该方法在深度学习领域，特别是在开发用于机器翻译、文本摘要、图像字幕等任务的语言模型中发挥着至关重要的作用。在教师强制策略下，模型在每个时间步并不是简单地使用前一状态的输出作为当前状态的输入，而是采用训练数据集中的ground truth（即真实值）作为下一个状态的输入。这种策略通过直接提供正确的信息，有助于加速模型的收敛过程，并提高其学习效率。通过这种方式，模型能够在训练过程中更快地学习到数据的内在规律，从而在实际应用中生成更加准确和可靠的结果。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/1630237-20210422182310408-901727114.png&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;p&gt;核心代码实现如下：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;target_tensor&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
	&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LENGTH&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
		&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;

        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;target_tensor&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;is&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;not&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;target_tensor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unsqueeze&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# Teacher forcing
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;#推理时默认用贪心搜索greedy search
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;topi&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;topk&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;topi&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;squeeze&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# detach from history as input
&lt;/span&gt;    &lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;教师强制（Teacher Forcing）虽然在训练阶段能够显著提高模型的效率和性能，但它也存在一些固有的局限性。正如俗话所说，“依赖老师带领的孩子难以独立远行”，这一比喻同样适用于教师强制策略。在这种策略下，模型在训练过程中过度依赖于标签数据，即标准答案（ground truth），这可能导致模型在面对未知或与训练数据分布不一致的测试数据时，表现出脆弱性。&lt;/p&gt;

&lt;p&gt;具体来说，模型在训练时由于总是获得正确的前一个状态作为输入，可能会形成对这种理想化情况的依赖。然而，在实际应用或测试阶段，模型无法获得这种ground truth的支持，而必须依赖自身生成的序列进行迭代预测。如果当前生成的序列与训练数据存在显著差异，模型的预测能力可能会急剧下降，导致性能的不稳定。&lt;/p&gt;

&lt;p&gt;此外，教师强制策略可能会限制模型的跨领域（cross-domain）泛化能力。当测试数据集与训练数据集分属不同的领域时，模型由于缺乏对多样化数据分布的适应性，其性能可能会受到较大影响。这是因为模型在训练过程中未能充分学习到如何从自身预测的错误中恢复并继续生成合理的序列。&lt;/p&gt;

&lt;p&gt;为了保持Teacher Forcing的优势并克服困难，我在训练前期保持使用Teacher Forcing，后期则Teacher Forcing和Free Running一起使用，加速训练的同时保证其泛化能力。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;不同的Teacher Forcing比率（teacher_forcing_ratio）会对模型的收敛速度和最终性能产生显著影响。下面详细分析在teacher_forcing_ratio分别设置为0、0.5和1时，对模型收敛速度的影响。&lt;/p&gt;

&lt;h3 id=&quot;teacher-forcing-ratio为0&quot;&gt;Teacher Forcing Ratio为0&lt;/h3&gt;

&lt;p&gt;当teacher_forcing_ratio设置为0时，模型在训练过程中完全依赖自身生成的序列作为下一步的输入。这种情况下，模型的收敛速度较慢，但有助于提高模型的鲁棒性，因为模型在训练过程中面临更多的不确定性和挑战。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;训练表现：&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;在第60个epoch时，loss下降到1以下。&lt;/li&gt;
  &lt;li&gt;训练200个epoch后，最低的loss为0.1930。&lt;/li&gt;
&lt;/ul&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;epoch:55  5m 2s (- 13m 18s) (27%) loss:1.0172
save the best model successful!
epoch:60  5m 30s (- 12m 50s) (30%) loss:0.9323
save the best model successful!
...
epoch:190  17m 35s (- 0m 55s) (95%) loss:0.1930
save the best model successful!
epoch:195  18m 3s (- 0m 27s) (97%) loss:0.1931
epoch:200  18m 30s (- 0m 0s) (100%) loss:0.1989
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;teacher-forcing-ratio为05&quot;&gt;Teacher Forcing Ratio为0.5&lt;/h3&gt;

&lt;p&gt;当teacher_forcing_ratio设置为0.5时，模型在一半的情况下使用真实目标序列，另一半情况下使用自身生成的序列作为输入。这种平衡的策略既能加速模型收敛，又能提高模型的鲁棒性。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;训练表现：&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;在第55个epoch时，loss下降到1以下。&lt;/li&gt;
  &lt;li&gt;训练200个epoch后，最低的loss为0.1675。&lt;/li&gt;
&lt;/ul&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;epoch:50  4m 51s (- 14m 34s) (25%) loss:1.0618
save the best model successful!
epoch:55  5m 18s (- 14m 0s) (27%) loss:0.9681
save the best model successful!
...
epoch:180  16m 19s (- 1m 48s) (90%) loss:0.1562
epoch:185  16m 45s (- 1m 21s) (92%) loss:0.1618
epoch:190  17m 12s (- 0m 54s) (95%) loss:0.1617
epoch:195  17m 38s (- 0m 27s) (97%) loss:0.1625
epoch:200  18m 4s (- 0m 0s) (100%) loss:0.1675
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;teacher-forcing-ratio为1&quot;&gt;Teacher Forcing Ratio为1&lt;/h3&gt;

&lt;p&gt;当teacher_forcing_ratio设置为1时，模型在训练过程中始终使用真实的目标序列作为输入。这种策略可以显著加速模型的收敛，但可能导致模型对真实序列的依赖过强，在测试时性能可能不如训练时表现好。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;训练表现：&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;在第30个epoch时，loss下降到1以下。&lt;/li&gt;
  &lt;li&gt;训练200个epoch后，最低的loss为0.0465。&lt;/li&gt;
&lt;/ul&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;epoch:25  2m 5s (- 14m 37s) (12%) loss:1.0931
save the best model successful!
epoch:30  2m 31s (- 14m 16s) (15%) loss:0.8800
save the best model successful!
...
epoch:180  15m 8s (- 1m 40s) (90%) loss:0.0465
epoch:185  15m 34s (- 1m 15s) (92%) loss:0.0466
epoch:190  15m 59s (- 0m 50s) (95%) loss:0.0502
epoch:195  16m 24s (- 0m 25s) (97%) loss:0.0492
epoch:200  16m 49s (- 0m 0s) (100%) loss:0.0494
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;总结&quot;&gt;总结&lt;/h3&gt;

&lt;p&gt;通过对比不同teacher_forcing_ratio下的训练表现，可以得出以下结论：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;Teacher Forcing Ratio为0&lt;/strong&gt;：模型完全依赖自身生成的序列，收敛速度最慢，但最终的鲁棒性较高，避免了过度依赖真实序列。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;Teacher Forcing Ratio为0.5&lt;/strong&gt;：模型在使用真实序列和自身生成序列之间找到平衡，既能较快收敛，又能保持一定的鲁棒性。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;Teacher Forcing Ratio为1&lt;/strong&gt;：模型完全依赖真实序列，收敛速度最快，但可能导致对真实序列的依赖过强，在实际应用中表现可能不稳定。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;在实际应用中，选择合适的teacher_forcing_ratio需要综合考虑模型的收敛速度和最终性能。通常情况下，0.5是一个较为理想的选择，能够在收敛速度和模型鲁棒性之间取得平衡。&lt;/p&gt;

&lt;h2 id=&quot;greedy-和-beam-search-解码策略&quot;&gt;greedy 和 beam-search 解码策略&lt;/h2&gt;

&lt;p&gt;在机器翻译或序列生成任务中，解码策略是决定如何从解码器中生成序列的关键步骤。以下是两种常见的解码策略：贪婪解码（Greedy Decoding）和束搜索解码（Beam Search Decoding）。&lt;/p&gt;

&lt;h3 id=&quot;贪婪解码greedy-decoding&quot;&gt;贪婪解码（Greedy Decoding）&lt;/h3&gt;

&lt;p&gt;贪婪解码是一种简单直观的解码策略，它在每一步都选择概率最高的词作为输出。具体来说：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;初始化&lt;/strong&gt;：使用一个特殊的起始符号（如&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&amp;lt;SOS&amp;gt;&lt;/code&gt;）作为序列的开始。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;迭代解码&lt;/strong&gt;：在每一步，解码器生成一个词的概率分布。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;选择最高概率词&lt;/strong&gt;：从这个分布中选择概率最高的词作为当前步骤的输出。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;终止条件&lt;/strong&gt;：当生成序列达到最大长度或生成了结束符号（如&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&amp;lt;EOS&amp;gt;&lt;/code&gt;）时，解码结束。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;贪婪解码的优点是实现简单，计算效率高。但它的主要缺点是可能会错过更好的序列，因为它只考虑当前步骤的最高概率词，而不考虑这个词对后续步骤的影响。&lt;/p&gt;

&lt;p&gt;贪心的实现也就是每次选最好的那个&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;target_tensor&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
	&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LENGTH&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
		&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
        
        &lt;span class=&quot;c1&quot;&gt;#推理时默认用贪心搜索greedy search
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;topi&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;topk&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;topi&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;squeeze&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# detach from history as input
&lt;/span&gt;    &lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;束搜索解码beam-search-decoding&quot;&gt;束搜索解码（Beam Search Decoding）&lt;/h3&gt;

&lt;p&gt;束搜索解码是一种更复杂的解码策略，它在每一步都考虑多个候选词，以提高生成序列的整体质量。具体步骤如下：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;初始化&lt;/strong&gt;：与贪婪解码相同，使用起始符号开始序列。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;维护多个候选&lt;/strong&gt;：在每一步，解码器生成所有可能的词的概率分布，然后选择概率最高的&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;k&lt;/code&gt;个词作为候选（这里的&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;k&lt;/code&gt;被称为束宽，即同时考虑的候选序列的数量）。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;扩展序列&lt;/strong&gt;：将每个候选词添加到当前序列的末尾，形成新的候选序列。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;重新排序&lt;/strong&gt;：根据新生成的候选序列的概率重新排序，选择概率最高的&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;k&lt;/code&gt;个序列作为下一步的候选。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;终止条件&lt;/strong&gt;：当所有候选序列都生成了结束符号或达到最大长度时，选择概率最高的序列作为最终输出。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;束搜索解码的优点是可以找到更优的序列，因为它考虑了当前步骤的多个候选词对后续步骤的影响。然而，它的缺点是计算成本较高，因为需要同时维护多个候选序列。&lt;/p&gt;

&lt;p&gt;实现代码如下：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;beam_search_decode&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;beam_width&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;max_length&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LENGTH&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 获取编码器输出的批量大小
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;batch_size&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 初始化解码器输入为序列的起始标记SOS_token
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;empty&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;batch_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dtype&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;long&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;SOS_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 将编码器的隐藏状态作为解码器的初始隐藏状态
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;decoder_hidden&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_hidden&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 使用优先队列管理束搜索，每个元素是一个元组，包含(对数概率，序列，隐藏状态，注意力权重)
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;beams&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;SOS_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[])]&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 循环直到达到最大长度或所有序列都结束
&lt;/span&gt;    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;max_length&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;new_beams&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 遍历当前所有束
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;log_prob&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;seq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attn_weights&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;beams&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;c1&quot;&gt;# 如果序列以结束标记EOS_token结束，则将其添加到新的束中，不进行扩展
&lt;/span&gt;            &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;seq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EOS_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;new_beams&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;log_prob&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;seq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attn_weights&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
                &lt;span class=&quot;k&quot;&gt;continue&lt;/span&gt;

            &lt;span class=&quot;c1&quot;&gt;# 将上一个预测的单词作为当前步的输入
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tensor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;seq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;view&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;c1&quot;&gt;# 执行解码器的单个步骤前向传播，获取当前步的输出、隐藏状态和注意力权重
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;decoder_output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attn_weight&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;forward_step&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;decoder_input&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoder_outputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;c1&quot;&gt;# 从解码器输出中获取概率最高的k个候选单词
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;topk_log_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;topk_indices&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder_output&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;topk&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;beam_width&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

            &lt;span class=&quot;c1&quot;&gt;# 遍历概率最高的k个候选单词
&lt;/span&gt;            &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;beam_width&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;new_token&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;topk_indices&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;item&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
                &lt;span class=&quot;c1&quot;&gt;# 跳过起始标记SOS_token，因为它不应该被重复添加到序列中
&lt;/span&gt;                &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;new_token&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;SOS_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
                    &lt;span class=&quot;k&quot;&gt;continue&lt;/span&gt;

                &lt;span class=&quot;c1&quot;&gt;# 计算新的对数概率，即当前对数概率加上新单词的对数概率
&lt;/span&gt;                &lt;span class=&quot;n&quot;&gt;new_log_prob&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;log_prob&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;topk_log_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;item&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
                &lt;span class=&quot;c1&quot;&gt;# 构建新的序列，包含新预测的单词
&lt;/span&gt;                &lt;span class=&quot;n&quot;&gt;new_seq&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;seq&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;new_token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
                &lt;span class=&quot;c1&quot;&gt;# 将新步的注意力权重添加到序列的注意力权重列表中
&lt;/span&gt;                &lt;span class=&quot;n&quot;&gt;new_attn_weights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attn_weights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attn_weight&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

                &lt;span class=&quot;c1&quot;&gt;# 将新构建的束添加到新的候选束列表中
&lt;/span&gt;                &lt;span class=&quot;n&quot;&gt;new_beams&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;new_log_prob&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;new_seq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hidden&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;new_attn_weights&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# 从所有新的候选束中选择概率最高的beam_width个束
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;beams&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;heapq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;nlargest&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;beam_width&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;new_beams&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;key&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;lambda&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 选择概率最高的序列作为最佳序列
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;best_seq&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;beams&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 如果存在注意力权重，将它们在序列长度维度上进行拼接
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attns&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attns&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;beams&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;beams&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;发现在简单的模型中使用束搜索解码可以大幅提升准确率，但是同时也发现一个问题，就是推理所需时间大大增加。&lt;/p&gt;

&lt;h2 id=&quot;bleu模型评估&quot;&gt;BLEU模型评估&lt;/h2&gt;

&lt;p&gt;BLEU（Bilingual Evaluation Understudy），即双语评估替补。所谓替补就是代替人类来评估机器翻译的每一个输出结果。Bleu score 所做的，给定一个机器生成的翻译，自动计算一个分数，衡量机器翻译的好坏。取值范围是[0, 1],越接近1,表明翻译质量越好。&lt;/p&gt;

&lt;p&gt;计算公式如下：&lt;/p&gt;

\[BLEU=BP*exp(\frac1n\sum_{i=1}^NP_n)\]

&lt;p&gt;其中，BP是简短惩罚因子，惩罚一句话的长度过短，防止训练结果倾向短句的现象，其表达式为：&lt;/p&gt;

\[BP=\begin{cases}1,&amp;amp;\mathrm{if~}MT\text{output length}&amp;gt;\text{reference output length}\\exp(1-MToutputlength/referenceoutputlength),&amp;amp;\mathrm{otherwise}&amp;amp;\end{cases}\]

&lt;p&gt;Pn，是基于n-gram的精确度，其表达公式为：&lt;/p&gt;

\[P_n=\frac{\sum_{n-gram\in y\text{ CounterClip(n-gram)}}}{\sum_{n-gram\in y\text{ Counter(n-gram)}}}\]

&lt;p&gt;实现时可以调用nltk的sentence_bleu&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;nltk.translate.bleu_score&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sentence_bleu&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;evaluateAll&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;encoder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;input_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;method&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;default&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;beam_width&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;Evaluating all samples...&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;total_bleu_score&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.0&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pair&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;method&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&apos;beam_search&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;output_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;evaluateBeamSearch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;encoder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pair&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;input_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;beam_width&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;output_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;evaluate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;encoder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pair&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;input_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_lang&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;n&quot;&gt;output_sentence&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&apos; &apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;join&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;output_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        
        &lt;span class=&quot;c1&quot;&gt;# Calculate BLEU score
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;reference&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pair&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;split&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_sentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;split&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;bleu_score&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sentence_bleu&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reference&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;candidate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;total_bleu_score&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;bleu_score&lt;/span&gt;

    &lt;span class=&quot;n&quot;&gt;avg_bleu_score&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;total_bleu_score&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;Average BLEU score over {} samples = {}&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;format&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pairs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;avg_bleu_score&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;attention可视化&quot;&gt;attention可视化&lt;/h2&gt;

&lt;p&gt;在此部分，我们通过对Attention权重矩阵的可视化展示，可以更好地理解模型在翻译任务中的工作机制。通过随机抽取BLEU分数较高的结果，我们能够观察Attention权重矩阵的变化，并了解哪部分翻译对应哪部分源文字。以下是代码示例以及具体的可视化分析。&lt;/p&gt;

&lt;p&gt;可视化代码如下：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;matplotlib.pyplot&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;jieba&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;matplotlib&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ticker&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;showAttention&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_sentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 设置图形和颜色条
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figure&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;add_subplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;111&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 创建一个子图，111表示1行1列的第一个
&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 转置注意力矩阵以旋转90度，以便行列与输入输出序列对齐
&lt;/span&gt;    &lt;span class=&quot;c1&quot;&gt;# 使用&apos;bone&apos;颜色映射，浅色表示高注意力权重，深色表示低注意力权重
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;cax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;matshow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attentions&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cpu&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;numpy&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transpose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cmap&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;bone&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;colorbar&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 为图形添加颜色条
&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 使用结巴分词对输入句子进行分词，并在末尾添加结束标记&apos;&amp;lt;EOS&amp;gt;&apos;
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;input_tokens&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;list&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;jieba&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cut&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_sentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;&amp;lt;EOS&amp;gt;&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;output_tokens&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;output_words&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 输出序列的单词列表
&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 设置x轴和y轴的刻度位置和标签
&lt;/span&gt;    &lt;span class=&quot;c1&quot;&gt;# 将输出序列的单词设置为x轴标签，并将输入序列的分词结果设置为y轴标签
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_xticks&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;output_tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)))&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_xticklabels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;output_tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rotation&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;90&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将x轴标签旋转90度，便于阅读
&lt;/span&gt;    
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_yticks&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)))&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_yticklabels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# y轴标签为输入序列的分词结果
&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 确保每个刻度处都有标签显示
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;xaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_major_locator&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ticker&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MultipleLocator&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;yaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_major_locator&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ticker&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MultipleLocator&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 显示图形
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;show&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;以下展示了随机抽取的几组BLEU分数较高的翻译结果的Attention权重矩阵的可视化图，并对每个图进行了详细分析。&lt;/p&gt;

&lt;h3 id=&quot;可视化结果1&quot;&gt;可视化结果1&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/1-07.jpeg&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;input= 马德里比利时历史学家亨利·皮雷纳将欧洲这块基督教大陆的诞生与公元八世纪与伊斯兰教的决裂联系在一起。
target= madrid the belgian historian henri pirenne linked europe s birth as a christian continent in the eighth century to its rupture with islam .
output= madrid the belgian historian henri pirenne linked europe s birth as a christian continent in the eighth century to its rupture with islam . &amp;lt;EOS&amp;gt;
BLEU score = 1
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;从Attention矩阵图中可以看出，模型在翻译过程中对于输入句子的关键部分给予了较高的注意力权重。例如，对于“欧洲这块基督教大陆的诞生”部分，模型能够准确地将其对应到输出中的“Europe’s birth”、“christian”和“continent”。这种精确的对齐关系说明模型在处理长句子和复杂结构时具有较高的翻译准确度。&lt;/p&gt;

&lt;h3 id=&quot;可视化结果2&quot;&gt;可视化结果2&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/1-07-2.jpeg&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;input= 利率飙升可能会来得更早，这也是贝卢斯科尼和法国总统雅克·希拉克现在就大力鼓吹降低利率的原因所在。
target= interest rate hikes may be coming sooner rather than later which is why berlusconi and french president jacques chirac are talking up interest rate cuts now .
output= interest rate hikes may be coming sooner rather than later which is why berlusconi and french president jacques chirac are talking up interest rate cuts now . &amp;lt;EOS&amp;gt;
BLEU score = 1
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;从Attention矩阵图中可以看出，模型能够准确地将输入句子的核心内容与输出对齐，尤其是在涉及人名和特定术语时。比如，“雅克·希拉克”和“Jacques Chirac”在模型的注意力矩阵中被正确地对齐，说明模型在处理人名和术语翻译时表现良好。&lt;/p&gt;

&lt;h3 id=&quot;可视化结果3&quot;&gt;可视化结果3&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/1-76.jpeg&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;input= 在世界许多角落，2018年正逐渐成为令人失望的一年，因为不平等和贫困继续助长愤怒和民粹主义。
target= in many corners of the world is shaping up to be yet another disappointing year as inequality and poverty continue to fuel anger and populism .
output= in many corners of the world is shaping up to be yet another disappointing year as inequality and poverty continue to fuel anger and populism . &amp;lt;EOS&amp;gt;
BLEU score = 1
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;该示例展示了模型在处理复杂句子结构时的优秀表现。注意力矩阵显示，模型能够在多个短语之间准确地分配注意力。例如，“不平等”和“inequality”之间的对应关系，以及“愤怒和民粹主义”和“anger and populism”之间的对应关系，都显示出较高的注意力权重&lt;/p&gt;

&lt;h3 id=&quot;可视化结果4&quot;&gt;可视化结果4&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/finalterm/1-03.jpeg&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;input= 官僚家族因此相对完好地度过了二战和战后的美国占领，此次他们同样也能安然度过民主党政府的任期。
target= as a result the mandarins survived wwii and the postwar american occupation relatively undamaged and they will strive to survive the dpj government as well .
output= as a result the mandarins survived wwii and the postwar american occupation relatively undamaged and they will strive to survive the dpj government as well . &amp;lt;EOS&amp;gt;
BLEU score = 1
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;这个例子中可以明显的看到由于中英文的语序不同，模型在对齐时并不是每个词语都能精确对应，然而，可以看到，对于关键词语（如“战后-postwar”、“美国-America”）以及它们的周围词，注意力权重较高，说明模型在捕捉这些重要信息时具有较好的表现。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;一个自然的疑问是，Attention机制如此有效，那么我们可不可以去掉模型中的RNN部分，仅仅利用Attention呢？
谷歌在&lt;strong&gt;Attention is All you need&lt;/strong&gt;中提出的self-attention机制及Transformer架构回答了这个问题&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;训练seq2seq模型技巧&quot;&gt;训练seq2seq模型技巧&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;初始化用Xaiver不如用kaiming初始化好&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;选择合适的优化器&lt;/strong&gt;: 使用SGD（随机梯度下降）时，训练的loss很难降下来。即使训练了300个epoch，loss仍保持在4左右。然而，使用Adam优化器时，训练到40个epoch时，loss已经下降到1以下。Adam优化器结合了动量和自适应学习率，能够更快地找到全局最优解。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;动态调整学习率&lt;/strong&gt;: 可以在训练初期使用较大的学习率，加快模型收敛速度，然后逐渐降低学习率，避免在接近最优解时出现震荡。例如，可以使用学习率调度器（如学习率衰减策略）或自适应学习率算法（如Adam）。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;使用教师强制训练&lt;/strong&gt;： 教师强制（Teacher Forcing）在训练过程中将真实的目标序列作为输入给解码器，可以加速模型收敛。同时可以逐步减少其使用，转向自由运行Free Running，以提高模型的鲁棒性。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;应用L2正则化和Dropout&lt;/strong&gt;: 为了防止模型过拟合，可以应用L2正则化（权重衰减）和Dropout技术。在RNN中，使用变分Dropout（Variational Dropout）可以进一步增强模型的泛化能力。&lt;/li&gt;
  &lt;li&gt;使用预训练的词向量（如Word2Vec、GloVe或FastText）进行词向量初始化，可以提高模型的表示能力和性能。&lt;/li&gt;
  &lt;li&gt;通过网格搜索或随机搜索进行超参数调优，找到最优的超参数组合，如隐藏层大小、批量大小、学习率等。&lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;结果&quot;&gt;结果&lt;/h1&gt;

&lt;blockquote&gt;
  &lt;p&gt;由于训练集较小，BLEU&amp;gt;0.03 就被视作正常分数，以下黑色加粗为超过0.03的模型，以下都为训练300个epoch时结果。
100k的数据在300个epoch时loss其实还没收敛，还可以继续训练&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;GRU_T_G_Bah表示模型使用GRU，训练时用==&lt;strong&gt;T&lt;/strong&gt;==eacher Forcing，解码时用==&lt;strong&gt;G&lt;/strong&gt;reedy== Search，注意力是==&lt;strong&gt;Bah&lt;/strong&gt;==danau attention&lt;/p&gt;

&lt;p&gt;LSTM_F_B_Luong表示模型使用LSTM，训练时用==&lt;strong&gt;F&lt;/strong&gt;==ree Running，解码时用==&lt;strong&gt;B&lt;/strong&gt;==eam Search，注意力是==&lt;strong&gt;Luong&lt;/strong&gt;== attention&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;模型&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;测试集BLEU&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;训练集BLEU&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;GRU_T_G_Bah&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.07&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.31&lt;/strong&gt;&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;GRU_T_B_Bah&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.11&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.39&lt;/strong&gt;&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;GRU_F_G_Bah&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.009&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.24&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;GRU_F_B_Bah&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.012&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.28&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;GRU_T_G_Luong&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.12&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.62&lt;/strong&gt;&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;==GRU_T_B_Luong==&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;==0.14==&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;==0.66==&lt;/strong&gt;&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;GRU_F_G_Luong&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.008&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.04&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;GRU_F_B_Luong&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.014&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.11&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;LSTM_T_G_Luong&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.01&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.02&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;LSTM_T_B_Luong&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.02&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.05&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;GRU_T_G_Luong_100k&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.095&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.34&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;GRU_T_B_Luong_100k&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.11&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.36&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;LSTM_T_G_Luong_100k&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.082&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.28&lt;/strong&gt;&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;LSTM_T_B_Luong_100k&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.087&lt;/strong&gt;&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;&lt;strong&gt;0.32&lt;/strong&gt;&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;可以发现都需要Teacher ForcingBLEU分数才比较高&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;由于所有的checkpoints加起来有1G多，所以压缩包中只保留了部分checkpoints，所有已训练的checkpoints可在下面这里找到：
链接：https://pan.baidu.com/s/1mfE_ukjrGlU9a69DmbP6bQ?pwd=SYSU 
提取码：SYSU&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h1 id=&quot;心得体会&quot;&gt;心得体会&lt;/h1&gt;

&lt;p&gt;在本次实验中，首先需要搭建一个基础的Seq2Seq模型，并在此基础上实现了attention机制。虽然模型搭建过程相对简单，但理解Seq2Seq与attention的核心思想是关键。在数据预处理方面，我遇到了一些挑战。最初的方法效果并不理想，经过多次尝试和改进，最终在训练集上的BLEU分数才提升到0.1以上。&lt;/p&gt;

&lt;p&gt;模型训练过程中，我应用了Teacher Forcing策略，这大大加快了模型的收敛速度。Teacher Forcing策略在训练时使用真实的目标序列作为下一步的输入，而不是模型自身预测的结果，这样可以有效缓解梯度消失问题，提升模型性能。然而，过高的Teacher Forcing Ratio可能导致模型过度依赖真实序列，在实际应用中表现不稳定。因此，我在实验中选择了适中的Teacher Forcing Ratio，以在收敛速度和模型鲁棒性之间取得平衡。&lt;/p&gt;

&lt;p&gt;此外，我还尝试了不同的解码策略，包括贪婪解码（Greedy Decoding）和束搜索解码（Beam Search）。贪婪解码虽然实现简单且计算效率高，但容易错过更优的序列。相比之下，束搜索解码通过在每一步保留多个最优候选，可以获得更好的解码效果，但计算复杂度较高。&lt;/p&gt;

&lt;p&gt;在整个实验过程中，我不仅深入理解了Seq2Seq和attention机制，还实践了许多NLP中的常见方法，例如Teacher Forcing和Beam Search。通过亲身实践课堂上学习的理论知识，我对这些方法的理解和掌握都得到了显著提升。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;文档写得比较详细，便于日后的自我复盘与温习。学期结束后整理时会将本篇文章发表于个人博客，作为学习旅程的印记。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h1 id=&quot;参考资料&quot;&gt;参考资料&lt;/h1&gt;

&lt;p&gt;&lt;a href=&quot;https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html&quot;&gt;seq2seq 机器翻译教程 (来自 pytorch 官方教程，需对数据预处理方式进行更改)&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;分词工具使用:&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://github.com/fxsjy/jieba&quot;&gt;jieba 中文分词工具&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://github.com/google/sentencepiece&quot;&gt;sentencepiece 英文分词工具&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;参考论文  :&lt;/p&gt;

&lt;p&gt;Bahdanau 原版 seq2seq+attention 论文 (ICLR2015)：Neural Machine Translation by Jointly Learning to Align and Translate&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;a href=&quot;https://zh.d2l.ai/chapter_recurrent-modern/seq2seq.html&quot;&gt;序列到序列学习seq2seq&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://blog.csdn.net/fan_fan_feng/article/details/81666736&quot;&gt;真正的完全图解Seq2Seq Attention模型_seq-seq-CSDN博客&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://blog.csdn.net/sinat_26917383/article/details/52275328&quot;&gt;NLP+词法系列（一）︱中文分词技术小结、几大分词引擎的介绍与比较_词法分析技术的选择与比较-CSDN博客&lt;/a&gt;&lt;/p&gt;

</description>
        <pubDate>Sat, 22 Jun 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/06/22/finalterm/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/06/22/finalterm/</guid>
        
        <category>AI</category>
        
        <category>ANN</category>
        
        <category>NOTES</category>
        
        <category>Project</category>
        
        
      </item>
    
      <item>
        <title>半监督图像分类</title>
        <description>&lt;div align=&quot;center&quot; style=&quot;page-break-after: always;&quot;&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;img src=&quot;/img/in-post/PatternRecognition/sysu.png&quot; alt=&quot;img&quot; style=&quot;zoom:150%;&quot; /&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;20&quot; face=&quot;Impact&quot;&gt;
        Pattern Recognition
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;6&quot; face=&quot;Arial Black&quot;&gt;
        HW3 半监督图像分类 &lt;br /&gt;
        Mixmatch &amp;amp; Fixmatch
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Student ID: 21307381 &amp;nbsp;&amp;nbsp;
        Student Name: LJW &lt;br /&gt;
        &lt;br /&gt;
        Date: 2024.6.18
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Lectured by: Jinhua Ma&lt;br /&gt;
        Pattern Recognition&lt;br /&gt;
        Sun Yat-sen University&lt;br /&gt;
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
&lt;/div&gt;

&lt;h1 id=&quot;作业介绍&quot;&gt;作业介绍&lt;/h1&gt;

&lt;h2 id=&quot;实验目的&quot;&gt;实验目的&lt;/h2&gt;

&lt;h3 id=&quot;关于半监督学习&quot;&gt;关于半监督学习&lt;/h3&gt;

&lt;p&gt;神经网络模型通常需要大量标记好的训练数据来训练模型。然而，在许多情况下，获取大量标记好的数据可能是困难、耗时或昂贵的。这就是半监督学习的应用场景。 半监督学习的核心思想是利用无标记数据的信息来改进模型的学习效果。在半监督学习中，我们使用少量标记数据进行有监督学习，同时利用大量无标记数据的信息。通过充分利用无标记数据的潜在结构和分布特征，半监督学习可以帮助模型更好地泛化和适应未标记数据。 关于深度学习中半监督学习更全面的总结，可以参考深度学习半监督学习综述[1]&lt;/p&gt;

&lt;h3 id=&quot;半监督图像分类&quot;&gt;半监督图像分类&lt;/h3&gt;

&lt;p&gt;半监督学习在图像分类取得了非常大的进步，涌现了许多经典的半监督图像分类算法，如：π Model[2]， Mean Teacher[3]， MixMatch[4], FixMatch[5]等。这些算法都取得了非常好的结果，能够在仅使用少量标注数据的情况下，实现高精度的图像分类，在 ImageNet， CIFAR-10， CIFAR-100 等数据集上都有非常不错的效果。 TorchSSL[6]是微软发布的一个用于半监督深度学习的库，其中提供了许多半监督学习算法的实现，如下图所示：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240609131718642.png&quot; alt=&quot;image-20240609131718642&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;实验内容&quot;&gt;实验内容&lt;/h2&gt;

&lt;h3 id=&quot;一基于-mixmatch-的-cifar-10-数据集半监督图像分类&quot;&gt;一、基于 MixMatch 的 CIFAR-10 数据集半监督图像分类&lt;/h3&gt;

&lt;p&gt;MixMatch 采用两种方式来利用无标注数据，即熵最小化和一致性正则化。 具体来说， MixMatch 首先对无标注数据进行 K 次增强，并获得对应的 K 个输出，并计算模型平均的预测分布，之后， MixMatch 使用一个”sharpening”函数来对无标注数据的平均预测进行锐化，并把锐化后的预测分布作为该无标注数据的标签。获得对无标注数据的标签后，将标注数据和无标注数据结合起来，通过 Mixup 的方式完成新数据集的构建，最后使用新的数据集进行训练。&lt;/p&gt;

&lt;h3 id=&quot;二基于-fixmatch-的-cifar-10-数据集半监督图像分类&quot;&gt;二、基于 FixMatch 的 CIFAR-10 数据集半监督图像分类&lt;/h3&gt;

&lt;p&gt;FixMatch 结合了伪标签和一致性正则化来实现对无标注数据的高效利用， 训练过程包括两个部分，有监督训练和无监督训练。有标注的数据，执行有监督训练，和普通分类任务训练没有区别。没有标注的数据，首先将其经过弱增强之后送到模型中推理获取伪标签，然后再将其经过强增强送到模型中进行预测，并利用生成的伪标签监督模型对强增强数据的预测。模型对弱增强数据的预测，只有大于一定阈值条件时才执行伪标签的生成，并使用该伪标签来进行无标注图像的训练。&lt;/p&gt;

&lt;h2 id=&quot;实验要求&quot;&gt;实验要求&lt;/h2&gt;

&lt;ol&gt;
  &lt;li&gt;阅读原始论文和相关参考资料，基于 Pytorch 分别实现 MixMatch 和 FixMatch半监督图像分类算法， 按照原始论文的设置， MixMatch 和 FixMatch 均使用&lt;strong&gt;WideResNet-28-2&lt;/strong&gt; 作为 Backbone 网络，即深度为 28，扩展因子为 2， 在CIFAR-10 数据集上进行半监督图像分类实验， 报告算法在分别使用 &lt;strong&gt;40, 250,4000&lt;/strong&gt; 张标注数据的情况下的图像分类效果（标注数据随机选取指定数量）&lt;/li&gt;
  &lt;li&gt;使用 TorchSSL[6]中提供的 MixMatch 和 FixMatch 的实现进行半监督训练和测试， 对比自己实现的算法和 TorchSSL 中的实现的效果&lt;/li&gt;
  &lt;li&gt;提交源代码， 不需要包含数据集， 并提交实验报告， 实验报告中应该包含代码的使用方法， 对数据集数据的处理步骤以及算法的主要实现步骤，并分析对比 MixMatch 和 FixMatch 的相同点和不同点&lt;/li&gt;
&lt;/ol&gt;

&lt;blockquote&gt;
  &lt;p&gt;硬性要求  ：&lt;/p&gt;

  &lt;ol&gt;
    &lt;li&gt;鉴于部分同学没有GPU可以使用，统一要求训练的迭代数为20000和batch大小为64，所有报告结果都是基于此设置。&lt;/li&gt;
    &lt;li&gt;报告中必须包含对MixMatch和FixMatch方法的解读（结合代码)&lt;/li&gt;
    &lt;li&gt;上述要求内容全部完成&lt;/li&gt;
  &lt;/ol&gt;

  &lt;p&gt;加分项&lt;/p&gt;

  &lt;ol&gt;
    &lt;li&gt;可以完成GPU环境的配置，并成功用于加速训练（需要CPU,GPU训练时长比较与截图）&lt;/li&gt;
    &lt;li&gt;对方法中的组件进行细致的分析，采取不同超参数对准确率的影响&lt;/li&gt;
  &lt;/ol&gt;
&lt;/blockquote&gt;

&lt;h1 id=&quot;数据处理&quot;&gt;数据处理&lt;/h1&gt;

&lt;p&gt;Mixmatch和Fixmatch中的数据抽取方式如下：&lt;/p&gt;

&lt;p&gt;每个类带标签数据的个数是均衡的，每个类带标签的数据个数 = 带标签数据总个数//类数。所以，使用一个循环（10个类）：对于每一个类，找出它们在总数据（labels）中的数据索引，并用Sampler随机选择label_per_class个数据，它们加入到带标签的数据索引labeled_idx中。对于不带标签的数据，使用了所有的数据（包含带标签的数据），所以它的索引为全部数据的索引。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;sampler_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;RandomSampler&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ds_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;replacement&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_samples&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_iters_per_epoch&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;batch_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;batch_sampler_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;BatchSampler&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sampler_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;batch_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;drop_last&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;load_data_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;L&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dspth&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;./data&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
    加载训练数据集并进行预处理

    参数：
    L (int): 标签数量
    dspth (str): 数据集路径

    返回：
    data_x, label_x, data_u, label_u: 已处理的训练数据和标签
    &quot;&quot;&quot;&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 构建训练数据文件列表
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;datalist&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;osp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;join&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dspth&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&apos;cifar-10-batches-py&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&apos;data_batch_{}&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;format&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[],&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 逐个读取数据文件并加载数据
&lt;/span&gt;    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data_batch&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;datalist&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;open&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_batch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&apos;rb&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fr&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;entry&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pickle&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;load&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fr&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoding&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;latin1&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;entry&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;labels&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&apos;labels&apos;&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;entry&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;entry&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;fine_labels&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;entry&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;data&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;concatenate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;axis&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 合并数据
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;concatenate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;axis&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 合并标签
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;n_labels&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;L&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;//&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 每个类别的标签数量
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;data_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;label_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;label_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[],&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[],&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[],&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 遍历每个类别
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;indices&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;where&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shuffle&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;indices&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 随机打乱索引
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;inds_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;inds_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;indices&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;indices&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;data_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transpose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;inds_x&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;label_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;inds_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;data_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transpose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;inds_u&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;label_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;inds_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;label_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;label_u&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 返回处理后的数据和标签
&lt;/span&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h1 id=&quot;mixmatch&quot;&gt;Mixmatch&lt;/h1&gt;

&lt;blockquote&gt;
  &lt;p&gt;数据集：CIFAR-10 数据集由 10 个类别的 60000 个 32x32 彩色图像组成，每个类别包含 6000 个图像。有 50000 个训练图像和 10000 个测试图像。
数据集下载地址：&lt;a href=&quot;https://www.cs.toronto.edu/~kriz/cifar.html&quot;&gt;CIFAR-10 and CIFAR-100 datasets (toronto.edu)&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;MixMatch抓住了半监督算法的三个重要观点：第一是&lt;strong&gt;熵最小化&lt;/strong&gt;；第二是&lt;strong&gt;一致性正则化&lt;/strong&gt;，第三是&lt;strong&gt;一般正则化&lt;/strong&gt;。结合这三个观点的算法就形成了MixMatch。一般正则化也就是使用L2范数，下面介绍&lt;strong&gt;熵最小化&lt;/strong&gt;和&lt;strong&gt;一致性正则化&lt;/strong&gt;。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;熵最小化&lt;/strong&gt;：&lt;/p&gt;

&lt;p&gt;在许多半监督学习方法中，一个常见的基本假设是分类器的决策边界不应通过边缘数据分布的高密度区域。这句话简单的理解可以想象一个聚类模型，其决策边界一定是在簇与簇之间的稀疏边界上，不可能穿过一个簇的中心（高密度区域）。而实现这一点的一种方法就是要求分类器对未标记数据输出低熵预测。MixMatch中使用一个”sharpening”函数来隐式实现熵最小化。所谓熵最小化、低熵预测，都是指使输出概率分布比较有“偏向性”，而不希望输出一个“平均的预测”。熵在信息论中是不确定度的度量，根据离散模型的熵最大定理，可知在均匀分布时熵取得最大值，换句话说，出现一个确定的分布，即某一类的概率是1，其余类的概率是0时，熵为0。也就是说想要得到熵最小，就得使分类器输出后的模型预测概率集中分配给某一类。后面再介绍“sharpening”函数如何实现这一点。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;一致性正则化&lt;/strong&gt;：
一致性正则化也是一个常见的半监督假设。VAT、MeanTeacher等其实都或多或少使用了这种假设。其核心在于，我们希望一个样本和其加扰版本（通常图像中称为Augment）通过分类器后，得到相似的输出。其实也就是说分类边界不应该穿过数据分布的高密度区域。如下图，红色点是原始样本，蓝色和绿色为其扰动版本，红色同心圆的虚线圆是我们期望的容差范围，即在这个区间类的都应该认为和其中心数据点为同一类。通过扰动数据点的加入，将决策边界推到合适的位置，使分类器的鲁棒性更强。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/391a4b60403d99fb826ff03a3e1bf178.png&quot; alt=&quot;img&quot; style=&quot;zoom: 33%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;MixMatch 还使用了 Mixup，也就是会将图像拼接在一起，例如我们输入一张一半是猫一半是狗的图像（通过叠加图像或将它们并排放置在图像中），并期望模型产生 p(dog)=.5、p(cat)=.5 以及其余类别的概率 0。可以这样理解：MixMatch 是对之前来出现的几种技术的组合和改进。我认为 MixMatch 论文的神奇之处在于他们找到了一种合理的方法来组合使用以上之前已经提出的思想！&lt;/p&gt;

&lt;p&gt;接下来我将先大致说明主要算法流程，然后结合我实现的代码详细分析。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;数据增强&lt;/li&gt;
  &lt;li&gt;标签猜测生成伪标签&lt;/li&gt;
  &lt;li&gt;Mixup&lt;/li&gt;
&lt;/ol&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;mixmatch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Loss_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Loss_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;set_model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;n&quot;&gt;n_iters_per_epoch&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n_imgs_per_epoch&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;//&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;batchsize&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 第一步：对数据进行增强
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;dataloader_train_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dataloader_train_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;LoadAndAugment_Val&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;batchsize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n_iters_per_epoch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;L&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;K&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_guesses&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;root&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_path&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 第二步：标签猜测 + Sharpening
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;lb_guessor&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;GuessAndSharpening&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;temperature&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 第三步：MixUp,将有标签数据和无标签数据进行混合
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;mixuper&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;MixUp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mixup_alpha&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 第四步：论文中参考Mean Teacher的EMA方法，我也模仿论文中的EMA方法，使用EMA方法进行参数更新
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;ema&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;EMA&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ema_alpha&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 创建EMA对象
&lt;/span&gt;    &lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;

&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;第一步数据增强&quot;&gt;第一步：数据增强&lt;/h2&gt;

&lt;p&gt;第一步，正如许多SSL方法中的典型做法一样，对数据进行数据增强(Augment)。分别在有标记数据集$X$和无标记数据集$U$上进行增强，分别记为$\hat{X}=Augument(X)$ 和$ \hat{U} =Augument(U)$。对$X$中每一个数据$x_b$进行一次数据增强，对$U$中每个数据$u_b$进行$K$次数据增强，文章中取$ K=2$。之后还会使用这些单独的增强为每个$u_b$生成一个“猜测标签”$q_b$，但这都是后话了。&lt;/p&gt;

&lt;p&gt;具体到代码上&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 第一步：对数据进行增强
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;dataloader_train_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dataloader_train_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;LoadAndAugment_Val&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;batchsize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n_iters_per_epoch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;L&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;K&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_guesses&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;root&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_path&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;其中对数据进行增强部分如下：&lt;/p&gt;

&lt;p&gt;首先定义数据增强的方法(具体的函数例如&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;RandomHorizontalFlip&lt;/code&gt;可见Fixmatch的数据增强部分)：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;Cifar10Augment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Dataset&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
    CIFAR-10数据集的自定义Dataset类。
    &quot;&quot;&quot;&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n_guesses&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;nb&quot;&gt;super&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Cifar10Augment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_guesses&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n_guesses&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_guesses&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 数据预处理和增强
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.0172&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.0356&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.1069&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.4940&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.4869&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5231&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;# [-1, 1]
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;trans&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Compose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Resize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;PadandRandomCrop&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;border&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cropsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;RandomHorizontalFlip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;p&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Normalize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ToTensor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt;
            &lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;trans&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Compose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Resize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Normalize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ToTensor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt;
            &lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
            
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__getitem__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;idx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lb&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;idx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;idx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 对每个样本进行n_guesses次预处理和增强
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_guesses&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;im_trans&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;trans&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im_trans&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lb&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;之后对$X$中每一个数据$x_b$进行&lt;strong&gt;一次&lt;/strong&gt;数据增强，对$U$中每个数据$u_b$&lt;strong&gt;进行$K$次&lt;/strong&gt; 数据增强&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 创建有标签数据集和无标签数据集
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dataset_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Cifar10Augment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;label_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;n_guesses&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;#有标记只进行一次增强
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;dataset_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Cifar10Augment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;label_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;n_guesses&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;K&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;第二步进行标签猜测生成伪标签&quot;&gt;第二步：进行标签猜测生成伪标签&lt;/h2&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 第二步：标签猜测 + Sharpening
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lb_guessor&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;GuessAndSharpening&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;temperature&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;对于U中每个未标记的示例，MixMatch使用模型的预测为该示例的标签生成一个“猜测”。为此，我们通过$u_b$ 的所有K个增量计算模型的预测类分布的平均值。通过如下公式计算，其中$ (\hat{u_{b,k}},y)$是$ \hat{U} $ 的一个Batch：&lt;/p&gt;

\[\bar{q_b}=\frac{1}{K}\sum_kP_{model}(y|\hat{u_{b,k}};\theta)\]

&lt;p&gt;值得注意的是，$P_{model}(y\mid \hat{u_{b,k}};\theta)$是Softmax之后的预测概率分布。&lt;/p&gt;

&lt;p&gt;具体到代码上即为&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# guess
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;all_probs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 用于存储所有样本的类别概率
&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;# ims (list of torch.Tensor): 输入的图像数据列表
&lt;/span&gt;    &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;use_gpu&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cuda&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将图像数据移动到GPU上
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;logits&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;guessor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 使用模型进行前向传播，得到logits
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;probs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;softmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对logits进行softmax操作，得到预测类别概率
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;all_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将类别概率添加到列表中
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;qb&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;all_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;all_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对所有样本的类别概率进行求和并取平均
&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;之后给定对增幅$q_b$的平均预测，我们应用锐化函数来减少标签分布的熵:&lt;/p&gt;

\[Sharpen(p,T)_i=\frac{p_i^{\frac{1}{T}}}{\sum^L_{j=1}p_j^{\frac{1}{T}}}\]

&lt;p&gt;当超参数$ T\to 0$时，$Sharpen(p,T)$趋向于one-hot分布，即其中一个类别的概率为1，其余概率为0；锐化后的概率分布作为$\hat{U} $的数据伪标签(pseudo label)。&lt;/p&gt;

&lt;p&gt;具体到代码上：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# sharpen
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lbs_tem&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;pow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;qb&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对概率进行温度调节
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs_tem&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lbs_tem&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keepdim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对概率进行归一化，得到伪标签
&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;结合起来得到完整代码如下：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;torch&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 这个标签猜测器通过对无标签样本的预测结果进行温度调节，生成伪标签，用于无监督学习中的训练。
&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;use_gpu&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;False&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 设置是否使用GPU
&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;GuessAndSharpening&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
        初始化标签猜测器
        
        参数：
        - model (torch.nn.Module): 用于进行标签猜测的模型
        - T (float): softmax温度参数
        &quot;&quot;&quot;&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# softmax温度参数
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;guessor&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 用于进行标签猜测的模型
&lt;/span&gt;
    &lt;span class=&quot;o&quot;&gt;@&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;no_grad&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
        进行标签猜测
        
        参数：
        - model (torch.nn.Module): 要进行标签猜测的模型
        - ims (list of torch.Tensor): 输入的图像数据列表
        
        返回：
        - lbs (torch.Tensor): 伪标签，形状为[batch_size, num_classes]
        &quot;&quot;&quot;&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# guess
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;org_state&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;v&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;clone&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;v&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;state_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;items&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 备份模型当前状态
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;guessor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;training&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 记录模型当前是否处于训练状态
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;guessor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将模型设置为训练模式
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;all_probs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 用于存储所有样本的类别概率
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;use_gpu&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cuda&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将图像数据移动到GPU上
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;logits&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;guessor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 使用模型进行前向传播，得到logits
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;probs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;softmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对logits进行softmax操作，得到类别概率
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;all_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将类别概率添加到列表中
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;qb&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;all_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;all_probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对所有样本的类别概率进行求和并取平均
&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# sharpen
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;lbs_tem&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;pow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;qb&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对概率进行温度调节
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs_tem&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lbs_tem&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keepdim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对概率进行归一化，得到伪标签
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;guessor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;load_state_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;org_state&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 恢复模型之前的状态
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;guessor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 如果之前处于训练状态，则重新设置为训练模式
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;guessor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;eval&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 如果之前处于评估状态，则设置为评估模式
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 返回伪标签，使用detach()方法使其与计算图脱离，避免梯度传播
&lt;/span&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;第三步mixup&quot;&gt;第三步：Mixup&lt;/h2&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 第三步：MixUp,将有标签数据和无标签数据进行混合
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mixuper&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;MixUp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mixup_alpha&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;第三步，通过MixUp完成新数据集的构建。先将第一步增强后的$\hat{X} $和$\hat{U} $进行拼接再打乱顺序，得到$W=Shuffle(Concat(\hat{X},\hat{U}))$，然后再将$W$分为两部分，第一部分大小与$\hat{X}$ 相同(也与$X$相同)，记为$ W_x$；第二部分大小与$\hat{U} $相同(也与U UU相同)，记为$W_u$ 。然后将$W_x$和$\hat{X}$ 进行MixUp，$W_u$和$\hat{U}$  进行MixUp，得到$X’$和$ U’$。MixUp步骤如下：&lt;/p&gt;

\[λ ∼ Beta ⁡ ( α , α ) \\
λ ′ = max ⁡ ( λ , 1 − λ ) \\
x ′ = λ ′ x 1 + ( 1 − λ ′ ) x 2 \\
p ′ = λ ′ p 1 + ( 1 − λ ′ ) p 2\]

&lt;p&gt;其中α是超参数，具体到代码上即为&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;torch&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;use_gpu&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;False&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 设置是否使用GPU
&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;MixUp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;alpha&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
        - alpha (float): MixUp参数，控制混合程度
        &quot;&quot;&quot;&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;beta_generator&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;distributions&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;beta&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Beta&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;alpha&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;alpha&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;bs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 获取batch_size
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;use_gpu&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;beta_generator&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sample&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cuda&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 从Beta分布中采样生成混合比例lam
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;beta_generator&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sample&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
            
        &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;where&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;1.&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;1.&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将lam限制在[0.5, 1.0]之间
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;indices&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;randperm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 生成随机排列的索引
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;1.&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;indices&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 进行MixUp操作，线性插值
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;view&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将lam转换成[batch_size, 1]的形状
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;1.&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lam&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;indices&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对标签进行MixUp操作，线性插值
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 返回增强后的图像数据和标签数据，使用detach()方法使其与原数据脱离计算图，避免梯度传播
&lt;/span&gt;

&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;第四步计算半监督损失函数&quot;&gt;第四步：计算半监督损失函数&lt;/h2&gt;

&lt;p&gt;第四步是计算半监督损失函数后反向传播，分为在标记数据集$ X’$上的损失函数$L_x$和在无标记数据集$U’$ 上的损失函数$ L_u$，公式如下：&lt;/p&gt;

\[\mathrm{L_{x}=\frac{1}{|X^{\prime}|}\sum_{x,p\in X^{\prime}}H(p,P_{model}(y|x;\theta))}\\\mathrm{L_{u}=\frac{1}{L|U^{\prime}|}\sum_{u,q\in U^{\prime}}||q-P_{model}(y|u;\theta)||_{2}^{2}}\\\mathrm{L=L_{x}+\lambda_{U} L_{u}}\]

&lt;p&gt;其中$H(\cdot)$是CorssEntropyLoss；$L_u$是MSE Loss，反向梯度传播即可完成整个MixMatch算法。&lt;/p&gt;

&lt;p&gt;具体到代码上即为&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;Loss_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;CrossEntropyLoss&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;to&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 使用交叉熵损失函数
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Loss_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MSELoss&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;to&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# 使用均方误差损失函数
&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;optim&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;zero_grad&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 梯度清零
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 输入模型进行前向传播
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logits&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;batchsize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 获取有标签数据的输出结果
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lbs_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;batchsize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;         &lt;span class=&quot;c1&quot;&gt;# 获取有标签数据的标签
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logits&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;batchsize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:]&lt;/span&gt;   &lt;span class=&quot;c1&quot;&gt;# 获取无标签数据的输出结果
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;preds_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;softmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 对无标签数据进行softmax操作
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lbs_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;batchsize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:]&lt;/span&gt;         &lt;span class=&quot;c1&quot;&gt;# 获取无标签数据的标签
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loss_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Loss_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 计算有标签数据的损失
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loss_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Loss_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;preds_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;   &lt;span class=&quot;c1&quot;&gt;# 计算无标签数据的损失
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lam_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lambda_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lambda_u_once&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;it&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 计算无标签数据的损失权重
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loss&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;loss_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lam_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;loss_u&lt;/span&gt;         &lt;span class=&quot;c1&quot;&gt;# 计算总损失
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loss&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;backward&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;                        &lt;span class=&quot;c1&quot;&gt;# 反向传播
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;optim&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;step&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;                           &lt;span class=&quot;c1&quot;&gt;# 更新模型参数
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;do_weight_decay&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;wd&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;             &lt;span class=&quot;c1&quot;&gt;# 权重衰减
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ema&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;update_params&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;                    &lt;span class=&quot;c1&quot;&gt;# 更新EMA参
&lt;/span&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;ema指数平均&quot;&gt;EMA指数平均&lt;/h2&gt;

&lt;p&gt;虽然论文中算法描述没有具体提到使用EMA，但是Ablation Study消融学习的时候提到using an exponential moving average (EMA) of model parameters when producing guessedlabels, as is done by Mean Teacher [44]&lt;/p&gt;

&lt;p&gt;所以我也参考论文中方法实现了&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;torch&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;torch.distributed&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dist&lt;/span&gt;
&lt;span class=&quot;s&quot;&gt;&apos;&apos;&apos;
这个类实现了指数移动平均（EMA）方法，用于在训练过程中平滑模型参数。
它会记录模型参数的当前状态，并根据衰减率将其更新到影子副本中，
然后在训练过程中使用影子副本来计算损失和梯度，以减少参数更新的方差，从而提高模型的泛化能力。
&apos;&apos;&apos;&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;EMA&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;alpha&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
        初始化EMA对象
        
        参数：
        - model (torch.nn.Module): 要应用EMA的模型
        - alpha (float): EMA的衰减率，控制新旧参数的权重
        &quot;&quot;&quot;&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;step&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 当前训练步数
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 要应用EMA的模型
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;alpha&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;alpha&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# EMA的衰减率
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shadow&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_model_state&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 创建模型参数的影子副本
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;backup&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{}&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 用于备份模型参数的字典
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;param_keys&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;k&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;named_parameters&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()]&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 获取模型参数的键列表
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;buffer_keys&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;k&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;named_buffers&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()]&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 获取模型缓冲区的键列表
&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;update_params&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
        更新EMA的参数
        &quot;&quot;&quot;&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;decay&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;min&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;alpha&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;step&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;step&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 计算衰减因子
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;state&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;state_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 获取模型的当前状态
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;param_keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;c1&quot;&gt;# 使用EMA公式更新参数的影子副本
&lt;/span&gt;            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shadow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;copy_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;decay&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shadow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decay&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;state&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
            &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;step&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 更新步数
&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;update_buffer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
        更新EMA的缓冲区
        &quot;&quot;&quot;&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;state&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;state_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 获取模型的当前状态
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;buffer_keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;c1&quot;&gt;# 使用当前状态更新缓冲区的影子副本
&lt;/span&gt;            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shadow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;copy_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;state&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;apply_shadow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
        将EMA的参数应用到模型中
        &quot;&quot;&quot;&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;backup&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_model_state&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 备份模型当前的参数状态
&lt;/span&gt;        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;load_state_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shadow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将EMA的影子副本加载到模型中
&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;restore&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
        恢复模型参数为备份状态
        &quot;&quot;&quot;&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;load_state_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;backup&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 将模型的参数恢复为备份状态
&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;get_model_state&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
        获取模型当前状态的副本
        &quot;&quot;&quot;&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;v&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;clone&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 使用clone()方法创建参数的副本，并使用detach()方法使其与计算图脱离，避免梯度传播
&lt;/span&gt;            &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;v&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;state_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;items&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 遍历模型参数的字典，并创建副本
&lt;/span&gt;        &lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;

&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;实验结果&quot;&gt;实验结果&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;所有运行的log文件都在附录文件中&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;为了节约计算资源，对于CPU版本只给出训练一个epoch的时间(1个epoch是1000个iteration)，根据一个epoch的时间即可大致推断出完整训练20000个iteration的时间。&lt;/p&gt;

&lt;h3 id=&quot;训练时间&quot;&gt;训练时间&lt;/h3&gt;

&lt;h4 id=&quot;cpu&quot;&gt;CPU&lt;/h4&gt;

&lt;p&gt;CPU计算时间：大约2210s一个epoch，训练完20000个iteration(20个epoch)大约需要44200秒=736.6667分钟=12.2778小时:cry:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240609164348473.png&quot; alt=&quot;image-20240609164348473&quot; /&gt;&lt;/p&gt;

&lt;h4 id=&quot;gpu&quot;&gt;GPU&lt;/h4&gt;

&lt;p&gt;GPU计算时间：大约125s一个epoch，训练完20000个iteration(20个epoch)大约需要2500秒=41.6667分钟，相比CPU计算节约了1750%的时间。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240609164506835.png&quot; alt=&quot;image-20240609164506835&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;torchssl&quot;&gt;TorchSSL&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;python mixmatch.py –c config/mixmatch/mixmatch_cifar10_250_0.yaml&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;使用TorchSSL，直接使用给出的默认参数，得到结果如下：&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;标注数据数量为40时&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240609165228099.png&quot; alt=&quot;image-20240609165228099&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;标注数据数量为250时&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240610154454086.png&quot; alt=&quot;image-20240610154454086&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;标注数据数量为4000时&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240610154517905.png&quot; alt=&quot;image-20240610154517905&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;超参数调整&quot;&gt;超参数调整&lt;/h3&gt;

&lt;p&gt;文中发现 $\alpha = 0.75$ 和 $ \lambda_{\mathcal{U}}=100$是调整的良好起点。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;截取TorchSSL中参数设置&lt;/p&gt;

  &lt;p&gt;mixup_alpha(ulb_loss_ratio) : 0.5&lt;/p&gt;

  &lt;p&gt;weight_decay: 0.0005&lt;/p&gt;

  &lt;p&gt;lr: 0.03&lt;/p&gt;

  &lt;p&gt;temperature(T) : 0.5&lt;/p&gt;

  &lt;p&gt;lam_u(ulb_loss_ratio) : 100&lt;/p&gt;

  &lt;p&gt;优化器：SGD&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;如果我的模型的超参数设置为和TorchSSL一样，那么训练20000iteration时结果与TorchSSL中基本一致，调节之后超参数的结果要优于TorchSSL。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;超参数调节&lt;/p&gt;

  &lt;p&gt;mixup_alpha = 0.75&lt;/p&gt;

  &lt;p&gt;weight_decay = 0.02&lt;/p&gt;

  &lt;p&gt;lr = 0.002&lt;/p&gt;

  &lt;p&gt;temperature = 0.5&lt;/p&gt;

  &lt;p&gt;lam_u = 75 #无标签数据的损失权重&lt;/p&gt;

  &lt;p&gt;优化器：Adam&lt;/p&gt;

  &lt;p&gt;kaiming初始化，且a=0.1时效果远远好于a=0时情况，a=0.1时在第一个epoch就可以达到a=0时8个epoch的情况，且第3个epoch时就可以达到a=0时第18个epoch的情况&lt;/p&gt;

  &lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;nn.init.kaiming_normal_(md.weight, a=0.1, mode=&apos;fan_in&apos;, nonlinearity=&apos;leaky_relu&apos;)
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;  &lt;/div&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;最终结果&quot;&gt;最终结果&lt;/h3&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;版本/标注数据数量&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;40&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;250&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;4000&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;我的实现(与Torch超参一致)&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.3379&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.6702&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.8521&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;我的实现&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.3998&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.7360&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.8780&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;TorchSSL&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.3159&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.6891&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.8817&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;之后为了探究我的实现能达到的精度，在标注数据数量为40时进行了探究，参考精度是$63.81\pm6.48$。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;我用自己实现的版本训练了100个epoch（100 000个iteration），在第53个epoch(53 000个iteration)就达到了0.5833的精度，最终在第70个epoch达到了最高的0.6539(尝试了3次取平均)&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;与之对比的是TorchSSL在标注数据数量为40时，在100 000个iteration时准确率为0.5779，最终在&lt;strong&gt;705 000&lt;/strong&gt;个iteration时达到了最高的&lt;strong&gt;0.7&lt;/strong&gt;。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;可以看到我实现的mixmatch是可以达到论文中描述的精度的。&lt;/p&gt;

&lt;h1 id=&quot;fixmatch&quot;&gt;Fixmatch&lt;/h1&gt;

&lt;p&gt;FixMatch 是 SSL 两种方法的组合: 一致性正则化和伪标签。它的新颖之处在于这两种方法的组合以及在执行一致性正则化时使用单独的弱增强和强增强。一致性正则化就如MixMatch中描述那样。&lt;/p&gt;

&lt;p&gt;伪标记（pseudo label）是一种常用的半监督算法。代表算法是self-training。简单地说就是通过训练的模型对无标记样本打标签，这个标签有对有错，通过一些方法筛选标签后，选择一部分无标记样本和模型打的标签一起送入模型继续训练。伪标记的方法最大问题在于，如何保证伪标记的正确性。因为当模型打的标签提供了较多的错误信息时，会使模型的训练结果更劣。一般常见的筛选方式是将模型输出的预测结果(Softmax之后)进行阈值判断，其argmax的概率大于阈值，才认为是有效标记，否则将此无标记样本丢弃。&lt;/p&gt;

&lt;p&gt;FixMatch算法并不复杂，由其论文中的流程图就可以很好的理解：将弱增强图像输入模型, 当某一预测类别概率高于阈值(虚线)时，预测将转换为 one-hot 伪标签。 然后，计算模型对同一图像的强增强的预测。计算强增强的预测与伪标签之间的交叉熵损失。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2cFVwMDlueE05ZnYwYmw2Z3hmVTd1ZFBjWjdyN3ZkUEhVZldja1l1d2pGWEQzeUxPUmlieFhFcm9uUnM2SVVqZ09BWHhPMG0zd01kdVEvNjQw?x-oss-process=image/format,png&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;p&gt;简单而言，Fixmatch的流程可以分为以下五步：&lt;/p&gt;

&lt;p&gt;1)计算有标记数据集上的交叉熵损失 $L_s$&lt;/p&gt;

&lt;p&gt;2)对无标签样本进行数据增强，增强分为强增强和弱增强。&lt;/p&gt;

&lt;p&gt;3)对每一个 $ \mu B$batch, 计算弱增强无标签数据集上的预测分布及伪标签 $q_b$, $\hat{q}_b$&lt;/p&gt;

&lt;p&gt;4)计算无标签数据交叉熵损失 $ L_u$&lt;/p&gt;

&lt;p&gt;5)得到目标函数总损失 $L_s+\lambda L_u$&lt;/p&gt;

&lt;p&gt;接下来我将结合代码具体描述每一个步骤。&lt;/p&gt;

&lt;h2 id=&quot;第一步有标记样本训练&quot;&gt;第一步：有标记样本训练&lt;/h2&gt;

&lt;p&gt;对于&lt;strong&gt;有标记样本&lt;/strong&gt;，进行正常的监督学习，损失函数为CrossEntropyLoss，得到$L_s$&lt;/p&gt;

\[L_\mathrm{s} = \frac{1}{\mathrm{B}} \sum_{\mathrm{b}=1}^\mathrm{B} \mathrm{B}(\mathrm{p}_\mathrm{b} ,\mathrm{p}_\mathrm{m} (\mathrm{y} |\alpha(\mathrm{x}_\mathrm{b} )))\]

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;logits_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logits_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logits_x_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logits_x_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:]&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;lbs_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;long&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;loss_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Loss_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 计算有标签数据的损失
&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;...&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;第二步-数据增强&quot;&gt;第二步 数据增强&lt;/h2&gt;

&lt;p&gt;对于&lt;strong&gt;无标记样本&lt;/strong&gt;，参照上图，共四步。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;第一步&lt;/strong&gt;，先对无标记样本进行增强(Augment)，增强分为强增强和弱增强。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;弱增强&lt;/strong&gt;是一种标准的翻转和移位增强策略。 例如在数据集上以 50% 的概率随机水平翻转图像, 并且在垂直和水平方向上随机平移。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;这里的弱增强代码与mixmatch中一致，直接复用&lt;/p&gt;
&lt;/blockquote&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;PadandRandomCrop&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;&apos;&apos;
    将输入张量期望为形状为(H, W, 3)
    &apos;&apos;&apos;&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;border&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cropsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)):&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;border&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;border&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cropsize&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cropsize&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 添加边界
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;borders&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;border&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;border&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;border&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;border&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;canvas&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pad&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;borders&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mode&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;reflect&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;H&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;W&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;C&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;canvas&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;h&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;w&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cropsize&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 计算裁剪范围
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;dh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dw&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;max&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;H&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;h&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;max&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;W&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;w&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;sh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sw&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;randint&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;randint&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dw&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 随机裁剪
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;out&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;canvas&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sh&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;h&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sw&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sw&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;w&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;:]&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;RandomHorizontalFlip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;p&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;p&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;p&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 随机水平翻转
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rand&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;lt;&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;p&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;:]&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;Resize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 调整大小
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;resize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;Normalize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;&apos;&apos;
    输入为像素值范围在[0, 255]之间，通道顺序为&apos;rgb&apos;
    &apos;&apos;&apos;&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;array&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;float32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;std&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;array&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;float32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;...],&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;...]&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;elif&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 将像素值归一化到[0, 1]
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;astype&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;float32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;255.&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 像素值标准化
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;ToTensor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;pass&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;c1&quot;&gt;# 将NumPy数组转换为张量并转置通道
&lt;/span&gt;            &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;from_numpy&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transpose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;elif&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;c1&quot;&gt;# 将NumPy数组转换为张量并转置通道
&lt;/span&gt;            &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;from_numpy&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transpose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;


&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;Compose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ops&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ops&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ops&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 应用所有操作
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;op&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ops&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;op&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;对于&lt;strong&gt;强增强&lt;/strong&gt;, 文中尝试了两种基于 AutoAugment 的方法, 然后是 Cutout。AutoAugment 使用强化学习来查找包含来自 Python Imaging Library 的转换的增强策略。这需要标记数据来学习增强策略，这使得在可用标记数据有限的 SSL 设置中使用存在问题。因此, 使用不需要利用标记数据学习增强策略的 AutoAugment 变体，例如 RandAugment 和 CTAugment。RandAugment 和 CTAugment 都没有使用学习策略，而是为每个样本随机选择转换。 对于 RandAugment， 控制所有失真严重程度的幅度是从预定义的范围内随机采样的。具有随机幅度的 RandAugment 也被用于 UDA。而对于 CTAugment，单个变换的幅度是即时学习的。&lt;/p&gt;

&lt;h3 id=&quot;cutout&quot;&gt;Cutout&lt;/h3&gt;

&lt;p&gt;这种增强会随机删除图像的正方形部分，并用灰色或黑色填充。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9LWVNEVG1PVlp2cFVwMDlueE05ZnYwYmw2Z3hmVTd1ZGRPWTNjWmNUakd1T3NVRmdIZDhvTWFyTkNKcVFwaWJkVUJLNWljeXlhaWNxVVdZaWJmbU1XQkM1YkEvNjQw?x-oss-process=image/format,png&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;p&gt;PyTorch没有内置的Cutout函数，于是我实现代码如下：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;cutout_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;img&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;replace&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;replace&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;array&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;replace&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dtype&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;uint8&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;H&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;W&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;img&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;img&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;rh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rw&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;pad_size&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad_size&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;//&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cw&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;int&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rh&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;H&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;int&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rw&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;W&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;x1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;x2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;max&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ch&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;min&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ch&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;H&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;y1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;max&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cw&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;min&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cw&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;W&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;out&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;img&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;copy&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;out&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;:]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;replace&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;randaugment&quot;&gt;RandAugment&lt;/h3&gt;

&lt;p&gt;Random Augmentation(RandAugment) 思想是非常简单的。首先，有一个14种可能的增强的列表，以及一系列可能的幅度。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 图像增强函数字典
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;func_dict&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Identity&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;identity_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;AutoContrast&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;autocontrast_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Equalize&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;equalize_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Rotate&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rotate_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Solarize&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;solarize_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Color&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;color_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Contrast&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;contrast_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Brightness&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;brightness_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Sharpness&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sharpness_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;ShearX&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;shear_x_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;TranslateX&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;translate_x_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;TranslateY&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;translate_y_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Posterize&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;posterize_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;ShearY&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;shear_y_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 默认参数字典
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;translate_const&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;replace_value&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;128&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;128&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;128&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;arg_dict&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Identity&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;none_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;AutoContrast&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;none_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Equalize&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;none_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Rotate&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rotate_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;replace_value&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Solarize&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;solarize_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Color&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;enhance_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Contrast&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;enhance_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Brightness&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;enhance_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Sharpness&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;enhance_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;ShearX&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;shear_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;replace_value&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;TranslateX&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;translate_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;translate_const&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;replace_value&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;TranslateY&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;translate_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;translate_const&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;replace_value&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;Posterize&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;posterize_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&apos;ShearY&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;shear_level_to_args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MAX_LEVEL&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;replace_value&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;然后从这个列表里随机选出N个增强和选择一个随机的幅度M，从1到10。这里我们从列表里选出两种，选择一个幅度10，这意味着以百分比表示的幅度为100％(&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;RandomAugment(2, 10)&lt;/code&gt;)。&lt;/p&gt;

&lt;p&gt;最后，将所选的增强应用于序列中的图像。每种增强都有100％的可能性被应用。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;RandomAugment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;N&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;M&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;N&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;N&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;M&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;M&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 随机选择N个增强操作
&lt;/span&gt;    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;get_random_ops&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;sampled_ops&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;choice&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;list&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;func_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keys&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()),&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;N&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;op&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;M&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;op&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sampled_ops&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;img&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;ops&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_random_ops&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;prob&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;level&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ops&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;prob&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;continue&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;args&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;arg_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;](&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;level&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;img&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;func_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;](&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;img&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;args&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;img&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cutout_func&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;img&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;16&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;replace_value&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;img&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;最终弱增强和强增强代码封装如下&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;Cifar10Augment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Dataset&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
    自定义CIFAR-10数据集类
    &quot;&quot;&quot;&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;nb&quot;&gt;super&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Cifar10Augment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 确保数据和标签数量相等
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.4914&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.4822&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.4465&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.2471&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.2435&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.2616&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;#  mean, std = (-0.0172, -0.0356, -0.1069), (0.4940, 0.4869, 0.5231) # [-1, 1]
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;trans_weak&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Compose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Resize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;PadandRandomCrop&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;border&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cropsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;RandomHorizontalFlip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;p&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Normalize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ToTensor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt;
            &lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;trans_strong&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Compose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Resize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;PadandRandomCrop&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;border&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cropsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;RandomHorizontalFlip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;p&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;RandomAugment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;# 强增强
&lt;/span&gt;                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Normalize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ToTensor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt;
            &lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;trans&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Compose&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Resize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Normalize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;std&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ToTensor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt;
            &lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;第三步对弱增强样本预测生成伪标签&quot;&gt;第三步：对弱增强样本预测生成伪标签&lt;/h2&gt;

&lt;p&gt;&lt;strong&gt;第二步&lt;/strong&gt;，对增强后的样本进行预测。对于&lt;strong&gt;弱增强&lt;/strong&gt;的样本，输出的预测结果(Softmax之后的)最高预测概率(即argmax的结果)大于阈值(图中的虚线)，则认为是有效的样本，将其预测结果转换为one-hot编码作为标签（这就是pseudo label）。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;lbs_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;valid_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lb_guessor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims_u_weak&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 使用LabelGuessor预测未标记数据的标签
&lt;/span&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2cFVwMDlueE05ZnYwYmw2Z3hmVTd1ZE9vcFdHWjE3R2liYUdIVGlheUJERENGTzlzQWZXYUhBQ2t3ZFlPckgwRko3aWJpYlpITXlLVlR6WncvNjQw?x-oss-process=image/format,png&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;torch&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;LabelGuessor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;object&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;thresh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;thresh&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;thresh&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 设置阈值，用于筛选高置信度的标签
&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__call__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 备份模型的当前状态
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;org_state&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;v&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;clone&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;v&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;state_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;items&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 记录模型当前的训练模式（训练或评估）
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;training&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;no_grad&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 禁用梯度计算
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 切换模型到训练模式，以确保BatchNorm和Dropout层的行为一致
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;all_probs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 初始化一个空列表，用于存储所有的概率
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;logits&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ims&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 前向传播，计算模型的输出
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;probs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;softmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 计算每个类别的概率
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;max&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;probs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 获取每个样本的最高概率和对应的标签
&lt;/span&gt;            
            &lt;span class=&quot;n&quot;&gt;idx&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;scores&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;thresh&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 根据阈值筛选高置信度的样本
&lt;/span&gt;            &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;idx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 仅保留高置信度样本的标签
&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 恢复模型的原始状态
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;load_state_dict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;org_state&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;is_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 恢复训练模式
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;eval&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 恢复评估模式
&lt;/span&gt;        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;detach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;idx&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 返回高置信度样本的标签和索引
&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;第四步对强增强样本计算交叉熵损失一致性正则化&quot;&gt;第四步：对强增强样本计算交叉熵损失(一致性正则化)&lt;/h2&gt;

&lt;p&gt;&lt;strong&gt;第三步&lt;/strong&gt;：对&lt;strong&gt;强增强&lt;/strong&gt;的样本，输出的预测结果和对应&lt;strong&gt;弱标记样本&lt;/strong&gt;得到的&lt;strong&gt;伪标签&lt;/strong&gt;做CrossEntropyLoss，得到损失函数$ L_u$ 其公式表达为：&lt;/p&gt;

\[L_u=\frac{1}{\mu B}\sum^{\mu B}_{b=1}\mathcal(max(q_b)\geq \tau )H(\hat{q_b},p_m(y|\mathcal{A}(u_b))) \\\]

&lt;p&gt;$p_m(y∣x) $为预测类别分布，$\tau$为阈值，鼓励模型的预测是对未标记数据的低熵，或者说是高置信度。μ是一个超参数，它决定批中未标注图像的相对大小，μ=2意味着我们使用的未标注图像数量是标注图像的两倍。我取得是μ=7。&lt;/p&gt;

&lt;table&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;结合第三第四步，也就是选择$max(q_b)\geq \tau$的$H(\hat{q_b},p_m(y&lt;/td&gt;
      &lt;td&gt;\mathcal{A}(u_b)))$作为$L_u$ 的组成成分，参与反向梯度传播更新。&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;&lt;img src=&quot;https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2cFVwMDlueE05ZnYwYmw2Z3hmVTd1ZGxNcTJPUUVWMnR1blMzdVBMZmJ5bmd2YmViU043b29BTWlhU2NSRW9Ob0tDaWI3Zzg2dXhpYnVpYlEvNjQw?x-oss-process=image/format,png&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;logits_x_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;model&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ims_x_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;logits_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logits_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logits_x_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;logits_x_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:]&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;lbs_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;long&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;loss_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Loss_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 计算有标签数据的损失
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loss_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Loss_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;logits_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lbs_u&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 计算无标签数据的损失
&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;第五步最终损失函数&quot;&gt;第五步：最终损失函数&lt;/h2&gt;

&lt;p&gt;在前面已经使用交叉熵损失在&lt;strong&gt;标注的图像&lt;/strong&gt;上训练了监督模型。对于每个&lt;strong&gt;未标注的图像&lt;/strong&gt;，使用弱增强和强增强获得两个图像。弱增强图像被传递到我们的模型中，我们得到了关于类的预测。将最有信心的类别的概率与阈值进行比较。如果它高于阈值，那么我们将该类作为ground truth的标签，即&lt;strong&gt;伪标签&lt;/strong&gt;。然后，将经过强增强的图像传递到我们的模型中，获取类别的预测。使用交叉熵损失将此概率分布与ground truth伪标签进行比较。两种损失组合起来进行模型的更新。所以最终损失函数为$Loss = L_s+\lambda L_u$，$\lambda$是超参数。对Loss反向梯度传播完成整个算法模型更新。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;loss&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;loss_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lambda_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;loss_u&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 总损失
&lt;/span&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;实验结果-1&quot;&gt;实验结果&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;所有运行的log文件都在附录文件中&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;训练时间-1&quot;&gt;训练时间&lt;/h3&gt;

&lt;h4 id=&quot;cpu-1&quot;&gt;CPU&lt;/h4&gt;

&lt;p&gt;CPU计算时间：大约4200s一个epoch，训练完20000个iteration(20个epoch)大约需要84 000秒= 1400分钟= 23.34小时:cry:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240611162210871.png&quot; alt=&quot;image-20240611162210871&quot; /&gt;&lt;/p&gt;

&lt;h4 id=&quot;gpu-1&quot;&gt;GPU&lt;/h4&gt;

&lt;p&gt;GPU计算时间：大约400秒一个epoch，训练完20000个iteration(20个epoch)大约需要8000秒=133.34分钟=2.22小时，相比CPU计算节约了1050%的时间。与mixmatch相比时间增加了320%。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240610152921907.png&quot; alt=&quot;image-20240610152921907&quot; /&gt;&lt;/p&gt;

&lt;h4 id=&quot;torch&quot;&gt;Torch&lt;/h4&gt;

&lt;blockquote&gt;
  &lt;p&gt;python fixmatch.py –c config/fixmatch/fixmatch_cifar10_40_0.yaml&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;strong&gt;标注数据数量为40时：&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240610154738952.png&quot; alt=&quot;image-20240610154738952&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;标注数据数量为250时：&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240610154812321.png&quot; alt=&quot;image-20240610154812321&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;标注数据数量为4000时：&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW3/image-20240610154829706.png&quot; alt=&quot;image-20240610154829706&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;超参数调整-1&quot;&gt;超参数调整&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;Fixmatch论文发现使用 Adam 优化器会导致更差的性能, 而使用 SGD 则没有这种情况, 另外, 使用 SGD 和使用 Nesterov 之间没有存在实质性差异。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;TorchSSL中超参数，括号中是在TorchSSL中命名&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;mu(uratio) = 7&lt;/p&gt;

  &lt;p&gt;lam_u(ulb_loss_ratio) = 1.0 # 无标签数据的损失权重&lt;/p&gt;

  &lt;p&gt;ema_alpha(ema_m) = 0.999 # EMA参数的衰减率&lt;/p&gt;

  &lt;p&gt;lr = 0.03&lt;/p&gt;

  &lt;p&gt;weight_decay = 5e-4&lt;/p&gt;

  &lt;p&gt;momentum = 0.9&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;我的（经过多番尝试发现修改超参数和TorchSSL一样时性能最好，使用&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;kaiming_normal_&lt;/code&gt;时选&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fan_in&lt;/code&gt;比&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fan_out&lt;/code&gt;好很多，a=0比a=0.1）&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;mu = 7 # μ=2意味着我们使用的未标注图像数量是标注图像的两倍&lt;/p&gt;

  &lt;p&gt;lam_u = 1.0 # 无标签数据的损失权重&lt;/p&gt;

  &lt;p&gt;ema_alpha = 0.999 # EMA参数的衰减率&lt;/p&gt;

  &lt;p&gt;lr = 0.03&lt;/p&gt;

  &lt;p&gt;weight_decay = 5e-4&lt;/p&gt;

  &lt;p&gt;momentum = 0.9&lt;/p&gt;

  &lt;p&gt;初始化方式发现下面这个比较好：&lt;/p&gt;

  &lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;init&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;kaiming_normal_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;child&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;weight&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;a&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mode&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;fan_in&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nonlinearity&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;leaky_relu&apos;&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;  &lt;/div&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;最终结果-1&quot;&gt;最终结果&lt;/h2&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;版本/标注数据数量&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;40&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;250&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;4000&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;我的实现&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.5011&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.7357&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.8939&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;TorchSSL&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.4497&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.8596&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0.9053&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;由于Fixmatch训练时间比较久，就不像Mixmatch一样探究&lt;strong&gt;最终&lt;/strong&gt;性能了。（而且发现了标注数据数量大的时候训练时间反而小，不知道是不是因为设备的原因）&lt;/p&gt;

&lt;h1 id=&quot;mixmatch-和-fixmatch-的相同点和不同点&quot;&gt;MixMatch 和 FixMatch 的相同点和不同点&lt;/h1&gt;

&lt;p&gt;MixMatch 和 FixMatch 都是半监督学习（SSL）领域的算法，旨在利用少量标记数据和大量未标记数据来训练模型。下面是对这两种算法的相同点和不同点的分析：&lt;/p&gt;

&lt;h2 id=&quot;相同点&quot;&gt;相同点：&lt;/h2&gt;
&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;半监督学习目标&lt;/strong&gt;：两者都旨在解决半监督学习问题，即在有限的标记数据情况下提高模型性能。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;数据增强&lt;/strong&gt;：两种方法都使用了数据增强技术来增加数据的多样性，帮助模型学习更鲁棒的特征表示。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;伪标签&lt;/strong&gt;：MixMatch 和 FixMatch 都利用了伪标签的概念，即用模型自身的预测结果作为未标记数据的标签，并以此进行训练。&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;不同点&quot;&gt;不同点：&lt;/h2&gt;
&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;标签生成策略&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;MixMatch&lt;/strong&gt;：通过对未标记数据进行多次数据增强，然后取模型预测的均值，并使用一个“&lt;strong&gt;锐化&lt;/strong&gt;”函数来生成低熵的伪标签。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;FixMatch&lt;/strong&gt;：使用弱增强和强增强的数据样本，只有当弱增强样本的预测概率超过某个阈值时，才会生成伪标签。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;损失函数设计&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;MixMatch&lt;/strong&gt;：结合了交叉熵损失和MSE损失，对标记数据和未标记数据分别计算损失，并将它们结合起来。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;FixMatch&lt;/strong&gt;：使用了交叉熵损失，对未标记数据的损失计算中加入了一个掩码，只更新那些预测概率超过阈值的样本。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;一致性正则化&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;MixMatch&lt;/strong&gt;：通过MixUp技术，将标记和未标记数据混合，增强模型的泛化能力。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;FixMatch&lt;/strong&gt;：虽然也强调了一致性正则化的重要性，但在具体实现上与MixMatch有所不同，见Fixmatch的第四步&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;算法流程&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;MixMatch&lt;/strong&gt;：算法流程包括数据增强、标签猜测、MixUp混合以及损失函数的计算。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;FixMatch&lt;/strong&gt;：算法流程则更侧重于伪标签的生成和筛选，以及强、弱增强样本的损失计算。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;实现复杂度&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;MixMatch&lt;/strong&gt;：实现相对复杂，涉及到多次数据增强、锐化函数和MixUp操作。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;FixMatch&lt;/strong&gt;：实现相对简化，重点在于伪标签的生成和筛选过程。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;超参数&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;MixMatch&lt;/strong&gt;：有多个超参数，如MixUp中的Beta分布参数、锐化温度等。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;FixMatch&lt;/strong&gt;：主要的超参数是伪标签生成的阈值和用于未标记样本损失的权重。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;性能和效率&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;MixMatch&lt;/strong&gt;：在多个数据集上取得了很好的性能，特别是在标记数据非常有限的情况下，且训练速度快(约120秒训练1000个iteration)。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;FixMatch&lt;/strong&gt;：效果要优于Mixmatch，但是训练时间要更长，约380秒训练1000个iteration。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&quot;如何运行代码&quot;&gt;如何运行代码&lt;/h1&gt;

&lt;p&gt;配置好Pytorch环境后，修改下面超参数后运行&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fixmatch.py&lt;/code&gt;或者&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;mixmatch.py&lt;/code&gt;即可，主要修改的是&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;data_path&lt;/code&gt;和&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;use_gpu&lt;/code&gt;&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 超参数设置
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wresnet_k&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;wresnet_n&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;28&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;n_classes&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;n_labeled&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;250&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;n_epoches&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;20&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;batchsize&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;64&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;mu&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;7&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;thr&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.95&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;n_imgs_per_epoch&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;64&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1000&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;lam_u&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ema_alpha&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.999&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;lr&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.03&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;weight_decay&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;5e-4&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;momentum&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.9&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;seed&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;sample_interval&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;500&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 每500个迭代输出一次训练信息
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_path&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&apos;../../Mixmatch/data&apos;&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# 全局设置
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;use_gpu&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;device&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;torch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;device&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;cuda&apos;&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;use_gpu&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;else&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&apos;cpu&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 设置设备为GPU或CPU
&lt;/span&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h1 id=&quot;实验感想&quot;&gt;实验感想&lt;/h1&gt;

&lt;p&gt;本次实验我复现了MixMatch和FixMatch算法，过程充满了挑战和收获。以下是我对本次实验的一些详细感想和总结。&lt;/p&gt;

&lt;p&gt;首先，这次实验的难度确实不小，从开始搭建基本结构到最终完成实验，我花费了整整一周时间。MixMatch和FixMatch作为半监督学习的代表算法，它们的实现涉及多个复杂的步骤，包括数据增强、伪标签生成以及损失函数的设计等。刚开始的时候，我对这些步骤的理解还不够深入，因此在代码实现上遇到了不少困难。&lt;/p&gt;

&lt;p&gt;在搭建好基本结构之后，调参过程也颇为漫长。半监督学习算法对超参数比较敏感，如学习率、损失权重等都需要细致调整。每次参数调整都需要大量的实验验证，而实验结果的波动性也使得调参过程变得更加复杂。为了得到较好的实验结果，我尝试了多种不同的参数组合，并花费了大量时间进行验证和比较，最终才得到了相对满意的结果。&lt;/p&gt;

&lt;p&gt;在实验期间，我还阅读了期末作业中关于开放词汇检测的相关论文，发现其与MixMatch和FixMatch有着异曲同工之妙。开放词汇识别旨在识别或分类训练集中未出现过的类别，这通常需要模型具备强大的泛化能力。在这一领域，伪标签技术同样扮演着关键角色，通过模型初步预测为未标记数据分配临时标签，再将这些数据融入训练过程中，以此迭代优化模型。这种自我训练或迭代增强的方法与MixMatch和FixMatch的核心思想不谋而合，都体现了半监督学习在资源有限情况下的强大适应性和学习能力。通过对比这些方法，我进一步加深了对半监督学习技术的理解。&lt;/p&gt;

&lt;p&gt;MixMatch和FixMatch算法的创新之处在于它们如何生成和利用伪标签。例如，FixMatch通过使用强增强和弱增强的样本来生成更可靠的伪标签，而MixMatch则通过MixUp技术来增强模型对未标记数据的泛化能力。这种方法不仅在理论上具有创新性，在实际应用中也展现出了强大的效果。特别是FixMatch，其通过更加简单有效的方式生成伪标签，并在数据增强策略上进行了改进，使得模型在半监督学习任务中的表现更加优越。&lt;/p&gt;

&lt;p&gt;总的来说，这次实验让我对半监督学习有了更深刻的认识。从理论学习到实践操作，每一个环节都让我受益匪浅。尽管实验过程中遇到了诸多困难，但正是这些困难促使我不断学习和思考，最终克服了挑战，完成了实验。通过这次实验，我不仅掌握了MixMatch和FixMatch的实现方法，还体会到了科学研究中坚持与探索的重要性。这将对我今后的学习和研究工作带来积极的影响。&lt;/p&gt;

</description>
        <pubDate>Tue, 18 Jun 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/06/18/HW3-mixmatch-fixmatch/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/06/18/HW3-mixmatch-fixmatch/</guid>
        
        <category>AI</category>
        
        <category>PatternRecognition</category>
        
        <category>NOTES</category>
        
        <category>Project</category>
        
        
      </item>
    
      <item>
        <title>VLSI作业及知识点复习</title>
        <description>&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;del&gt;Q5：标注工作状态，要标出横轴纵轴坐标点吗？&lt;/del&gt;&lt;/p&gt;

    &lt;p&gt;A：助教回复：不用，这种题只是提醒大家回去看课件&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;del&gt;Q7：晶体管的尺寸比例?&lt;/del&gt;&lt;/p&gt;

    &lt;p&gt;Answer：β = 2&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;del&gt;Q8(c)：疑问：PPT中$C_{d0}$对应这里的什么&lt;/del&gt;&lt;/p&gt;

    &lt;p&gt;A:$C_{d0}$是单位晶体管的电容，所以题目中标准反相器的$C_{par0}=3C_{d0}$&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;Q19：如何判断电路逻辑(如果不是互补的话)and如何判断是不是静态&lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;Q20(b)&lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;del&gt;PPT4.2-P12的$C_{GD}$是什么&lt;/del&gt;&lt;/p&gt;

    &lt;p&gt;A:接地电容&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;del&gt;PPT5.2-P7&amp;amp;P9的电容的计算&lt;/del&gt;&lt;/p&gt;

    &lt;p&gt;A:分为$C_{in}$和$C_{par}$，前者只跟输入有关，后者只跟直接连接的有关&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;del&gt;PPT5.2P12：为什么电容分为Cpar和CL，为什么只有后一个的R变为R/S&lt;/del&gt;&lt;/p&gt;

    &lt;p&gt;可见PPT6.1-P5的解释&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;del&gt;PPT6.1-P10：如何计算出的Cpar = 12 Cpar0&lt;/del&gt;&lt;/p&gt;

    &lt;p&gt;A:见7的解释，懂了$C_{par}$的计算也就懂了&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;PPT6.1-P11.改变size是什么意思&lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;del&gt;PPT6.2-P14页电容的计算&lt;/del&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;del&gt;Q：是不是PUN和PDN中的等效电阻都为R0，所以计算tp的时候电阻就是R0了？&lt;/del&gt;&lt;/p&gt;

    &lt;p&gt;A：我理解了一下应该是标准反相器是这样的，但是如果size不是的话就要根据size来看（可以看一下PPT6.1-P12的例子）&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;还没做&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;19：Q19：如何判断电路逻辑(如果不是互补的话)and如何判断是不是静态&lt;/p&gt;

&lt;/blockquote&gt;

&lt;h1 id=&quot;一-集成电路简介&quot;&gt;一、 集成电路简介&lt;/h1&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;请写出布尔函数 𝐹(𝑥, 𝑦, 𝑧) = $𝑥𝑦 + \overline z$ 的真值表&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;请结合以下真值表回答问题：&lt;/p&gt;

    &lt;p&gt;a) 请写出能够表示布尔函数 𝐹(𝑥, 𝑦, 𝑧) 的表达式（可尝试使用 SOP (Sum Of Products) 的表达  ）。&lt;/p&gt;

    &lt;p&gt;b) 请写出能够表示布尔函数 𝐺(𝑥, 𝑦, 𝑧) 的表达式。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;请写出以下电路中，输出 F 的逻辑表达式：&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/123.jpg&quot; alt=&quot;123&quot; style=&quot;zoom: 67%;&quot; /&gt;&lt;/p&gt;

&lt;h1 id=&quot;二mosfet-工作原理&quot;&gt;二、MOSFET 工作原理&lt;/h1&gt;

&lt;h2 id=&quot;题目4&quot;&gt;题目4&lt;/h2&gt;

&lt;p&gt;4、请回答下列问题：&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;此类型题目的目的为知识回顾，please don’t panic，考试中不会出现复杂知识点以及公式的默写&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;a-请画出作为四端器件的-nmos-和-pmos-晶体管的电路符号并在图中标注出这些端口&quot;&gt;a) 请画出作为四端器件的 NMOS 和 PMOS 晶体管的电路符号，并在图中标注出这些端口。&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/4.jpg&quot; alt=&quot;4&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;b-请写出-mosfet-的各工作模式以及对应的电压和电流关系&quot;&gt;b) 请写出 MOSFET 的各工作模式以及对应的电压和电流关系。&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT 2.1-MOS工作原理和PPT2.2-大尺寸 MOSFET IV 模型&lt;/p&gt;
&lt;/blockquote&gt;

&lt;hr /&gt;

&lt;p&gt;MOSFET它有三种基本工作模式：截止模式、饱和模式和线性模式。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;截止模式（Cutoff Mode）&lt;/strong&gt;
    &lt;ul&gt;
      &lt;li&gt;电压关系：栅极-源极电压$ V_{GS} $小于阈值电压$ V_{th} $。&lt;/li&gt;
      &lt;li&gt;电流关系：漏极电流$ I_D $接近于零，因为通道没有形成，MOSFET处于关闭状态。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;饱和模式（Saturation Mode）&lt;/strong&gt;
    &lt;ul&gt;
      &lt;li&gt;电压关系：栅极-源极电压$ V_{GS} $大于阈值电压$ V_{th} $，且漏极-源极电压$ V_{DS} $大于$ V_{GS} - V_{th} $。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;电流关系：MOSFET处于导通状态，漏极电流$ I_D $与栅极-源极电压$ V_{GS} $有关，与$V_{DS}$无关，受饱和电压$ V_{DS} $限制，即$ V_{DS} $接近于$ V_{GS} - V_{th} $时，$ I_D $不再随$ V_{GS} $增加而增加。&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;电流关系在PPT2.2P9&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;线性/欧姆模式（Ohmic or Linear Mode）&lt;/strong&gt;&lt;/p&gt;

    &lt;ul&gt;
      &lt;li&gt;电压关系：栅极-源极电压$ V_{GS} $大于阈值电压$ V_{th} $，但漏极-源极电压$ V_{DS} $小于$ V_{GS} - V_{th} $。&lt;/li&gt;
      &lt;li&gt;电流关系：MOSFET处于线性导通状态，漏极电流$ I_D $与漏极-源极电压$ V_{DS} $成正比，且$ I_D $随$ V_{DS} $线性增加。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;blockquote&gt;
  &lt;p&gt;辅助理解：&lt;/p&gt;

  &lt;p&gt;MOSFET（金属-氧化物-半导体场效应晶体管）根据栅源电压 $ V_{GS} $ 和漏源电压 $ V_{DS} $ 的不同，可以工作在不同的模式下。以下是MOSFET的主要工作模式以及它们对应的电压和电流关系：&lt;/p&gt;

  &lt;h4 id=&quot;截止区cut-off-region&quot;&gt;&lt;strong&gt;截止区（Cut-off Region）&lt;/strong&gt;&lt;/h4&gt;

  &lt;p&gt;&lt;strong&gt;条件&lt;/strong&gt;：&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;$ V_{GS} &amp;lt; V_{TH} $，其中 $ V_{TH} $ 是阈值电压。&lt;/li&gt;
  &lt;/ul&gt;

  &lt;p&gt;&lt;strong&gt;描述&lt;/strong&gt;：&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;在这个区域，栅源电压不足以在栅极和源极之间的沟道中形成足够的载流子浓度，导致沟道不导电。&lt;/li&gt;
    &lt;li&gt;因此，没有电流从漏极流向源极，即 $ I_D \approx 0 $。&lt;/li&gt;
  &lt;/ul&gt;

  &lt;h4 id=&quot;欧姆区ohmic-region或线性区linear-region&quot;&gt;&lt;strong&gt;欧姆区（Ohmic Region）或线性区（Linear Region）&lt;/strong&gt;&lt;/h4&gt;

  &lt;p&gt;&lt;strong&gt;条件&lt;/strong&gt;：&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;$ V_{GS} &amp;gt; V_{TH} $&lt;/li&gt;
    &lt;li&gt;$ V_{DS} $ 很小，不足以引起饱和。&lt;/li&gt;
  &lt;/ul&gt;

  &lt;p&gt;&lt;strong&gt;描述&lt;/strong&gt;：&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;当 $ V_{DS} $ 较小时，MOSFET的行为类似于一个受控的线性电阻。&lt;/li&gt;
    &lt;li&gt;漏极电流 $ I_D $ 与 $ V_{DS} $ 成正比，类似于欧姆定律 $ I = \frac{V}{R} $。&lt;/li&gt;
  &lt;/ul&gt;

  &lt;h4 id=&quot;饱和区saturation-region或恒流区constant-current-region&quot;&gt;&lt;strong&gt;饱和区（Saturation Region）或恒流区（Constant Current Region）&lt;/strong&gt;&lt;/h4&gt;

  &lt;p&gt;&lt;strong&gt;条件&lt;/strong&gt;：&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;$ V_{GS} &amp;gt; V_{TH} $&lt;/li&gt;
    &lt;li&gt;$ V_{DS} $ 足够大以至于 $ V_{DS} &amp;gt; V_{GS} - V_{TH} $&lt;/li&gt;
  &lt;/ul&gt;

  &lt;p&gt;&lt;strong&gt;描述&lt;/strong&gt;：&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;&lt;strong&gt;在饱和区，$ V_{DS} $ 对 $ I_D $ 的影响很小，电流几乎只依赖于 $ V_{GS} $。&lt;/strong&gt;&lt;/li&gt;
    &lt;li&gt;这个区域的电流由以下公式给出：
$ I_D = K_n (V_{GS} - V_{TH})^2 \left(1 + \lambda V_{DS}\right) $
其中，$ K_n $ 是一个常数，$ \lambda $ 是沟道长度调制因子。&lt;/li&gt;
    &lt;li&gt;电流与 $ V_{GS} $ 的关系是非线性的。&lt;/li&gt;
  &lt;/ul&gt;
&lt;/blockquote&gt;

&lt;h4 id=&quot;参考资料&quot;&gt;参考资料&lt;/h4&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT2.2 P10&lt;/p&gt;

  &lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521113113071.png&quot; alt=&quot;image-20240521113113071&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;c-请解释速度饱和效应并简要分析其对晶体管工作的影响&quot;&gt;c) 请解释速度饱和效应并简要分析其对晶体管工作的影响。&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT 2.3-纳米级 MOSFET IV 模型&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;速度饱和效应（Velocity Saturation Effect）是指在半导体器件中，特别是在金属氧化物半导体场效应晶体管（MOSFET）中，当沟道电场强度增大到一定程度时，载流子（电子或空穴）的漂移速度不再随着电场强度的增加而增加的现象。这个现象通常发生在高电场下，载流子达到其最大漂移速度，此时速度不再增加，因此称为速度饱和。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;在PPT2.3 P5&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;分析&lt;strong&gt;速度饱和效应&lt;/strong&gt;对晶体管工作的影响：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;==&lt;strong&gt;晶体管速度&lt;/strong&gt;：&lt;strong&gt;速度饱和效应限制了晶体管的开关速度。在高速开关操作中，晶体管需要快速地从关闭状态切换到导通状态，速度饱和会限制载流子的移动速度，从而影响晶体管的开关速度。&lt;/strong&gt;==&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;功耗&lt;/strong&gt;：在速度饱和状态下，晶体管的功耗会受到影响。由于速度不再增加，晶体管的导通电阻增加，导致功耗上升。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;热效应&lt;/strong&gt;：速度饱和状态下，晶体管中的电流密度增加，可能导致局部过热，影响晶体管的稳定性和寿命。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;晶体管性能&lt;/strong&gt;：速度饱和效应会影响晶体管的性能，包括增益、线性度和噪声性能。在设计高频放大器和高速数字电路时，需要考虑速度饱和效应对晶体管性能的影响。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;设计挑战&lt;/strong&gt;：速度饱和效应给晶体管的设计带来了挑战。设计者需要在晶体管尺寸、材料和结构上做出优化，以减少速度饱和效应对晶体管性能的负面影响。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;短沟道效应&lt;/strong&gt;：在现代深亚微米工艺中，晶体管的沟道长度越来越短，速度饱和效应更加显著。这要求设计者在设计过程中更加注意短沟道效应和速度饱和效应的相互作用。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&quot;三cmos-反相器-vtc-特性分析&quot;&gt;三、CMOS 反相器 VTC 特性分析&lt;/h1&gt;

&lt;h2 id=&quot;题目5&quot;&gt;题目5&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT3.2-CMOS反相器的VTC&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;5、请画出一个反相器的 VTC 的大致形状，并在图中标注出不同的工作状态。&lt;/p&gt;

&lt;p&gt;从第四题的（b）中我们知道MOSFET一共有3种工作状态：截止模式（Off）、饱和模式（Sat）和线性模式（Lin），&lt;/p&gt;

&lt;p&gt;根据P5中内容可知，NMOS从左到有：Off-&amp;gt;Sat-&amp;gt;Lin&lt;/p&gt;

&lt;p&gt;P6中可知，PMOS从左到右有：Lin-&amp;gt;Sat-&amp;gt;Off&lt;/p&gt;

&lt;p&gt;综合上述信息，结合PPT3.2 P4和P8中图片，可以分为5个区域：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/5.jpg&quot; alt=&quot;5&quot; /&gt;&lt;/p&gt;

&lt;p&gt;在五个区域中中间三个BCD是NMOS和PMOS都导通的状态，虽然A和E区间比较小，但大多数时间内都是处于A和E这样只有一个导通的状态。&lt;/p&gt;

&lt;hr /&gt;

&lt;h4 id=&quot;参考资料-1&quot;&gt;参考资料&lt;/h4&gt;

&lt;blockquote&gt;
  &lt;p&gt;且PPT3.2-P4中有(注意红字部分)：
&lt;img src=&quot;/img/in-post/VLSI/image-20240521131442563.png&quot; alt=&quot;image-20240521131442563&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT3.2-P7&amp;amp;P8&lt;/p&gt;

  &lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/VLSI/image-20240521115304879.png&quot; alt=&quot;Image 1&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;P8&lt;/p&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/VLSI/image-20240521132746968.png&quot; alt=&quot;Image 2&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;P7&lt;/p&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;题目6&quot;&gt;题目6&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT3.3&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;6.、对于噪声容限（Noise Margin）：&lt;/p&gt;

&lt;h3 id=&quot;a-请解释噪声以及噪声容限的定义&quot;&gt;a) 请解释噪声以及噪声容限的定义。&lt;/h3&gt;

&lt;p&gt;&lt;strong&gt;噪声&lt;/strong&gt;是指在逻辑节点上我们不期望出现的电压或电流改变（PPT3.3-P4）。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;噪声容限&lt;/strong&gt;是指一个系统或电路能够容忍的最大噪声水平，同时仍能正确地处理或传输信号。它通常用来衡量系统对噪声的鲁棒性。噪声容限越高，系统对噪声的抵抗能力越强，能够在更差的环境中稳定工作。（PPT3.3-P12）&lt;/p&gt;

&lt;h3 id=&quot;b-给定一个反相器的-vtc-图如何得到其噪声容限请举例说明&quot;&gt;b) 给定一个反相器的 VTC 图，如何得到其噪声容限？请举例说明。&lt;/h3&gt;

&lt;p&gt;Noise Margin Low（NML）和Noise Margin High（NMH）：&lt;/p&gt;

\[NM_L = v_{IL}-v_{OL} \\

NM_H =v_{OH} - v_{IH}\]

&lt;p&gt;例如：（例子来自&lt;a href=&quot;https://zhuanlan.zhihu.com/p/457900170&quot;&gt;VLSI：Noise Margin (噪声容限) - 知乎 (zhihu.com)&lt;/a&gt;）&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/v2-32e2b75aceef88bcae0e3d0c4123e189_r.jpg&quot; alt=&quot;img&quot; style=&quot;zoom:67%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;VTC如上图所示。$ v_{IL}$ 和 $v_{IH}$ 分别为：&lt;/p&gt;

\[v_{IL}=0.3v_{DD} \\

v_{IH}=0.7v_{DD}\]

&lt;p&gt;根据定义可得：&lt;/p&gt;

\[NM_L=0.3v_{DD}-0v_{DD} =0.3v_{DD} \\
NM_H=v_{DD}-0.7v_{DD}=0.3v_{DD}\]

&lt;hr /&gt;

&lt;h4 id=&quot;参考资料-2&quot;&gt;参考资料&lt;/h4&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT3.3-P12
&lt;img src=&quot;/img/in-post/VLSI/image-20240521162421959.png&quot; alt=&quot;image-20240521162421959&quot; style=&quot;zoom: 67%;&quot; /&gt;&lt;/p&gt;

  &lt;p&gt;本章还有一个知识点：判断好的VTC曲线和坏的VTC曲线P14&lt;/p&gt;

  &lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521170020306.png&quot; alt=&quot;image-20240521170020306&quot; /&gt;&lt;/p&gt;

  &lt;table&gt;
    &lt;tbody&gt;
      &lt;tr&gt;
        &lt;td&gt;可参考[数字集成电路&lt;/td&gt;
        &lt;td&gt;CMOS反相器 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/597370910)&lt;/td&gt;
      &lt;/tr&gt;
    &lt;/tbody&gt;
  &lt;/table&gt;
&lt;/blockquote&gt;

&lt;h1 id=&quot;四cmos-反相器延时与功耗分析&quot;&gt;四、CMOS 反相器延时与功耗分析&lt;/h1&gt;

&lt;h2 id=&quot;题目7&quot;&gt;题目7&lt;/h2&gt;

&lt;p&gt;7、对于静态 CMOS 反相器：&lt;/p&gt;

&lt;h3 id=&quot;a-请画出一个标准反相器的内部构造图并标注出晶体管的尺寸比例&quot;&gt;a) 请画出一个标准反相器的内部构造图，并标注出晶体管的尺寸比例。&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240522000537992.png&quot; alt=&quot;image-20240522000537992&quot; style=&quot;zoom: 25%;&quot; /&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;h4 id=&quot;参考资料-3&quot;&gt;参考资料&lt;/h4&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT4.1 P4，同时PPT4.2P11规定了标准反相器PMOS/NMOS的尺寸比例 $β =\frac{W_p}{W_n}$=2
&lt;img src=&quot;/img/in-post/VLSI/image-20240521171233494.png&quot; alt=&quot;image-20240521171233494&quot; /&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;b-请分析反相器的尺寸变化对电阻电容以及延时的影响&quot;&gt;b) 请分析反相器的尺寸变化对电阻，电容以及延时的影响。&lt;/h3&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;电阻的影响&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;反相器中的电阻主要由晶体管的基极-发射极电阻（$R_{BE}$）和电路中的其他电阻决定。&lt;/li&gt;
      &lt;li&gt;当反相器尺寸增大时，晶体管的尺寸也会增大，这可能导致基极-发射极电阻降低，因为电阻与导体的横截面积成反比。&lt;/li&gt;
      &lt;li&gt;增大尺寸还可能增加晶体管的电流承载能力，从而减少电阻对电流的影响。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;电容的影响&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;反相器的电容主要由晶体管的寄生电容、互连线电容以及电路板的电容组成。&lt;/li&gt;
      &lt;li&gt;尺寸增大通常意味着晶体管的面积增大，这可能导致寄生电容增加，因为电容与导体的面积成正比。&lt;/li&gt;
      &lt;li&gt;互连线的电容也可能随着尺寸的增大而增加，尤其是如果互连线的长度和宽度都增加的话。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;延时的影响&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;反相器的延时主要取决于信号在电路中传播所需的时间，这与电路的电容和电阻有关。&lt;/li&gt;
      &lt;li&gt;电阻的减小可以减少信号在电路中的传播时间，从而减少延时。&lt;/li&gt;
      &lt;li&gt;电容的增加会增加电路的充电和放电时间，从而增加延时。&lt;/li&gt;
      &lt;li&gt;总体上，尺寸的增大可能导致电容的增加对延时的影响大于电阻减小的影响，因此总体延时可能会增加。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;所以可以总结为3点&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;反相器的电阻与尺寸成反比，即如果尺寸扩大$S$倍，则电阻变为原来的$\frac{1}{S}$倍&lt;/li&gt;
  &lt;li&gt;反相器的电容与尺寸成正比，即如果尺寸扩大$S$倍，则电容变为原来的$S$倍&lt;/li&gt;
  &lt;li&gt;反相器扩大$S$倍，延时计算公式如下，可以看到延时会减小，会不断接近 $0.69R_{on}C_{par,g}$&lt;/li&gt;
&lt;/ul&gt;

\[t_p=0.69\frac{R_{on}}{S}(C_{par,g}*S+C_L)=0.69R_{on}(C_{par,g}+\frac{C_L}{S})\]

&lt;h1 id=&quot;五静态-cmos-逻辑门设计与优化&quot;&gt;五、静态 CMOS 逻辑门设计与优化&lt;/h1&gt;

&lt;h2 id=&quot;题目8&quot;&gt;题目8&lt;/h2&gt;

&lt;p&gt;8、请根据下述逻辑表达式回答问题：&lt;/p&gt;

\[Out=\overline{D+A(B+C)}\]

&lt;h3 id=&quot;a-请设计完成能实现该逻辑功能的静态-cmos-逻辑门&quot;&gt;a) 请设计完成能实现该逻辑功能的静态 CMOS 逻辑门。&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240522154148001.png&quot; alt=&quot;image-20240522154148001&quot; style=&quot;zoom: 33%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;b-请写出逻辑门延时的计算方法不包括中间电容&quot;&gt;b) 请写出逻辑门延时的计算方法（不包括中间电容）。&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT5.2，5.3中加入了对中间电容的考虑&lt;/p&gt;
&lt;/blockquote&gt;

\[\boxed{t_{p1}=(t_{pHL,1}+t_{pLH,1})/2=0.69\cdot(R_{on,PUN1}+R_{on,PDN1})/2\cdot(C_{par,g}+C_L)}\]

&lt;p&gt;这里的&lt;strong&gt;R是PUN和PDN的等效电阻的平均&lt;/strong&gt;，需要通过具体的电路实现进行计算，&lt;strong&gt;C还是这一级的寄生电容$C_{par,g}$和下一级的gate电容$C_L$之和&lt;/strong&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;h4 id=&quot;参考资料-4&quot;&gt;参考资料：&lt;/h4&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT4.2-P9和PPT5.2-P4&lt;/p&gt;

  &lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/VLSI/image-20240521181812144.png&quot; alt=&quot;Image 1&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;(a)PPT4.2-P9&lt;/p&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/VLSI/image-20240522155416410-17163713377591.png&quot; alt=&quot;Image 2&quot; style=&quot;width:100%&quot; /&gt;
        &lt;p style=&quot;text-align: center;&quot;&gt;(b)PPT5.2-P4&lt;/p&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;/blockquote&gt;

&lt;h3 id=&quot;c-设负载电容为-c_l标准反相器的输入电容和寄生电容分别为-c_g0-和-c_par0请计算-a-中得到的逻辑门的传播延时&quot;&gt;c) 设负载电容为 $C_L$，标准反相器的输入电容和寄生电容分别为 $C_{g,0}$ 和 $C_{par,0}$，请计算 a) 中得到的逻辑门的传播延时。&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;这题也就是PPT5.2-P10的例子，疑问：PPT中$C_{d0}$对应这里的什么?我猜d0对应par0
answer：这里根据上下文应该是$C_{par,0}=3C_{d0}$，要根据上下文来看，有的地方$C_{par,0}=C_{d0}$，例如24、25、26、27&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;先算&lt;strong&gt;电阻&lt;/strong&gt;：&lt;/p&gt;

&lt;p&gt;注意到此时PUN是由BC串联后与A并联再与D串联，我们&lt;strong&gt;从外到内&lt;/strong&gt;分别进行分析，&lt;/p&gt;

&lt;p&gt;首先是D与其他的串联，我们让他们各占R0/2，则D的尺寸比例为4倍（因为POMS原本就是2倍，这里只是将POMS的尺寸变大2被），进一步再分解到并联电路，可以知道A的电阻为R0/2，尺寸比例为4倍。&lt;/p&gt;

&lt;p&gt;再到BC串联电路，可以让他们各占R0/4的电阻，则尺寸比例都为8倍&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;同样对于PDN，他是由BC并联后与A串联再与D并联，所以D的电阻为R0，尺寸比例为1，让A与BC的并联电路各占R0/2的电阻，A的尺寸比例为2倍，BC的电阻也为R0/2，尺寸比例为2倍&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;对于PUN和PDN，电路的&lt;strong&gt;电容&lt;/strong&gt;分为寄生电容和下一级的gate电容。&lt;/p&gt;

&lt;p&gt;其中寄生电容都为两个NMOS和一个PMOS的寄生电容，由于PMOS的尺寸比例为4，NMOS的尺寸比例分别为1和2，所以电路的寄生电容，7$C_{d0}$，最坏情况下PUN和PDN的电阻都为R0&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;所以可以计算出PUN和PDN的时延都为$0.69R0(7C_{d0}+C_L)$，所以总时延是$t_p=\frac{t_{pLH}+t_{pHL}}{2}=0.69R0(7C_{d0}+C_L)$&lt;/p&gt;

&lt;p&gt;由于这里是标准反相器，所以$C_{par,0}=3C_{d0}$，所以$t_p==0.69R0(\frac{7}{3}C_{par,0}+C_L)$&lt;/p&gt;

&lt;h2 id=&quot;题目9&quot;&gt;题目9&lt;/h2&gt;

&lt;p&gt;9、对于一个 2 输入的异或（XOR）门，请回答下列问题：&lt;/p&gt;

&lt;h3 id=&quot;a-请写出它的真值表并使用-sop-sum-of-product-的方法写出它的逻辑表达式&quot;&gt;a) 请写出它的真值表，并使用 SOP (Sum Of Product) 的方法写出它的逻辑表达式。&lt;/h3&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;X&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;Y&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;F&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;hr /&gt;

&lt;p&gt;根据F=1时可以写出以下逻辑表达式：&lt;/p&gt;

\[F = X\overline Y + \overline X Y = \overline{( \overline X+Y)\cdot(X+ \overline Y)}\]

&lt;h3 id=&quot;b-设负载电容为-c_l标准反相器的输入电容和寄生电容分别为-c_g0-和-c_par0请计算它的传播延时&quot;&gt;b) 设负载电容为 $C_L$，标准反相器的输入电容和寄生电容分别为 $C_{g,0}$ 和 $C_{par,0}$，请计算它的传播延时。&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;首先画出CMOS电路图，可参考PPT5.1-P12&lt;/p&gt;

  &lt;p&gt;易错点：看清是标准反相器的寄生电容是$C_{par,0}=3C_{d0}$，$C_{d0}$是单位晶体管的电容&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240617125842826.png&quot; alt=&quot;image-20240617125842826&quot; style=&quot;zoom:33%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;根据公式(PPT5-P4)&lt;/p&gt;

\[\boxed{t_{p1}=(t_{pHL,1}+t_{pLH,1})/2=0.69\cdot(R_{on,PUN1}+R_{on,PDN1})/2\cdot(C_{par,g}+C_L)}\]

&lt;h3 id=&quot;c-对于该门的两个输入-a-与-b假设-p_a113p_b112请计算该门的切换功耗&quot;&gt;c) 对于该门的两个输入 A 与 B，假设 $P_{A=1}$=1/3，$P_{B=1}$=1/2，请计算该门的切换功耗。&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;根据PPT5.2-P16&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;由计算公式&lt;/p&gt;

\[\boxed{P_{av g}=\alpha_{0\to1}\cdot C_{L}\cdot V_{DD}^{2}\cdot f_{clock}}\]

&lt;p&gt;其中&lt;/p&gt;

\[P_{F=0}=P_{A=1} \cdot P_{B=1}+P_{A=0} \cdot P_{B=0}=1/6 +2/6 = 3/6=1/2\\
P_{F=1}=P_{A=1} \cdot P_{B=0}+P_{A=0} \cdot P_{B=1}=1/6 +2/6 = 3/6=1/2 \\
所以\\
\alpha=P_{F=0}\cdot P_{F=1}=1/4\\\]

&lt;p&gt;故&lt;/p&gt;

\[P = 1/4\cdot C_{L}\cdot V_{DD}^{2}\cdot f_{clock}\]

&lt;h2 id=&quot;题目10&quot;&gt;题目10&lt;/h2&gt;

&lt;p&gt;10、对于一个 2 输入的同或（XNOR）门，请回答下列问题：&lt;/p&gt;

&lt;h3 id=&quot;a-请设计出能完成其功能的静态-cmos-逻辑门&quot;&gt;a) 请设计出能完成其功能的静态 CMOS 逻辑门。&lt;/h3&gt;

&lt;p&gt;同或门在异或门基础上加一个反相器即可，参考第九题设计，可得：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240522232355300.png&quot; alt=&quot;image-20240522232355300&quot; style=&quot;zoom:33%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;b-对于该门的两个输入-a-与-b假设-p_a113p_b112请计算该门的切换功耗&quot;&gt;b) 对于该门的两个输入 A 与 B，假设 $P_{A=1}$=1/3，$P_{B=1}$=1/2，请计算该门的切换功耗。&lt;/h3&gt;

&lt;p&gt;由计算公式&lt;/p&gt;

\[\boxed{P_{av g}=\alpha_{0\to1}\cdot C_{L}\cdot V_{DD}^{2}\cdot f_{clock}}\]

&lt;p&gt;其中&lt;/p&gt;

\[P_{F=1}=P_{A=1} \cdot P_{B=1}+P_{A=0} \cdot P_{B=0}=1/6 +2/6 = 3/6=1/2\\
P_{F=0}=P_{A=1} \cdot P_{B=0}+P_{A=0} \cdot P_{B=1}=1/6 +2/6 = 3/6=1/2 \\
所以\\
\alpha=P_{F=0}\cdot P_{F=1}=1/4\\\]

&lt;p&gt;故&lt;/p&gt;

\[P = 1/4\cdot C_{L}\cdot V_{DD}^{2}\cdot f_{clock}\]

&lt;h2 id=&quot;题目11&quot;&gt;题目11&lt;/h2&gt;

&lt;p&gt;11、请根据下列逻辑表达式回答问题：&lt;/p&gt;

\[𝑂𝑢𝑡 = (𝐴\overline{𝐵} + 𝐶)𝐷\]

&lt;h3 id=&quot;a-请设计完成能实现该逻辑功能的静态-cmos-逻辑门-1&quot;&gt;a) 请设计完成能实现该逻辑功能的静态 CMOS 逻辑门。&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240709171839006.png&quot; alt=&quot;image-20240709171839006&quot; style=&quot;zoom: 33%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;b-请使用与-a不同的方案实现同样具有逻辑功能的静态-cmos-逻辑门&quot;&gt;b) 请使用与 a)不同的方案实现同样具有逻辑功能的静态 CMOS 逻辑门。&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240522234438665.png&quot; alt=&quot;image-20240522234438665&quot; style=&quot;zoom: 25%;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;题目12&quot;&gt;题目12&lt;/h2&gt;

&lt;p&gt;12、下图是一个 2 输入的同或（XNOR）门的符号表示，请回答下列问题：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521172422515.png&quot; alt=&quot;image-20240521172422515&quot; style=&quot;zoom:67%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;a-请写出它的真值表以及逻辑表达式&quot;&gt;a) 请写出它的真值表以及逻辑表达式。&lt;/h3&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;X&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;Y&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;F&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;0&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;根据XOP，得&lt;/p&gt;

\[F = ( \overline X+Y)\cdot(X+ \overline Y) = = \overline{X\overline Y + \overline X Y }\]

&lt;h3 id=&quot;b-请使用静态-cmos-电路实现该逻辑门&quot;&gt;b) 请使用静态 CMOS 电路实现该逻辑门。&lt;/h3&gt;

&lt;p&gt;同或门得静态 CMOS 电路在10(a)中已经实现：
&lt;img src=&quot;/img/in-post/VLSI/image-20240522232355300.png&quot; alt=&quot;image-20240522232355300&quot; style=&quot;zoom:33%;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;题目13&quot;&gt;题目13&lt;/h2&gt;

&lt;p&gt;13、对于多输入的异或（XOR）门该如何工作，向来众说纷纭。有人将其称为 “奇数功能或门”，即当奇数个输入为高电平时，其输出为高电平。请回答 下列问题：&lt;/p&gt;

&lt;h3 id=&quot;a-请写出使用以上定义实现的-3-输入-xor-门的真值表并设计出能实现其逻辑功能的静态-cmos-电路&quot;&gt;a) 请写出使用以上定义实现的 3 输入 XOR 门的真值表并设计出能实现其逻辑功能的静态 CMOS 电路。&lt;/h3&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;输入A&lt;/th&gt;
      &lt;th&gt;输入B&lt;/th&gt;
      &lt;th&gt;输入C&lt;/th&gt;
      &lt;th&gt;输出&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;0&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;逻辑表达式为：&lt;/p&gt;

\[F=\mathrm{ABC}+\mathrm{A\bar B \bar C}+{\mathrm{\bar AB\bar C}}+{\mathrm{\bar A\bar BC}}\]

&lt;p&gt;所以电路为：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/13.jpg&quot; alt=&quot;13&quot; style=&quot;zoom:33%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;b-你认同这种定义吗你认为多输入的-xor-门应该实现什么样的逻辑功能&quot;&gt;b) 你认同这种定义吗？你认为多输入的 XOR 门应该实现什么样的逻辑功能？&lt;/h3&gt;

&lt;p&gt;我认同将多输入的异或门定义为“奇数功能或门”。这种定义在实际应用中是有意义的，并且能够保持异或逻辑的一致性，可以用于检测奇偶校验或实现某些特定加密算法时。&lt;/p&gt;

&lt;h2 id=&quot;题目14&quot;&gt;题目14&lt;/h2&gt;

&lt;p&gt;14、（数字逻辑相关）请回答下列问题：&lt;/p&gt;

&lt;h3 id=&quot;a-什么是逻辑运算的最小完全集&quot;&gt;a) 什么是逻辑运算的最小完全集？&lt;/h3&gt;

&lt;p&gt;逻辑运算的最小完全集是指一组逻辑运算符，这组运算符能够通过组合来实现其他所有逻辑运算。&lt;/p&gt;

&lt;h3 id=&quot;b-与或非是一个最小完全集吗与非或非呢&quot;&gt;b) {与，或，非}是一个最小完全集吗？{与非，或非}呢？&lt;/h3&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;集合{与，或，非}是布尔代数中的一个最小完全集。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;集合 {与非，或非}同样是一个最小完全集。NAND和NOR门是通用的逻辑门，因为它们可以组合起来实现布尔代数中的任何其他逻辑运算。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;因此，无论是 {与，或，非} 还是 {与非，或非}，它们都是布尔代数中的最小完全集。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;答案：&lt;/p&gt;

  &lt;p&gt;如{与，或，非}是完全集，&lt;strong&gt;但不是最小的&lt;/strong&gt;，比方与和非就可以构造出或，因此{与，非}可以是一个完全集。&lt;/p&gt;

  &lt;p&gt;{或非，与非}&lt;strong&gt;也不是最小完全集&lt;/strong&gt;， 2输入的或非门一端接低可以构造出非，之后可以构造出与非。证明是否完全集与证是否NP问题的推理类似，只需找一个参照物求证等价即可。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;c-请使用-nand-门与-nor-门实现-andor-与-inv-门再使用-and-or-与-inv-门实现-nand-门与-nor-门2-输入&quot;&gt;c) 请使用 NAND 门与 NOR 门实现 AND，OR 与 INV 门，再使用 AND， OR 与 INV 门实现 NAND 门与 NOR 门（2 输入）。&lt;/h3&gt;

&lt;p&gt;我们可以通过组合 NAND 门和 NOR 门来实现 AND、OR 和 INV（反相）门，然后使用这些基本的 AND、OR 和 INV 门来实现 NAND 和 NOR 门。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;首先，使用 NAND 门实现 AND 门：
$ \text{AND}(A, B) = \neg (\text{NAND}(A, B)) = \text{INV}(\text{NAND}(A, B)) =\text{NAND}(\text{NAND}(A, B),\text{NAND}(A, B))$
这里，我们首先使用 NAND 门得到 A 和 B 的 NAND 结果，然后通过 INV 门（即 NAND 门的输出再通过一个 NAND 门）来实现 AND 门的功能。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;接下来，使用 NAND 门实现 OR 门：
$ \text{OR}(A, B) = \text{INV}(\text{NAND}(A, \text{INV}(B))) =\text{NAND}(\text{NAND}(A, \text{INV}(B)),\text{NAND}(A, \text{INV}(B)))$
这里，我们首先通过 NAND 门实现一个 INV 门，然后对 B 进行反相，再与 A 进行 NAND 操作，最后通过 INV 门来实现 OR 门的功能。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;最后，使用 NAND 门实现 INV 门：
$ \text{INV}(A) = \text{NAND}(A, A) $
这里，我们通过将输入 A 与自身进行 NAND 操作来实现 INV 门的功能。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;现在，使用 AND、OR 和 INV 门来实现 NAND 门：
$ \text{NAND}(A, B) = \neg (A \land B) = \text{INV}(\text{AND}(A, B)) $
这里，我们首先使用 AND 门得到 A 和 B 的 AND 结果，然后通过 INV 门来实现 NAND 门的功能。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;接着，使用 AND、OR 和 INV 门来实现 NOR 门：
$ \text{NOR}(A, B) = \neg (A \lor B) = \text{INV}(\text{OR}(A, B)) $
这里，我们首先使用 OR 门得到 A 和 B 的 OR 结果，然后通过 INV 门来实现 NOR 门的功能。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240709203349973.png&quot; alt=&quot;image-20240709203349973&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;题目15&quot;&gt;题目15&lt;/h2&gt;

&lt;p&gt;15、请根据下述逻辑表达式回答问题：&lt;/p&gt;

\[𝑂𝑢𝑡 = \overline{𝐴𝐵𝐶 + \overline A𝐵 + 𝐵\overline C + 𝐴𝐶 }\]

&lt;h3 id=&quot;a-该表达式能否进一步化简请写出化简后的表达式&quot;&gt;a) 该表达式能否进一步化简？请写出化简后的表达式。&lt;/h3&gt;

\[𝑂𝑢𝑡 = \overline{𝐴𝐵𝐶 + \overline A𝐵 + 𝐵\overline C + 𝐴𝐶 }\\
= \overline{𝐴𝐶(B+1) + \overline A𝐵 + 𝐵\overline C  }\\
=\overline{𝐴𝐶 + \overline A𝐵 + 𝐵\overline C  }\\
=(\overline A+\overline C)(A+\overline B)(\overline B+C)\\
=\overline A\space \overline BC + A\overline B \space \overline C +\overline A\space \overline B +\overline B\space \overline C\\
=\overline B(\overline AC+ A\overline C+ \overline A + \overline C )\\
=\overline B( \overline A + \overline C)\]

&lt;h3 id=&quot;b-根据原表达式或者-a-中得到的结果实现对应的静态-cmos-逻辑门&quot;&gt;b) 根据原表达式或者 a) 中得到的结果，实现对应的静态 CMOS 逻辑门。&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240523100412734.png&quot; alt=&quot;image-20240523100412734&quot; style=&quot;zoom:33%;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;题目16&quot;&gt;题目16&lt;/h2&gt;

&lt;p&gt;16、请结合以下真值表回答问题：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521172650333.png&quot; alt=&quot;image-20240521172650333&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;a-请根据真值表写出对应的逻辑表达式&quot;&gt;a) 请根据真值表写出对应的逻辑表达式。&lt;/h3&gt;

&lt;p&gt;根据SOP，可得：&lt;/p&gt;

\[Y=A\overline B + AB=A(\overline B+B)=A\]

&lt;h3 id=&quot;b-请根据逻辑表达式实现对应的静态-cmos-电路&quot;&gt;b) 请根据逻辑表达式实现对应的静态 CMOS 电路。&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240523100423562.png&quot; alt=&quot;image-20240523100423562&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;题目17&quot;&gt;题目17&lt;/h2&gt;

&lt;p&gt;17、对于一个 4 输入的 NAND 门：&lt;/p&gt;

&lt;h3 id=&quot;a-请写出其逻辑表达式&quot;&gt;a) 请写出其逻辑表达式。&lt;/h3&gt;

\[out = \overline{ABCD}\]

&lt;h3 id=&quot;b-使用互补-cmos-设计将其实现需要多少个-nmos-晶体管&quot;&gt;b) 使用互补 CMOS 设计将其实现，需要多少个 NMOS 晶体管？&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;互补CMOS设计是一种集成电路的设计方法，它结合了n-type MOSFET（NMOS）和p-type MOSFET（PMOS）两种类型的金属氧化物半导体场效应晶体管，利用它们的互补特性来构建数字逻辑门和其他电路。这种设计方法的基础在于，NMOS晶体管在高电平时导通（作为“开”开关），而PMOS晶体管在低电平时导通（作为“关”开关）。通过巧妙地安排NMOS和PMOS晶体管，互补CMOS电路能够实现低功耗、高速度和良好的噪声抑制能力。&lt;/p&gt;

  &lt;p&gt;在互补CMOS逻辑门中，通常会有两个主要部分：一个称为&lt;strong&gt;下拉网络（Pull-Down Network, PDN）&lt;/strong&gt;，主要由NMOS晶体管组成，负责在适当条件下将输出拉至低电平；另一个是&lt;strong&gt;上拉网络（Pull-Up Network, PUN）&lt;/strong&gt;，主要由PMOS晶体管构成，用于在其他条件下保持或拉高输出到高电平。这样的设计使得在逻辑门没有切换状态时（即保持状态），不论是高电平还是低电平，总有一组晶体管处于截止状态，从而几乎不消耗电流，大大降低了静态功耗。&lt;/p&gt;

&lt;/blockquote&gt;

&lt;p&gt;需要4个NMOS晶体管&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240523100440918.png&quot; alt=&quot;image-20240523100440918&quot; style=&quot;zoom:33%;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;题目18&quot;&gt;题目18&lt;/h2&gt;

&lt;p&gt;18、请解释静态 CMOS 电路中为什么使用 PMOS 晶体管实现 PUN 部分，使用 NMOS 实现 PDN 部分？若是互相替换会导致什么后果？&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;在静态CMOS电路中，使用PMOS晶体管实现上拉网络(PUN)部分，而使用NMOS晶体管实现下拉网络(PDN)部分，这是基于它们的电气特性和互补工作的原理，简单而言，是因为NMOS在PDN可实现强0但PMOS只可以实现弱0，相反，PMOS在PUN可以实现强1但NMOS只可以实现弱1（具体分析可见下面）：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;电气特性匹配&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;PMOS晶体管&lt;/strong&gt;在栅极施加低电平时导通，允许电流从源极流至漏极，这非常适合用于上拉网络，因为它可以在输入为逻辑低时（即PMOS的栅极为高电平）关闭，而在输入为逻辑高时（栅极为低电平）打开，从而拉高输出到Vdd（电源电压）。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;NMOS晶体管&lt;/strong&gt;则在栅极高电平时导通，允许从漏极到源极的电流流动，这适用于下拉网络，因为它能在输入为逻辑高时关闭，输入为逻辑低时打开，将输出拉低至地（GND）。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;互补工作原理&lt;/strong&gt;：这种配置确保了无论电路处于何种逻辑状态，总有至少一组晶体管（NMOS或PMOS）处于截止状态，从而极大地减少了漏电流，实现了低功耗特性。当输出不需要改变时，电路不会消耗显著的静态电流，这是“静态”一词的由来。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;如果将PMOS和NMOS在CMOS电路中的角色互换，会导致以下后果：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;功耗增加&lt;/strong&gt;：由于NMOS作为上拉网络时，其导通电阻相对较高，相比于PMOS作为上拉时，会需要更大的驱动电流来维持高电平输出，导致功耗增加。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;性能下降&lt;/strong&gt;：NMOS作为上拉时，由于其驱动能力较弱，可能会导致上升沿变缓，同样，PMOS作为下拉时也会使下降沿变慢，这会降低电路的整体速度。&lt;/li&gt;
&lt;/ul&gt;

&lt;h4 id=&quot;参考资料-强弱pun和pdn的分析&quot;&gt;参考资料-强弱PUN和PDN的分析&lt;/h4&gt;

&lt;blockquote&gt;
  &lt;p&gt;更详细解释可见PPT5.1-P12《强弱PUN和PDN》：&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;之前我们讲要将&lt;strong&gt;NMOS用在接地的PDN中，将PMOS用在接电源的PUN中&lt;/strong&gt;，这是有原因的&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;当NMOS用在PDN时，由于对于NMOS，VDS&amp;gt;=0，所以Source接地，Drain接output的负载电容，由于VGS始终为Vdd&amp;gt;Vtn，所以它始终导通，负载电容可以一直放电到输出电压为0，也就是他可以实现一个&lt;strong&gt;strong 0&lt;/strong&gt;&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;当NMOS用在PUN时，由于对于NMOS，VDS&amp;gt;=0，所以Source接output的负载电容，Drain接VDD，由于电源对负载电容进行充电，输出端端的电压逐渐增大，VGS对应减小，当它小于Vtn时，不再有导电沟道，NMOS断开，因此，输出端只能充电到VDD-Vtn，它只能实现一个&lt;strong&gt;弱1&lt;/strong&gt;&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;当PMOS用在PDN时，由于对于PMOS，VDS&amp;lt;=0，所以Drain接地，Source接output的负载电容，由于随着负载电容放电，输出端的电压逐渐减小，VGS的绝对值对应减小，当它小于Vtp的绝对值时，不再有导电沟道，PMOS断开，因此，输出端只能放电到Vtp的绝对值，它只能实现一个&lt;strong&gt;弱0&lt;/strong&gt;&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;当PMOS用在PUN时，由于对于PMOS，VDS&amp;lt;=0，所以Drain接output的负载电容，Source接VDD，由于VGS的绝对值始终为Vdd&amp;gt;Vtp的绝对值，所以它始终导通，负载电容可以一直充电到输出电压为Vdd，也就是他可以实现一个&lt;strong&gt;strong 1&lt;/strong&gt;&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;这就是我们将NMOS用在接地的PDN中，将PMOS用在接电源的PUN中的原因&lt;/p&gt;

&lt;h2 id=&quot;题目19&quot;&gt;题目19&lt;/h2&gt;

&lt;p&gt;19、请结合下图回答问题：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521172723582.png&quot; alt=&quot;image-20240521172723582&quot; style=&quot;zoom: 50%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;a) 图中的电路实现了什么样的逻辑功能？请写出其逻辑表达式。&lt;/p&gt;

&lt;p&gt;可以看出上半部分逻辑表达式是：&lt;/p&gt;

\[(\overline A+\overline B)\overline C + \overline A\space \overline B\]

&lt;p&gt;可以看出下半部分逻辑表达式是：&lt;/p&gt;

\[\overline {(A+B)C + AB}=(\overline A \space \overline B+\overline C)(\overline A+\overline B)\]

&lt;p&gt;由于&lt;/p&gt;

&lt;p&gt;b) 这是一个静态 CMOS 电路吗？为什么？&lt;/p&gt;

&lt;p&gt;这是一个静态电路，电路图中无电容存储效应来保存信息。&lt;/p&gt;

&lt;h2 id=&quot;题目20&quot;&gt;题目20&lt;/h2&gt;

&lt;p&gt;20、请结合下图回答问题：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521172754388.png&quot; alt=&quot;image-20240521172754388&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;a-该图中的-cmos-电路实现了什么样的逻辑功能请写出其逻辑表达式&quot;&gt;a) 该图中的 CMOS 电路实现了什么样的逻辑功能？请写出其逻辑表达式。&lt;/h3&gt;

&lt;p&gt;根据互补CMOS电路，可得
\(Y = \overline{ABC} = \overline A +\overline B+ \overline C\)&lt;/p&gt;

&lt;h3 id=&quot;b-假设该电路之前的状态为a_10a_21a_31请写出稳定时电路中-几个电容的充放电状态这时候如果-a_1的状态由-0-变为-1电容中的-电荷会发生什么样的变化&quot;&gt;b) 假设该电路之前的状态为：$A_1$=0，$A_2$=1，$A_3$=1，请写出稳定时电路中 几个电容的充放电状态。这时候如果 $A_1$的状态由 0 变为 1，电容中的 电荷会发生什么样的变化？&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;ul&gt;
    &lt;li&gt;&lt;strong&gt;NMOS晶体管&lt;/strong&gt;：当其栅极（gate）相对于源极（source）的电压高于阈值电压（即栅极电压为高电平）时，NMOS晶体管导通，允许电流从漏极（drain）流向源极。因此，是高电平导通。&lt;/li&gt;
    &lt;li&gt;&lt;strong&gt;PMOS晶体管&lt;/strong&gt;：与NMOS相反，当栅极电压低于源极电压，即栅极电压为低电平时，PMOS晶体管导通，允许电流从源极流向漏极。因此，是低电平导通。&lt;/li&gt;
  &lt;/ul&gt;

  &lt;p&gt;所以可以理解为：&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;PMOS晶体管在&lt;strong&gt;输入为0（低电平）&lt;/strong&gt;时导通。&lt;/li&gt;
    &lt;li&gt;NMOS晶体管在&lt;strong&gt;输入为1（高电平）&lt;/strong&gt;时导通。&lt;/li&gt;
  &lt;/ul&gt;
&lt;/blockquote&gt;

&lt;p&gt;PMOS电路时低电平导通，NMOS是高电平导通，所以PMOS中输入0是导通，NMOS中输入1是导通&lt;/p&gt;

&lt;p&gt;刚开始稳定时C1、C2和CL都是充电状态，A1变为1后，上半部分电路都不导通，所以C1、C2和CL变为放电状态。&lt;/p&gt;

&lt;h3 id=&quot;c-结合-b-中的情况如果输入中只有-a_1-会频繁地发生变化该电路的设计可能会导致什么问题能否进行优化&quot;&gt;c) 结合 b) 中的情况，如果输入中只有 $A_1$ 会频繁地发生变化，该电路的设计可能会导致什么问题？能否进行优化？&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT5.3-P10 《重排序》&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;假如A1经常发生电平切换，而其他输入不经常发生电平切换。那么当A1对应最远离output的NMOS时，它从0-&amp;gt;1切换时，由于C1、C2在上一状态都都进行了充电，所以它们在这一时刻都会放电来贡献时延。&lt;/p&gt;

&lt;p&gt;优化方法：把它放在最接近output的位置时，当它从0-&amp;gt;1切换时，由于C1、C2在上一状态都都进行了放电，所以它们在这一时刻不会贡献时延。&lt;/p&gt;

&lt;h1 id=&quot;六logical-efforts-分析方法介绍与应用&quot;&gt;六、Logical Efforts 分析方法介绍与应用&lt;/h1&gt;

&lt;h2 id=&quot;题目21&quot;&gt;题目21&lt;/h2&gt;

&lt;p&gt;21、（基础回顾）对于下图所示的静态 CMOS 逻辑门，请回答：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521172931274.png&quot; alt=&quot;image-20240521172931274&quot; style=&quot;zoom:67%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;a-如何计算它的传播延时请写出其传播延时的计算公式&quot;&gt;a) 如何计算它的传播延时？请写出其传播延时的计算公式。&lt;/h3&gt;

\[\boxed{t_{p1}=(t_{pHL,1}+t_{pLH,1})/2=0.69\cdot(R_{on,PUN1}+R_{on,PDN1})/2\cdot(C_{par,g}+C_L)}\]

&lt;h3 id=&quot;b-图中的-c_in1gc_pargc_l-各代表了什么&quot;&gt;b) 图中的$ C_{in1,g}$、$C_{par,g}$，$C_L$ 各代表了什么？&lt;/h3&gt;

&lt;ul&gt;
  &lt;li&gt;$ C_{in1,g}$是这一级的输入电容（gate电容）&lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;$C_{par,g}$是这一级的寄生电容&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;$C_L$是下一级的gate电容&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;c-如果将该门中所有晶体管的尺寸增大或缩小-s-倍会对它的等效电阻-和电容造成什么样的影响&quot;&gt;c) 如果将该门中所有晶体管的尺寸增大或缩小 S 倍，会对它的等效电阻 和电容造成什么样的影响？&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT5.20-P11，分析CMOS 逻辑电路的self-loading effect时有讲&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;如果尺寸都变大S倍，那么&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$R_{on}-&amp;gt;\frac{R_{on}}{S}$&lt;/li&gt;
  &lt;li&gt;$C_{par}-&amp;gt;C_{par}\cdot S$&lt;/li&gt;
  &lt;li&gt;$C_{in}-&amp;gt;C_{in}\cdot S$&lt;/li&gt;
  &lt;li&gt;$C_{L}-&amp;gt;C_{L}$&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;题目22&quot;&gt;题目22&lt;/h2&gt;

&lt;p&gt;22、（Gate Sizing）假设一个标准反相器的等效电阻为$ R_{INV}$，PMOS 的 W/L=2， NMOS 的 W/L=1，输入电容（input capacitance）为 $C_{in,INV}$，寄生电容 （parasitic capacitance）为$ C_{par,INV}$。同时假设负载电容为 $C_L$，请回答下列问题：&lt;/p&gt;

&lt;h3 id=&quot;d-对于一个-2-输入的-nand-门请使用静态-cmos-方法将其实现为其分配合适的尺寸使得其等效电阻等于-r_inv并计算它的传播延时&quot;&gt;d) 对于一个 2 输入的 NAND 门，请使用静态 CMOS 方法将其实现，为其分配合适的尺寸使得其等效电阻等于 $R_{INV}$，并计算它的传播延时。&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT6.1-P7&amp;amp;P10(P7中是标准NAND，P10中是S=2)，计算在PPT5.2-P8&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;对于2输入NAND门，&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/22-b.jpg&quot; alt=&quot;22-b&quot; /&gt;&lt;/p&gt;

&lt;p&gt;e) 对于一个 2 输入的 NOR 门，请使用静态 CMOS 方法将其实现，为其分配合适的尺寸使得其等效电阻等于 $R_{INV}$，并计算它的传播延时。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT5.2-P9&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/22-a.jpg&quot; alt=&quot;22-a&quot; /&gt;&lt;/p&gt;

&lt;p&gt;f) 对于一个 2 输入的 XOR 门，请使用静态 CMOS 方法将其实现，为其分配合适的尺寸使得其等效电阻等于 $R_{INV}$，并计算它的传播延时。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;完全是第9题(b)&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240617125842826.png&quot; alt=&quot;image-20240617125842826&quot; style=&quot;zoom:33%;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;题目23&quot;&gt;题目23&lt;/h2&gt;

&lt;p&gt;23、（Logical Effort）下图是一个多级组合逻辑电路的示例，请回答以下问题：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521173321244.png&quot; alt=&quot;image-20240521173321244&quot; style=&quot;zoom:80%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;g-如何计算多级组合逻辑电路的传播延时请用自己的语言描述大致计算流程&quot;&gt;g) 如何计算多级组合逻辑电路的传播延时？请用自己的语言描述大致计算流程。&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT6.1&lt;/p&gt;
&lt;/blockquote&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;确定电路结构&lt;/strong&gt;：首先，需要了解电路的具体结构，包括各个逻辑门的类型（如与门、或门、非门等）以及它们是如何连接的。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;识别关键路径&lt;/strong&gt;：在电路中，&lt;strong&gt;关键路径是指信号传播时间最长的路径&lt;/strong&gt;。这通常是从输入端到输出端经过的一系列逻辑门。识别关键路径有助于确定整个电路的传播延时。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;计算单个逻辑门的延时&lt;/strong&gt;：对于电路中的每一个逻辑门，需要知道其延时。使用下面公式计算
\(\boxed{t_{p1}=(t_{pHL,1}+t_{pLH,1})/2=0.69\cdot(R_{on,PUN1}+R_{on,PDN1})/2\cdot(C_{par,gate}+C_L)}\)&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;累加延时&lt;/strong&gt;：沿着关键路径，将每个逻辑门的延时相加。如果电路中存在并行路径，需要考虑最慢的路径，因为信号需要通过所有路径才能到达最终的输出。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h3 id=&quot;h-如何使用-logical-effort-方法计算多级组合逻辑电路的传播延时请推导出其计算公式&quot;&gt;h) 如何使用 Logical Effort 方法计算多级组合逻辑电路的传播延时？请推导出其计算公式。&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT6.2&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;首先由传播时延计算公式：&lt;/p&gt;

\[t_{p1}=(t_{pHL,1}+t_{pLH,1})/2=0.69\cdot(R_{on,PUN1}+R_{on,PDN1})/2\cdot(C_{par,g}+C_L)\]

&lt;p&gt;如果所有输入都是标准反相器，那么有(其中因为 Logical Effort 方法都是要变为标准反向器，所以输入的(in,gate)即为INV)&lt;/p&gt;

\[t_{p,gate}=0.69\cdot R_{on,INV}\cdot(C_{par,gate}+C_L)\]

&lt;p&gt;将受到逻辑功能影响的部分$C_{in,par}$提取出来，得到：&lt;/p&gt;

\[t_{p,gate}=0.69\cdot R_{gate}\cdot C_{in,gate}\cdot(\frac{C_{par,gate}}{C_{in,gate}}+\frac{C_{L}}{C_{in,gate}})\]

&lt;p&gt;令&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;$\tau_{gate}=0.69\cdot R_{gate}\cdot C_{in,gate}$&lt;/li&gt;
  &lt;li&gt;$\gamma_{gate}=\frac{C_{par,gate}}{C_{in,gate}}$&lt;/li&gt;
  &lt;li&gt;$Fan-out=\frac{C_{L}}{C_{in,gate}}$&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;所以有上式中两边同除$\tau_{INV}$：&lt;/p&gt;

\[\frac{t_{p,gate}}{\tau_{INV}}=\frac{\tau_{gate}}{\tau_{INV}}(\gamma_{gate}+\frac{C_{load,gate}}{C_{in,gate}})\]

&lt;p&gt;其中$\tau_{\mathrm{INV}}=0.69\cdot R_{\mathrm{INV}}\cdot C_{\mathrm{in,INV}}$&lt;/p&gt;

&lt;p&gt;分析可知&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;放大S倍，$\tau$ 不变( RC不随size变化，因为电阻R变小成R/S，C变大成SC，相乘后刚好抵消)&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;$\gamma$也不随S变化而变化（因为$C_{par}$和$C_{in}$会变大S被，相除后抵消）&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;Fan-out会发生变化（因为$C_L$不会因为上一级的size变化而变化，$C_L$是下一级的输入电容，受到下一级size影响）&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;化为通用形式：&lt;/p&gt;

\[d=g\cdot(\gamma_{gate}+h)=p+g\cdot h\]

&lt;p&gt;其中&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;逻辑努力Logical effect ：$g=\frac{R_{gate}\cdot C_{in,gate}}{R_{INV}\cdot C_{in,INV}}$&lt;/li&gt;
  &lt;li&gt;电气扇出Electrical Fan-out：$h=\frac{C_{load}}{C_{in,gate}}$&lt;/li&gt;
  &lt;li&gt;寄生延时/本征延时Parasitic Delay/Intrinsic  Delay：$ p=\frac{R_{gate} \cdot C_{par,gate}}{R_{INV} \cdot C_{par,INV}} \cdot \gamma_{INV}, \gamma_{&lt;em&gt;{INV}}=\frac{C&lt;/em&gt;{&lt;em&gt;{par,INV}}}{C&lt;/em&gt;{_{in,INV}}} $&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;也就是$p=\frac{R_{gate} \cdot C_{par,gate}}{R_{INV} \cdot C_{in,INV}}$&lt;/p&gt;

&lt;p&gt;==要注意这里推导d的公式时左右都除了$\tau_{INV}$，所以最后求时间t的时候要用$t_p=d\cdot \tau_{INT}$==&lt;/p&gt;

&lt;hr /&gt;

&lt;h3 id=&quot;i-logical-effort-方法中的电气扇出-h逻辑努力-g-和本征延时-pintrinsic--delayparasitic-delay代表了什么内涵请写出它们的计算方法以及你对它们的理解&quot;&gt;i) Logical Effort 方法中的电气扇出 h，逻辑努力 g 和本征延时 p（Intrinsic  Delay/Parasitic Delay）代表了什么内涵？请写出它们的计算方法以及你对它们的理解。&lt;/h3&gt;

&lt;p&gt;下面是Logical Effort方法中的电气扇出 $ h $、逻辑努力 $ g $ 和本征延时 $ p $ 的定义、计算方法以及理解：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;电气扇出 $ h $&lt;/strong&gt;：&lt;/p&gt;

    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;定义&lt;/strong&gt;：电气扇出 $ h $ 表示一个逻辑门可以驱动的负载电容 $ C_{load} $ 与该逻辑门输入电容 $ C_{in,gate} $ 的比值。表示一个逻辑门的输出驱动其他逻辑门输入的能力。也就是==&lt;strong&gt;电气扇出$h$表示一个逻辑门在保持指定延时下能驱动的等效反相器的数量，它考虑了门的输出驱动能力和负载的实际影响&lt;/strong&gt;==。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;计算方法&lt;/strong&gt;：$ h = \frac{C_{load}}{C_{in,gate}} $&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;理解&lt;/strong&gt;：这个参数决定了逻辑门可以驱动多少个后续逻辑门的输入。电气扇出越大，逻辑门可以驱动的负载就越多，但同时也会增加电路的延迟。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;逻辑努力 $ g $&lt;/strong&gt;：&lt;/p&gt;

    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;定义&lt;/strong&gt;：逻辑努力 $ g $ 用于衡量一个逻辑门相对于理想反相器（INV）的复杂度，是一个无量纲的量。它与逻辑门的逻辑功能和结构有关。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;计算方法&lt;/strong&gt;：$ g = \frac{R_{gate} \cdot C_{in,gate}}{R_{INV} \cdot C_{in,INV}} $，这里，$ R_{gate} $ 和 $ C_{in,gate} $ 分别是逻辑门的等效电阻和输入电容，而 $ R_{INV} $ 和 $ C_{in,INV} $ 是理想反相器的等效电阻和输入电容。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;理解&lt;/strong&gt;：==&lt;strong&gt;逻辑努力用来衡量一个逻辑门与反相器（通常逻辑努力为1）相比，在理想情况下驱动相同负载时所需的额外努力或“强度”&lt;/strong&gt;==。它反映了门的复杂度对延迟的影响。也可以说逻辑努力反映了逻辑门的复杂性。逻辑努力越大，逻辑门的逻辑功能越复杂，其传播延时也越大。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;本征延时 $ p $&lt;/strong&gt;：&lt;/p&gt;

    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;定义&lt;/strong&gt;：==&lt;strong&gt;本征延时 $ p $ 是指在没有负载的情况下，逻辑门从输入变化到输出稳定所需的时间。&lt;/strong&gt;==它代表了逻辑门内部的固有延时，与外部负载无关。&lt;/li&gt;
      &lt;li&gt;
        &lt;p&gt;&lt;strong&gt;计算方法&lt;/strong&gt;：：$ p = \frac{R_{gate} \cdot C_{par,gate}}{R_{INV} \cdot C_{par,INV}} \cdot \gamma_{INV} $，其中 $ \gamma_{INV} = \frac{C_{par,INV}}{C_{in,INV}} $。&lt;/p&gt;

        &lt;p&gt;也就是$p=\frac{R_{gate} \cdot C_{par,gate}}{R_{INV} \cdot C_{in,INV}}$
本征延时 $ p $ 通常由制造工艺决定，可以通过工艺参数和逻辑门的设计来确定。对于一个理想反相器，本征延时 $ p_{inv} $ 可以视为1，作为参考。&lt;/p&gt;
      &lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;理解&lt;/strong&gt;：寄生延时（本征延时）$ p $ 是指逻辑门内部由于寄生电容和电阻引起的延时。这里，$ R_{gate} $ 和 $ C_{par,gate} $ 分别是逻辑门的等效电阻和寄生电容，而 $ R_{INV} $ 和 $ C_{par,INV} $ 是理想反相器的等效电阻和寄生电容。$ \gamma_{INV} $ 是理想反相器的逻辑努力，它反映了反相器的内部复杂度。寄生延时 $ p $ 与逻辑门的内部复杂度和理想反相器的内部复杂度有关。可以这样理解：本征延时是指理论上最小可能的门延迟，它决定了在没有外部负载影响下逻辑门能够多快地响应输入变化，仅反映门内部的固有延迟，包括由于电容充电和MOS管的开关行为造成的延迟。设计时需要考虑本征延时来确保电路能够满足性能要求。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;&lt;strong&gt;以上三个参数只有电气扇出$h$与gate size有关，其他两个都与gate size无关（PPT6.2-P11）&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;这些参数——本征延时 $p$、逻辑努力 $g$ 和电气扇出 $h$ 之间存在密切的相互关系，它们共同描述了CMOS逻辑门电路的性能和延迟特性。下面是它们之间关系的概述(PPT6.2-P12有图像描述逻辑努力的意义)&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;本征延时 $p$&lt;/strong&gt; 与 &lt;strong&gt;逻辑努力 $g$&lt;/strong&gt; 和 &lt;strong&gt;电气扇出 $h$&lt;/strong&gt; 的结合，可以用来计算实际的门延迟 $d$。根据Logical Effort方法的基本公式，一个逻辑门的总延迟 $d$ 可以表达为：
\(d=g\cdot(\gamma_{gate}+h)=p+g\cdot h\)
其中，第一部分 $p$ 是门的固有延迟贡献，第二部分 $g\cdot h$ 描述了因驱动额外负载（超过单位电容 $C_{inv}$）而增加的延迟。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;逻辑努力 $g$&lt;/strong&gt; 和 &lt;strong&gt;电气扇出 $h$&lt;/strong&gt; 之间的平衡对于优化设计至关重要。逻辑努力较高的门（更复杂的逻辑功能）自然具有更大的延迟倾向，但通过设计具有较高电气扇出的电路，即增强其驱动负载的能力，可以在一定程度上补偿这种延迟。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;当一个门的电气扇出 $h$ 大于1时，表示该门有能力在不显著增加延迟的情况下驱动更多的负载（相对于一个单位反相器）。相反，如果 $h &amp;lt; 1$，则表明门的驱动能力不足以有效处理其指定的负载，导致延迟增加。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;h3 id=&quot;j-请补充下表的内容计算逻辑努力-g&quot;&gt;j) 请补充下表的内容（计算逻辑努力 g）：&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT6.2-P16有完整表格，推导在P15，难点在于计算等效电容&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;乘法器这里推导有点难了，直接看PPT往里填，其他推导（下图来自PPT6.2-P15，XOR和XNOR在第九题和第十题画过）：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/sidahda.jpg&quot; alt=&quot;sidahda&quot; /&gt;&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 70%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/VLSI/image-20240523113740999.png&quot; alt=&quot;Image 1&quot; style=&quot;width:100%&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/VLSI/XOR.jpg&quot; alt=&quot;Image 2&quot; style=&quot;width:100%&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;p&gt;由上图根据公式&lt;/p&gt;

\[g=\frac{R_{gate}\cdot C_{in,gate}}{R_{INV}\cdot C_{in,INV}}\]

&lt;p&gt;这里是标准门电路，等效电阻要求是$R_0$，也就是标准反相器的电阻$R_{INV}$，所以计算电容比值即可（要注意的是这里不是标准反相器的寄生电容$C_{par0}$而是标准反相器的输入电容$C_{in,INV}$）&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;tip：寄生电容$C_{par0}$和输入电容$C_{in}$（也用$C_{gate}$或$C_{g}$表示）的使用&lt;/p&gt;

  &lt;ul&gt;
    &lt;li&gt;在计算逻辑努力时：g和h用输入电容，p使用寄生电容&lt;/li&gt;
    &lt;li&gt;计算时延时：需要用到寄生电容和下一级的输入电容&lt;/li&gt;
  &lt;/ul&gt;
&lt;/blockquote&gt;

&lt;p&gt;标准反相器的逻辑努力是1&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/g.jpg&quot; alt=&quot;g&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;k-请补充下表内容计算本征延时-p&quot;&gt;k) 请补充下表内容（计算本征延时 p）&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;同样PPT6.2-P16有完整表格，推导在P15，难点在于计算等效电容&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;根据计算公式&lt;/p&gt;

\[p = \frac{R_{gate} \cdot C_{par,gate}}{R_{INV} \cdot C_{par,INV}} \cdot \gamma_{INV} ，其中  \gamma_{INV} = \frac{C_{par,INV}}{C_{in,INV}} \\
也就是p=\frac{R_{gate} \cdot C_{par,gate}}{R_{INV} \cdot C_{in,INV}}\]

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;类型&lt;/th&gt;
      &lt;th style=&quot;text-align: center&quot;&gt;Intrinsic Delay/Parasitic Delay(p)&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;INV&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;1&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;n-input NAND&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;$np_{inv}=n\times1=n$&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;n-input NOR&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;$np_{inv}=n\times1=n$&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;n-way multiplexer&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;$2np_{inv}=2n\times1=2n$&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;XOR, XNOR&lt;/td&gt;
      &lt;td style=&quot;text-align: center&quot;&gt;$n2^{n-1}p_{inv}=n2^{n-1}\times1=n2^{n-1}$&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h2 id=&quot;题目24&quot;&gt;题目24&lt;/h2&gt;

&lt;p&gt;24、（反相器链）设标准反相器的等效电阻为 $R_{INV}$，请计算出下图所示的反相器链的传播延时。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;可参考PPT6.2-P17&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521173541765.png&quot; alt=&quot;image-20240521173541765&quot; style=&quot;zoom:80%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;根据逻辑努力法，&lt;/p&gt;

\[D=\sum g_ih_i + \sum p_i\]

&lt;p&gt;对于反相器，p=1，g=1，有$C_{par,0}=C_{d0}$，那么只需要计算h即可（前面我们在第23(c)也分析得出了g和p都跟size无关，只有h与size有关）,根据公式（$C_{load}$也就是下一个门的输入）：&lt;/p&gt;

\[h=\frac{C_{load}}{C_{in,gate}}\]

&lt;p&gt;对于stage1：&lt;/p&gt;

\[C_{in,1}=(10+5)=15\\
C_{load,1}=C_{in,2}=(6+3)=9\\
h_1 = \frac{3}{5}\]

&lt;p&gt;对于stage2：&lt;/p&gt;

\[C_{in,2}=(6+3)=9\\
C_{load,2}=C_{in,3}=(16+8)=24\\
h_1 = \frac{8}{3}\]

&lt;p&gt;对于stage3：&lt;/p&gt;

\[C_{in,3}=(16+8)=24\\
C_{load,3}=C_{in,4}=(4+2)=6\\
h_1 = \frac{2}{8}=\frac{1}{4}\]

&lt;p&gt;对于stage4：&lt;/p&gt;

\[C_{in,4}=(4+2)=6\\
C_{load,4}=C_{L}=30\\
h_1 = \frac{30}{6}=5\]

&lt;p&gt;则&lt;/p&gt;

\[D=\frac{3}{5}+\frac{8}{3}+\frac{1}{4}+5+4 = \frac{751}{60}\]

&lt;p&gt;则&lt;/p&gt;

\[t_p=0.69 R_{INV}*3C_{par,0}*D =0.69* R_{INV}*\frac{751}{20}\\=0.69* R_{INV}*37.55=25.9095R_{INV}\]

&lt;h2 id=&quot;题目25&quot;&gt;题目25&lt;/h2&gt;

&lt;p&gt;25、（传播延时）“提出问题往往比解决问题更重要”，对于下图所示例题，如果只给出所有门的 $W_P:W_N$，能否计算出正确结果？如果只给出 S，能否计算？如果只给出反相器的构造信息，能否计算？请根据图中的条件使用&lt;strong&gt;传统方法&lt;/strong&gt;计算该电路的传播延时。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT6.1-P13&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521173616065.png&quot; alt=&quot;image-20240521173616065&quot; /&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;如果只给出所有门的 $W_P:W_N$（没有化到最简），那么可以计算出$h$，所以可以计算传播时延&lt;/li&gt;
  &lt;li&gt;如果只给出S（且知道元件符号），那么可以计算出$h$，所以可以计算传播时延&lt;/li&gt;
  &lt;li&gt;如果只给出反相器的构造信息（也就是没有size信息），那么不可以计算出$h$，所以不可以计算传播时延&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;传统方法：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/25.jpg&quot; alt=&quot;25&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;题目26&quot;&gt;题目26&lt;/h2&gt;

&lt;p&gt;请使用逻辑努力（Logical effort）方法计算上图中的例题。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;PPT6.2-P18&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/26.jpg&quot; alt=&quot;26&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;题目27&quot;&gt;题目27&lt;/h2&gt;

&lt;p&gt;对于下图所示电路，请计算出当传播延迟最小时，每一级电路的晶体管尺寸大小（假设对于单位宽度晶体管，$C_g$=1，$C_{par}$=1）。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/image-20240521173656592.png&quot; alt=&quot;image-20240521173656592&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/VLSI/27.jpg&quot; alt=&quot;27&quot; /&gt;&lt;/p&gt;
</description>
        <pubDate>Tue, 11 Jun 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/06/11/VLSI-HW/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/06/11/VLSI-HW/</guid>
        
        <category>VLSI</category>
        
        <category>NOTES</category>
        
        
      </item>
    
      <item>
        <title>基于PCA/LDA和KNN的人脸识别</title>
        <description>&lt;div align=&quot;center&quot; style=&quot;page-break-after: always;&quot;&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;img src=&quot;/img/in-post/PatternRecognition/sysu.png&quot; alt=&quot;img&quot; style=&quot;zoom:150%;&quot; /&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;20&quot; face=&quot;Impact&quot;&gt;
        Pattern Recognition
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;6&quot; face=&quot;Arial Black&quot;&gt;
        HW2 基于 PCA/LDA 和 KNN 的人脸识别
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Student ID: 21307381 &amp;nbsp;&amp;nbsp;
        Student Name: LJW &lt;br /&gt;
        &lt;br /&gt;
        Date: 2024.5.25
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Lectured by: Jinhua Ma&lt;br /&gt;
        Pattern Recognition&lt;br /&gt;
        Sun Yat-sen University&lt;br /&gt;
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
&lt;/div&gt;

&lt;h1 id=&quot;基于-pcalda-和-knn-的人脸识别&quot;&gt;基于 PCA/LDA 和 KNN 的人脸识别&lt;/h1&gt;

&lt;h2 id=&quot;实验目的&quot;&gt;实验目的&lt;/h2&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;熟悉并掌握 PCA、 LDA 的基本原理，并应用 PCA 和 LDA 实现数据降维&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;熟悉利用 KNN 分类器对样本进行分类&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;实验要求&quot;&gt;实验要求&lt;/h2&gt;

&lt;ol&gt;
  &lt;li&gt;提交实验报告，要求有适当步骤说明和结果分析&lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;将代码和结果打包提交&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;不能直接调用现有的库函数提供的 PCA、 LDA、 KNN 接口&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;实验内容&quot;&gt;实验内容&lt;/h2&gt;

&lt;ol&gt;
  &lt;li&gt;自己实现 PCA 和 LDA 数据降维算法以及 KNN 分类器&lt;/li&gt;
  &lt;li&gt;利用实现的两种降维算法对数据进行降维&lt;/li&gt;
  &lt;li&gt;利用降维后的结果，用 KNN 进行训练和测试&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;实验过程&quot;&gt;实验过程&lt;/h2&gt;

&lt;h3 id=&quot;一-实现-pca-函数接口&quot;&gt;一． 实现 PCA 函数接口&lt;/h3&gt;

&lt;p&gt;实现一个你自己的 PCA 函数。 PCA 函数的主要流程是：先对计算数据的协方差矩阵，然后在对协方差矩阵进行 SVD 分解，得到对应的特征值和特征向量。&lt;/p&gt;

&lt;h3 id=&quot;二-实现-lda-函数接口&quot;&gt;二． 实现 LDA 函数接口&lt;/h3&gt;

&lt;p&gt;实现一个你自己的 LDA 函数。 LDA 函数的主要流程是： 将样本数据按照类别进行分组，计算每个类别样本的均值向量。 计算类内散度矩阵与类间散度矩阵，利用二者得到投影矩阵，并用其进行数据降维。&lt;/p&gt;

&lt;h3 id=&quot;三-利用数据降维算法对输入数据进行降维&quot;&gt;三． 利用数据降维算法对输入数据进行降维&lt;/h3&gt;

&lt;p&gt;读取 yale face 数据集 Yale_64x64.mat，将数据集划分为训练和测试集，数据集读取划分代码如下。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;scipy&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;io&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;io&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loadmat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;Yale_64x64.mat&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ins_perclass&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;class_number&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train_test_split&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;11&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;15&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;9&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;input_dim&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;fea&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;feat&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;fea&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ins_perclass&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_dim&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;label&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;gnd&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ins_perclass&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;train_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;test_data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;feat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train_test_split&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,:].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_dim&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;feat&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train_test_split&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:,:].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_dim&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;train_label&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;test_label&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;label&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train_test_split&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;label&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train_test_split&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;只用训练集数据来学习 PCA 和 LDA 算法中的投影矩阵，并分别将两个方法相应的前 8 个特征向量变换回原来图像的大小进行显示。&lt;/p&gt;

&lt;p&gt;然后对训练和测试数据用 PCA 和 LDA 分别进行数据降维（使用所学习的投影矩阵） 。&lt;/p&gt;

&lt;p&gt;最后对采取 reduced_dim=2，即降维到 2 维后的训练和测试数据进行可视化，展示降维的效果（例如用第一维做 x，第二维做 y，不同类别采用不同颜色绘制散点图，这里只表示三类的情况，报告中应该是 15 个类）&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW2/image-20240513175230305.png&quot; alt=&quot;image-20240513175230305&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;四-利用-knn-算法进行训练和测试&quot;&gt;四． 利用 KNN 算法进行训练和测试&lt;/h3&gt;

&lt;p&gt;利用降维后的训练数据作为 KNN 算法训练数据，降维后的测试数据作为评估 KNN 分类效果的测试集，分析在测试集上的准确率（压缩后的维度对准确率的影响，至少要给出压缩到 8 维的准确率）。&lt;/p&gt;

&lt;p&gt;拓展：尝试利用不同的分类器，如 SVM 等达到更好的准确率。此部分允许调库。&lt;/p&gt;

&lt;h1 id=&quot;实现pca接口&quot;&gt;实现PCA接口&lt;/h1&gt;

&lt;h2 id=&quot;介绍pca&quot;&gt;介绍PCA&lt;/h2&gt;

&lt;p&gt;PCA（principal component analysis），主成分分析法是一&lt;strong&gt;种无监督学习&lt;/strong&gt;的&lt;strong&gt;降维&lt;/strong&gt;技术，它的目标是将高维数据投影到低维空间中，使得投影后的数据能够保留原始数据的大部分信息。也就是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分（方差最大的方向），是在原有n维特征的基础上重新构造出来的k维特征。&lt;/p&gt;

&lt;p&gt;PCA的工作就是从原始的空间中顺序的找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，&lt;strong&gt;第一个新坐标轴选择是原始数据中方差最大的方向&lt;/strong&gt;，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大，第三个轴是与第1、2个轴正交的平面中方差最大的。以此类推，可以得到n个这样的坐标轴。&lt;/p&gt;

&lt;p&gt;通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。&lt;/p&gt;

&lt;p&gt;所以选择包含最大差异性的主成分方向，也就是计算数据矩阵的&lt;strong&gt;协方差矩阵&lt;/strong&gt;，然后得到协方差矩阵的&lt;strong&gt;特征值特征向量&lt;/strong&gt;，选择&lt;strong&gt;特征值最大(即方差最大)的k个特征&lt;/strong&gt;所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。&lt;/p&gt;

&lt;p&gt;得到&lt;strong&gt;协方差矩阵&lt;/strong&gt;的特征值特征向量有两种方法：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;特征值分解&lt;/strong&gt;协方差矩阵、&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;奇异值分解（SVD）&lt;/strong&gt;协方差矩阵，&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;所以PCA算法有两种实现方法：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;基于特征值分解协方差矩阵实现PCA算法&lt;/li&gt;
  &lt;li&gt;基于SVD分解协方差矩阵实现PCA算法。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;接下来我们使用SVD分解实现PCA算法。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;SVD的推导见【附录-前驱知识-SVD】&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;pca算法流程&quot;&gt;PCA算法流程&lt;/h2&gt;

&lt;p&gt;PCA可以通过以下几个步骤推导：&lt;/p&gt;

&lt;p&gt;输入：数据集 $X={ x_{1},x_{2},x_{3},…,x_{n} }$ ，需要降到k维。&lt;/p&gt;

&lt;p&gt;1) 对数据进行中心化处理，即每一位特征减去各自的平均值。&lt;/p&gt;

&lt;p&gt;2) 计算数据的协方差矩阵。&lt;/p&gt;

&lt;p&gt;3) 通过SVD计算协方差矩阵的特征值与特征向量。&lt;/p&gt;

&lt;p&gt;4) 对特征值从大到小排序，选择其中最大的k个。然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵，作为投影矩阵。&lt;/p&gt;

&lt;p&gt;5) 将数据转换到k个特征向量构建的新空间中。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;&lt;strong&gt;基于特征值分解协方差矩阵&lt;/strong&gt;实现PCA算法时，我们需要找到样本协方差矩阵$ XX^T$ 的最大k个特征向量，然后用这最大的k个特征向量组成的矩阵来做低维投影降维。可以看出，在这个过程中需要先求出协方差矩阵$ XX^T$，当样本数多、样本特征数也多的时候，这个计算还是很大的。当我们用到SVD分解协方差矩阵的时候，SVD有两个好处：&lt;/p&gt;

&lt;p&gt;1) 有一些SVD的实现算法可以先不求出协方差矩阵 $XX^T $也能求出我们的右奇异矩阵V。也就是说，我们的PCA算法可以不用做特征分解而是通过SVD来完成，这个方法在样本量很大的时候很有效。实际上，scikit-learn的PCA算法的背后真正的实现就是用的SVD，而不是特征值分解。
1) 注意到PCA仅仅使用了我们SVD的左奇异矩阵，没有使用到右奇异值矩阵，那么右奇异值矩阵有什么用呢？&lt;/p&gt;

&lt;p&gt;假设我们的样本是$m\times n$的矩阵X，如果我们通过SVD找到了矩阵$ X^TX$ 最大的k个特征向量组成的$k\times n$的矩阵 $V^T$ ,则我们可以做如下处理：&lt;/p&gt;

\[X_{m*k}^{&apos;}=X_{m*n}V_{n*k}^{T}\]

&lt;p&gt;可以得到一个$m\times k$的矩阵$X’$,这个矩阵和我们原来$m\times n$的矩阵$X$相比，列数从n减到了k，可见对列数进行了压缩。也就是说，&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;左奇异矩阵可以用于对行数的压缩；&lt;/li&gt;
  &lt;li&gt;右奇异矩阵可以用于对列(即特征维度)的压缩。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;这就是我们用SVD分解协方差矩阵实现PCA可以得到两个方向的PCA降维(即行和列两个方向)。&lt;/p&gt;

&lt;h2 id=&quot;实现代码&quot;&gt;实现代码&lt;/h2&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;PCA&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n_components&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 1.对数据进行中心化处理
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;axis&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;centered_data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 2.计算数据的协方差矩阵
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;cov_matrix&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cov&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;centered_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rowvar&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;False&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 3.通过SVD计算协方差矩阵的特征值与特征向量
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;U&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;S&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Vt&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;linalg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;svd&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cov_matrix&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 4.对特征值从大到小排序，选择其中最大的k个。然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵，作为投影矩阵。
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;components&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Vt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_components&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 5. 将数据转换到k个特征向量构建的新空间中
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;projected_data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;centered_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;components&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;projected_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;components&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h1 id=&quot;实现lda接口&quot;&gt;实现LDA接口&lt;/h1&gt;

&lt;h2 id=&quot;介绍lda&quot;&gt;介绍LDA&lt;/h2&gt;

&lt;p&gt;LDA（Linear Discriminant Analysis），线性判别分析。LDA是一种&lt;strong&gt;监督学习&lt;/strong&gt;的降维技术(与PCA不同)。主要用于数据预处理中的降维、分类任务。LDA的目标是&lt;strong&gt;最大化类间区分度&lt;/strong&gt;的坐标轴成分，将特征空间投影到一个维度更小的k维子空间中，同时保持区分类别的信息。简而言之，LDA投影后不同类别的数据在低维空间中&lt;strong&gt;类内方差最小，类间方差最大&lt;/strong&gt;。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;也就是我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW2/1042406-20170103121629034-435985945.png&quot; alt=&quot;img&quot; style=&quot;zoom:80%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;从直观上可以看出，右图要比左图的投影效果好，因为右图的黑色数据和蓝色数据各个较为集中，且类别之间的距离明显。左图则在边界处数据混杂。以上就是LDA的主要思想了，当然在实际应用中，我们的数据是多个类别的，我们的原始数据一般也是超过二维的，投影后的也一般不是直线，而是一个低维的超平面。&lt;/p&gt;

&lt;h3 id=&quot;数学基础知识&quot;&gt;数学基础知识&lt;/h3&gt;

&lt;p&gt;&lt;strong&gt;瑞利商&lt;/strong&gt;$R(A,x)$定义：&lt;/p&gt;

\[R(A,x) = \frac{x^HAx}{x^Hx}\]

&lt;p&gt;其中$x$为非零向量，而$A$为$n \times n$的Hermitan矩阵（自共轭矩阵，满足共轭转置矩阵和自己相等的矩阵，即$A^H=A$，矩阵中每一个第i行第j列的元素 都与 第j行第i列的元素的共轭相等）如果矩阵A是实矩阵，则满足$A^T=A$的矩阵即为Hermitan矩阵。&lt;/p&gt;

&lt;p&gt;性质：瑞利商最大值等于矩阵A最大的特征值，最小值等于矩阵A的最小特征值&lt;/p&gt;

\[\lambda_{min} \leqslant \frac{x^HAx}{x^Hx} \leqslant \lambda_{max}\]

&lt;hr /&gt;

&lt;p&gt;&lt;strong&gt;广义瑞利商&lt;/strong&gt;$R(A,B,x)$定义：&lt;/p&gt;

\[R(A,x) = \frac{x^HAx}{x^HBx}\]

&lt;p&gt;其中 $x$ 为非零向量，而$A,B$为$n \times n$的Hermitan矩阵。$B$为正定矩阵。&lt;/p&gt;

&lt;p&gt;最大值为矩阵 $B^{-\frac{1}{2}}AB^{\frac{-1}{2}} $的最大特征值，或者说矩阵$ B^{-1}A $的最大特征值，最小值是其最小特征值&lt;/p&gt;

&lt;h3 id=&quot;两类lda原理&quot;&gt;两类LDA原理&lt;/h3&gt;

&lt;p&gt;假设数据集$ D={(x_1,y_1),(x_2,y_2),……,(x_m,y_m)} $其中任意$ x_i $为n维向量&lt;/p&gt;

&lt;p&gt;第j类样本的均值向量：&lt;/p&gt;

\[\mu_j = \frac{1}{n_j}\sum x(j=0,1)\]

&lt;p&gt;第j类样本的协方差矩阵：&lt;/p&gt;

\[\Sigma_j = \sum (x-\mu_j)(x-\mu_j)^T (j=0,1)\]

&lt;p&gt;由于是两类数据，因此我们只需要将数据投影到一条直线上即可，假设投影直线是向量 $\omega$ ,则对任意一个样本$ x_i$ ,它在直线$ \omega $的投影为$ \omega^Tx_i $,对于我们的两个类别的中心点 $\mu_0,\mu_1$ ,在在直线$ \omega $的投影为 $\omega^T\mu_0 , \omega^T\mu_1$ 。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;由于LDA需要让不同类别的数据的类别中心之间的距离尽可能的大，也就是我们要最大化$\space \space \space \space \space \space$              $\parallel \omega^T\mu_0−\omega^T\mu_1\parallel _2^2 $&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;同时我们希望同一种类别数据的投影点尽可能的接近，也就是要同类样本投影点的协方差 $\omega^T\Sigma_0\omega$ 和 $\omega^T\Sigma_1\omega $尽可能的小，即最小化 $\omega^T\Sigma_0\omega+\omega^T\Sigma_1\omega $。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;综上所述，我们的优化目标为：&lt;/p&gt;

\[arg max J(\omega) = \frac{||\omega^T\mu_0-\omega^T\mu_1||_2^2}{\omega^T\Sigma_0\omega+\omega^T\Sigma_1\omega} = \frac{\omega^T(\mu_0-\mu_1)(\mu_0-\mu_1)^T\omega}{\omega^T(\Sigma_0+\Sigma_1)\omega}\]

&lt;p&gt;类内散度矩阵 $S_\omega$ 为：&lt;/p&gt;

\[S_\omega = \Sigma_0 + \Sigma_1 = \sum(x-\mu_0)(x-\mu_0)^T+ \sum(x-\mu_1)(x-\mu_1)^T\]

&lt;p&gt;类间散度矩阵 $S_b$ 为：&lt;/p&gt;

\[S_b = (\mu_0-\mu_1)(\mu_0-\mu_1)^T\]

&lt;p&gt;优化目标重新定义：&lt;/p&gt;

\[argmax J(\omega) = \frac{\omega^TS_b\omega}{\omega^TS_\omega\omega}\]

&lt;p&gt;这就是广义瑞利商，最大值就是 $S_\omega^{-1}S_b $的最大特征值&lt;/p&gt;

&lt;h3 id=&quot;多类lda原理&quot;&gt;多类LDA原理&lt;/h3&gt;

&lt;p&gt;优化目标：&lt;/p&gt;

\[argmax J(\omega) = \frac{\prod \omega^TS_b\omega}{\prod \omega^TS_\omega\omega} = \prod \frac{\omega^TS_b\omega}{\omega^TS_\omega\omega}\]

&lt;p&gt;特征向量最多有k-1个&lt;/p&gt;

&lt;h3 id=&quot;优点&quot;&gt;优点&lt;/h3&gt;

&lt;ul&gt;
  &lt;li&gt;在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。&lt;/li&gt;
  &lt;li&gt;LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;缺点&quot;&gt;缺点&lt;/h3&gt;

&lt;ul&gt;
  &lt;li&gt;LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。&lt;/li&gt;
  &lt;li&gt;LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些LDA的进化版算法可以绕过这个问题。&lt;/li&gt;
  &lt;li&gt;LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好。&lt;/li&gt;
  &lt;li&gt;LDA可能过度拟合数据。&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;lda算法流程&quot;&gt;LDA算法流程&lt;/h2&gt;

&lt;p&gt;输入：数据集$D={(x_1,y_1), (x_2,y_2), …,((x_m,y_m))}$,其中任意样本$x_i$为n维向量，$y_i \in {C_1,C_2,…,C_k}$，降维到的维度d。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;因为LDA是&lt;strong&gt;监督学习&lt;/strong&gt;，所以与PCA相比需要输入标签&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;0) 中心化数据&lt;/p&gt;

&lt;p&gt;1) 计算每个类别的均值向量。&lt;/p&gt;

&lt;p&gt;2) 计算类间散度矩阵$S_b$和计算类内散度矩阵$S_w$&lt;/p&gt;

&lt;p&gt;3) 计算类内散度矩阵的逆与类间散度矩阵的乘积$S_w^{-1}S_b$，求解特征值和特征向量矩阵&lt;/p&gt;

&lt;p&gt;4) 计算$S_w^{-1}S_b$的最大的k个特征值和对应的k个特征向量$(w_1,w_2,…w_d)$,得到投影矩阵$W$&lt;/p&gt;

&lt;p&gt;5) 对样本集中的每一个样本特征$x_i$,转化为新的样本$z_i=W^Tx_i$&lt;/p&gt;

&lt;p&gt;6) 得到输出样本集$D’={(z_1,y_1), (z_2,y_2), …,((z_m,y_m))}$&lt;/p&gt;

&lt;h2 id=&quot;实现代码-1&quot;&gt;实现代码&lt;/h2&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;LDA&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Y&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n_components&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 1) 计算每个类别的均值向量。
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;class_means&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;unique_classes&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unique&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Y&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;c&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;unique_classes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;X_c&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Y&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;class_means&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X_c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;axis&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 2) 计算类间散度矩阵$S_b$和计算类内散度矩阵$S_w$
&lt;/span&gt;    &lt;span class=&quot;c1&quot;&gt;# 计算类内散度矩阵
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;within_class_scatter_matrix&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;zeros&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]))&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;zip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unique_classes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;class_means&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;X_c&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Y&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;scatter_matrix&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;zeros&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]))&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;row&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X_c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;row&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;row&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;scatter_matrix&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;row&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;row&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;within_class_scatter_matrix&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;scatter_matrix&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 计算类间散度矩阵
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;overall_mean&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;axis&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;between_class_scatter_matrix&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;zeros&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]))&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;zip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unique_classes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;class_means&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;n&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Y&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;overall_mean&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;overall_mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;between_class_scatter_matrix&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;overall_mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mean&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;overall_mean&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 3) 计算类内散度矩阵的逆与类间散度矩阵的乘积$S_w^{-1}S_b$，求解特征值和特征向量矩阵
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;eigvalues&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;eigvectors&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;linalg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;eigh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;linalg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;inv&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;within_class_scatter_matrix&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;@&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;between_class_scatter_matrix&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;eigvectors&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;eigvectors&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;argsort&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;eigvalues&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)[::&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]]&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 4) 计算$S_w^{-1}S_b$的最大的k个特征值和对应的k个特征向量$(w_1,w_2,...w_d)$,得到投影矩阵$W$
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;components&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;eigvectors&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n_components&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 将数据投影到新的空间中
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;X_lda&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;components&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X_lda&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;components&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h1 id=&quot;利用数据降维算法对输入数据进行降维&quot;&gt;利用数据降维算法对输入数据进行降维&lt;/h1&gt;

&lt;blockquote&gt;
  &lt;p&gt;只用训练集数据来学习 PCA 和 LDA 算法中的投影矩阵，并分别将两个方法相应的前 8 个特征向量变换回原来图像的大小进行显示。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;展示所有图像：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW2/Figure_0.png&quot; alt=&quot;Figure_0&quot; /&gt;写一个转换的函数：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;transformToRaw&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;components&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;axes&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subplots&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;12&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;6&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;range&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;8&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;axes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;//&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;%&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;eigenvector&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;components&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;64&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;64&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;imshow&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;eigenvector&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cmap&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;gray&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_title&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;PCA Component &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;axis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;off&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tight_layout&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;show&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;只用训练集数据来计算 PCA 和 LDA 算法中的投影矩阵，然后调用即可：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 使用PCA学习投影矩阵
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;projected_data_pca&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;components_pca&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;PCA&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n_components&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;8&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# 将特征向量变换回原始图像的大小并显示
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transformToRaw&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;components_pca&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 使用LDA学习投影矩阵
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;projected_data_lda&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;components_lda&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;LDA&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;train_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;train_label&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n_components&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;8&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;c1&quot;&gt;# 将特征向量变换回原始图像的大小并显示
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transformToRaw&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;components_lda&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;PCA：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW2/Figure_1.png&quot; alt=&quot;Figure_1&quot; style=&quot;zoom: 80%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;LDA：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW2/Figure_2.png&quot; alt=&quot;Figure_2&quot; style=&quot;zoom:80%;&quot; /&gt;&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;然后对训练和测试数据用 PCA 和 LDA 分别进行数据降维（使用所学习的投影矩阵）。最后对采取 reduced_dim=2，即降维到 2 维后的训练和测试数据进行可视化，展示降维的效果（例如用第一维做 x，第二维做 y，不同类别采用不同颜色绘制散点图，这里只表示三类的情况，报告中应该是 15 个类）&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW2/Figure_3.png&quot; alt=&quot;Figure_3&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW2/Figure_4.png&quot; alt=&quot;Figure_4&quot; /&gt;&lt;/p&gt;

&lt;h1 id=&quot;利用-knn-算法进行训练和测试&quot;&gt;利用 KNN 算法进行训练和测试&lt;/h1&gt;

&lt;blockquote&gt;
  &lt;p&gt;利用降维后的训练数据作为 KNN 算法训练数据，降维后的测试数据作为评估 KNN 分类效果的测试集，分析在测试集上的准确率（压缩后的维度对准确率的影响，至少要给出压缩到 8 维的准确率）。&lt;/p&gt;

  &lt;p&gt;拓展：尝试利用不同的分类器，如 SVM 等达到更好的准确率。此部分允许调库。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;介绍knn&quot;&gt;介绍KNN&lt;/h2&gt;

&lt;p&gt;KNN，即K-Nearest Neighbors（K最近邻算法），是一种基于距离的&lt;strong&gt;监督&lt;/strong&gt;学习算法，广泛应用于分类和回归问题。它的核心思想是：&lt;strong&gt;在特征空间中找到与目标点距离最近的K个点，根据这K个点的类别分布，来预测目标点的类别&lt;/strong&gt;（分类问题），或者计算这K个点的属性值的平均值，来预测目标点的属性值（回归问题）。&lt;/p&gt;

&lt;h3 id=&quot;knn算法的特点&quot;&gt;KNN算法的特点：&lt;/h3&gt;
&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;简单直观&lt;/strong&gt;：算法原理简单，容易理解和实现。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;无需训练&lt;/strong&gt;：KNN是一种惰性学习算法，它不需要在训练阶段建立模型，所有的计算都是在预测阶段进行。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;对数据敏感&lt;/strong&gt;：KNN对数据的分布非常敏感，因此对噪声和异常点比较敏感。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;计算量大&lt;/strong&gt;：在预测阶段需要计算目标点与训练集中每个点的距离，当训练集很大时，计算量会非常大。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;存储空间大&lt;/strong&gt;：需要存储全部数据集，对存储空间的需求较大。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;维度灾难&lt;/strong&gt;：当特征空间的维度很高时，KNN算法的性能会下降，可以通过降维技术来缓解这一问题。&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;knn算法流程&quot;&gt;KNN算法流程&lt;/h2&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;距离度量&lt;/strong&gt;：计算训练集中每个点与目标点之间的距离。常用的距离度量方法包括欧氏距离、曼哈顿距离等。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;找到K个最近邻&lt;/strong&gt;：根据距离度量结果，找出距离目标点最近的K个点。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;决策规则&lt;/strong&gt;（分类问题）：
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;多数投票&lt;/strong&gt;：统计这K个最近邻点中每个类别的数量，预测目标点属于数量最多的类别。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;加权投票&lt;/strong&gt;：根据距离的远近来加权，距离越近的点对预测结果的影响越大。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;实现代码-2&quot;&gt;实现代码&lt;/h2&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;euclidean_distance&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;a&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;b&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;计算两个点之间的欧几里得距离&quot;&quot;&quot;&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sqrt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;a&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;b&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;**&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;


&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;knn_predict&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;X_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X_test&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;predictions&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;x&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X_test&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 1.距离度量:计算未知样本与训练集中每个样本的距离
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;distances&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;euclidean_distance&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;train_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;train_x&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;X_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# 2.找出距离最近的K个邻居的索引
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;k_indices&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;argsort&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;distances&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)[:&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 获取这K个邻居的类别
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;k_nearest_labels&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k_indices&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

        &lt;span class=&quot;c1&quot;&gt;# 3.决策规则
&lt;/span&gt;        &lt;span class=&quot;c1&quot;&gt;# 统计邻居中每个类别的频率
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;label_counts&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bincount&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;k_nearest_labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# 选择频率最高的类别作为未知样本的类别
&lt;/span&gt;        &lt;span class=&quot;n&quot;&gt;most_common_label&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;argmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;label_counts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

        &lt;span class=&quot;n&quot;&gt;predictions&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;most_common_label&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;predictions&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;结果&quot;&gt;结果&lt;/h2&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;n&quot;&gt;PCA压缩到8维的准确率&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;：&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.9&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;LDA压缩到8维的准确率&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;：&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.9333333333333333&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;调库使用KNN库的结果也是这样，说明KNN的实现没有问题，&lt;/p&gt;

&lt;h3 id=&quot;进一步探索&quot;&gt;进一步探索&lt;/h3&gt;

&lt;p&gt;同时使用其他的分类器，结果如下：&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;超参数选择默认，SVM的核函数选rbf&lt;/p&gt;
&lt;/blockquote&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;PCA压缩到8维的KNN准确率： 0.9
LDA压缩到8维的KNN准确率： 0.9333333333333333

PCA压缩到8维的SVM准确率： 0.7333333333333333
LDA压缩到8维的SVM准确率： 0.7666666666666667

PCA压缩到8维的决策树准确率： 0.6
LDA压缩到8维的决策树准确率： 0.6333333333333333

PCA压缩到8维的随机森林准确率： 0.8333333333333334
LDA压缩到8维的随机森林准确率： 0.8333333333333334
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;进一步，探索压缩到不同维度时的分类准确率&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;压缩技术&lt;/th&gt;
      &lt;th&gt;维度&lt;/th&gt;
      &lt;th&gt;KNN准确率&lt;/th&gt;
      &lt;th&gt;SVM准确率&lt;/th&gt;
      &lt;th&gt;决策树准确率&lt;/th&gt;
      &lt;th&gt;随机森林准确率&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;PCA&lt;/td&gt;
      &lt;td&gt;8&lt;/td&gt;
      &lt;td&gt;0.9&lt;/td&gt;
      &lt;td&gt;0.7333334&lt;/td&gt;
      &lt;td&gt;0.6&lt;/td&gt;
      &lt;td&gt;0.8333334&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;LDA&lt;/td&gt;
      &lt;td&gt;8&lt;/td&gt;
      &lt;td&gt;0.9333334&lt;/td&gt;
      &lt;td&gt;0.7666667&lt;/td&gt;
      &lt;td&gt;0.6333333&lt;/td&gt;
      &lt;td&gt;0.8333334&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;PCA&lt;/td&gt;
      &lt;td&gt;6&lt;/td&gt;
      &lt;td&gt;0.7666667&lt;/td&gt;
      &lt;td&gt;0.6666667&lt;/td&gt;
      &lt;td&gt;0.7333333&lt;/td&gt;
      &lt;td&gt;0.9&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;LDA&lt;/td&gt;
      &lt;td&gt;6&lt;/td&gt;
      &lt;td&gt;0.8&lt;/td&gt;
      &lt;td&gt;0.6666667&lt;/td&gt;
      &lt;td&gt;0.5666667&lt;/td&gt;
      &lt;td&gt;0.8&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;PCA&lt;/td&gt;
      &lt;td&gt;4&lt;/td&gt;
      &lt;td&gt;0.6333333&lt;/td&gt;
      &lt;td&gt;0.4&lt;/td&gt;
      &lt;td&gt;0.5333333&lt;/td&gt;
      &lt;td&gt;0.7666667&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;LDA&lt;/td&gt;
      &lt;td&gt;4&lt;/td&gt;
      &lt;td&gt;0.8&lt;/td&gt;
      &lt;td&gt;0.7333333&lt;/td&gt;
      &lt;td&gt;0.4333333&lt;/td&gt;
      &lt;td&gt;0.6666667&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;PCA&lt;/td&gt;
      &lt;td&gt;2&lt;/td&gt;
      &lt;td&gt;0.3&lt;/td&gt;
      &lt;td&gt;0.2&lt;/td&gt;
      &lt;td&gt;0.3333333&lt;/td&gt;
      &lt;td&gt;0.3&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;LDA&lt;/td&gt;
      &lt;td&gt;2&lt;/td&gt;
      &lt;td&gt;0.5&lt;/td&gt;
      &lt;td&gt;0.4&lt;/td&gt;
      &lt;td&gt;0.3666667&lt;/td&gt;
      &lt;td&gt;0.5&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;PCA&lt;/td&gt;
      &lt;td&gt;10&lt;/td&gt;
      &lt;td&gt;0.9333333&lt;/td&gt;
      &lt;td&gt;0.8&lt;/td&gt;
      &lt;td&gt;0.7666667&lt;/td&gt;
      &lt;td&gt;0.9&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;LDA&lt;/td&gt;
      &lt;td&gt;10&lt;/td&gt;
      &lt;td&gt;0.9333333&lt;/td&gt;
      &lt;td&gt;0.8&lt;/td&gt;
      &lt;td&gt;0.6666667&lt;/td&gt;
      &lt;td&gt;0.8666667&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;PCA&lt;/td&gt;
      &lt;td&gt;12&lt;/td&gt;
      &lt;td&gt;0.9333333&lt;/td&gt;
      &lt;td&gt;0.9&lt;/td&gt;
      &lt;td&gt;0.7&lt;/td&gt;
      &lt;td&gt;0.9666667&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;LDA&lt;/td&gt;
      &lt;td&gt;12&lt;/td&gt;
      &lt;td&gt;0.9666667&lt;/td&gt;
      &lt;td&gt;0.8333334&lt;/td&gt;
      &lt;td&gt;0.7&lt;/td&gt;
      &lt;td&gt;0.9666667&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;PCA&lt;/td&gt;
      &lt;td&gt;14&lt;/td&gt;
      &lt;td&gt;0.9333333&lt;/td&gt;
      &lt;td&gt;0.9&lt;/td&gt;
      &lt;td&gt;0.6666667&lt;/td&gt;
      &lt;td&gt;0.9666667&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;LDA&lt;/td&gt;
      &lt;td&gt;14&lt;/td&gt;
      &lt;td&gt;1.0&lt;/td&gt;
      &lt;td&gt;0.8333334&lt;/td&gt;
      &lt;td&gt;0.6666667&lt;/td&gt;
      &lt;td&gt;0.9333333&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;ul&gt;
  &lt;li&gt;KNN分类器的平均准确率为 0.8&lt;/li&gt;
  &lt;li&gt;SVM分类器的平均准确率为 0.7&lt;/li&gt;
  &lt;li&gt;决策树分类器的平均准确率为 0.6222222&lt;/li&gt;
  &lt;li&gt;随机森林分类器的平均准确率为 0.8777778&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;不同维度平均准确率：&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;压缩技术&lt;/th&gt;
      &lt;th&gt;KNN&lt;/th&gt;
      &lt;th&gt;SVM&lt;/th&gt;
      &lt;th&gt;决策树&lt;/th&gt;
      &lt;th&gt;随机森林&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;PCA&lt;/td&gt;
      &lt;td&gt;0.77&lt;/td&gt;
      &lt;td&gt;0.64&lt;/td&gt;
      &lt;td&gt;0.58&lt;/td&gt;
      &lt;td&gt;0.84&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;LDA&lt;/td&gt;
      &lt;td&gt;0.86&lt;/td&gt;
      &lt;td&gt;0.73&lt;/td&gt;
      &lt;td&gt;0.55&lt;/td&gt;
      &lt;td&gt;0.81&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;&lt;strong&gt;综合分析：&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;KNN&lt;/strong&gt;：在PCA和LDA降维后，随着维度的增加，KNN的准确率先是提高，然后在较高维度时保持稳定。在LDA降维到14维时，准确率达到了1.0，这可能是由于LDA在降维时考虑了类别之间的判别信息，使得KNN能够在较低维空间中有效地进行分类。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;SVM&lt;/strong&gt;：SVM在PCA降维后的性能不如LDA，特别是在低维空间中，SVM的准确率显著下降。这可能是因为PCA是一种无监督学习方法，不考虑类别信息，可能导致分类性能下降。然而，SVM在LDA降维后的性能有所提高，尤其是在较高维度时。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;决策树&lt;/strong&gt;：决策树在PCA和LDA降维后的性能都不如KNN和随机森林。随着维度的减少，决策树的准确率下降较快，这可能是因为决策树对特征的区分能力有限，需要更多的特征来辅助分类。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;随机森林&lt;/strong&gt;：随机森林在PCA和LDA降维后的性能都非常好，即使在低维空间中也能保持较高的准确率。这可能是因为随机森林作为一种集成学习算法，通过构建多个决策树并进行投票，提高了模型的泛化能力。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;结论：&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
  &lt;li&gt;降维技术对分类器的性能有显著影响。PCA和LDA作为降维技术，它们对不同分类器的影响不同。LDA通常更适合分类问题，因为它考虑了类别之间的判别信息。&lt;/li&gt;
  &lt;li&gt;不同的分类器对降维后的特征空间敏感度不同，不是所有的分类器都适合在低维空间中工作。KNN和随机森林在较低维空间中仍然能够保持较好的分类性能，而SVM和决策树可能需要更多的特征维度来维持性能。&lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;KNN和随机森林在较低维空间中表现较好，但也需要避免维度过低，以防丢失重要信息。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;之后还尝试了更高维的数据，发现并不是保留维度越多分类越准确。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;实验结果表明，降维并不是维度越低越好，需要根据具体算法和数据集特性来选择最合适的维度。&lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;附录-前驱知识&quot;&gt;附录-前驱知识&lt;/h1&gt;

&lt;h2 id=&quot;特征值和特征向量&quot;&gt;特征值和特征向量&lt;/h2&gt;

&lt;p&gt;首先回顾下特征值和特征向量的定义如下：&lt;/p&gt;

\[Ax=\lambda x\]

&lt;p&gt;其中 A 是一个 $n\times n$ 矩阵， x 是一个 n 维向量，则 $\lambda $是矩阵 A 的一个特征值，而 x 是矩阵 A 的特征值$ \lambda $所对应的特征向量。&lt;/p&gt;

&lt;p&gt;求出特征值和特征向量有什么好处呢？ 就是我们可以将矩阵A特征分解。如果我们求出了矩阵A的n个特征值$ \lambda_{1}\leq \lambda_{2}\leq… \leq \lambda_{n} $，以及这 n 个特征值所对应的特征向量 ${ w_{1},w_{2},…,w_{n} }$，&lt;/p&gt;

&lt;p&gt;那么矩阵A就可以用下式的特征分解表示：&lt;/p&gt;

\[A=W\Sigma W^{-1}\]

&lt;p&gt;其中W是这n个特征向量所张成的n×n维矩阵，而$Σ$为这n个特征值为&lt;strong&gt;主对角线&lt;/strong&gt;的n×n维矩阵。&lt;/p&gt;

&lt;p&gt;一般我们会把W的这n个特征向量标准化，即满足$ \parallel  w_{i} \parallel_{2}=1 $，或者$ w_{i}^{T}w_{i}=1$ ，此时W的n个特征向量为&lt;strong&gt;标准正交基&lt;/strong&gt;，满足 $W^{T}W=I $，即 $W^{T}=W^{-1} $，也就是说W为酉矩阵。(酉矩阵是指其转置的共轭等于其逆，即$ 𝑊^𝑇=𝑊^{−1}$)&lt;/p&gt;

&lt;p&gt;这样我们的特征分解表达式可以写成&lt;/p&gt;

\[A=W\Sigma W^{T}\]

&lt;p&gt;注意到要进行特征分解，矩阵A必须为方阵。&lt;/p&gt;

&lt;p&gt;那么如果A不是方阵，即行和列不相同时，我们还可以对矩阵进行分解吗？答案是可以，此时就需要使用SVD了。&lt;/p&gt;

&lt;h2 id=&quot;svd的定义&quot;&gt;SVD的定义&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;参考&lt;a href=&quot;https://www.cnblogs.com/pinard/p/6251584.html&quot;&gt;奇异值分解(SVD)原理与在降维中的应用&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：&lt;/p&gt;

\[A=U\Sigma V^{T}\]

&lt;p&gt;其中&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;U 是一个$ m\times m$ 的矩阵&lt;/li&gt;
  &lt;li&gt;$ \Sigma $是一个$ m\times n $的矩阵，&lt;strong&gt;除了主对角线上的元素以外全为0&lt;/strong&gt;，主对角线上的每个元素都称为&lt;strong&gt;奇异值&lt;/strong&gt;&lt;/li&gt;
  &lt;li&gt;V 是一个$ n\times n$ 的矩阵。 U 和 V 都是酉矩阵，即满足$U^{T}U=I,V^{T}V=I $。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;下图可以很形象的看出上面SVD的定义：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW2/v2-5ee98f8f3426b845bc1c5038ecd29593_b.jpg&quot; alt=&quot;img&quot; /&gt;&lt;/p&gt;

&lt;p&gt;那么我们如何求出SVD分解后的U,Σ,V这三个矩阵呢？&lt;/p&gt;

&lt;p&gt;如果我们将A的转置和A做矩阵乘法，那么会得到n×n的一个方阵 $A^{T}A $。既然$ A^{T}A $是方阵，那么我们就可以对$ A^{T}A $进行特征分解（将这个整体看为上一步的A），得到的特征值和特征向量满足下式：&lt;/p&gt;

\[(A^TA)v_i=\lambda_iv_i\]

&lt;p&gt;这样我们就可以得到矩阵 $A^{T}A $的n个特征值和对应的n个特征向量v了。将 $A^{T}A $的所有特征向量张成一个n×n的矩阵V，就是我们SVD公式里面的V矩阵了。一般我们将V中的每个特征向量叫做A的&lt;strong&gt;右奇异向量&lt;/strong&gt;。&lt;/p&gt;

&lt;p&gt;如果我们将A和A的转置做矩阵乘法，那么会得到m×m的一个方阵 $AA^{T}$ 。既然 $AA^{T} $是方阵，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式：&lt;/p&gt;

\[(AA^T)u_i = \lambda_iu_i\]

&lt;p&gt;这样我们就可以得到矩阵$ AA^{T}$ 的m个特征值和对应的m个特征向量u了。将$ AA^{T} $的所有特征向量张成一个m×m的矩阵U，就是我们SVD公式里面的U矩阵了。一般我们将U中的每个特征向量叫做A的&lt;strong&gt;左奇异向量&lt;/strong&gt;。&lt;/p&gt;

&lt;p&gt;U和V我们都求出来了，现在就剩下奇异值矩阵Σ没有求出了.&lt;/p&gt;

&lt;p&gt;由于Σ除了对角线上是奇异值其他位置都是0，那我们只需要求出每个&lt;strong&gt;奇异值&lt;/strong&gt;$σ$就可以了。&lt;/p&gt;

&lt;p&gt;我们注意到:&lt;/p&gt;

\[A=U\Sigma V^T\Rightarrow AV=U\Sigma V^TV\Rightarrow AV=U\Sigma\Rightarrow Av_i=\sigma_iu_i\Rightarrow\sigma_i=Av_i/u_i\]

&lt;p&gt;这样我们可以求出我们的每个奇异值，进而求出&lt;strong&gt;奇异值矩阵&lt;/strong&gt;$Σ$。&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;上面还有一个问题没有讲，就是我们说 $A^{T}A $的特征向量组成的就是我们SVD中的V矩阵，而&lt;/p&gt;

&lt;p&gt;$AA^{T} $的特征向量组成的就是我们SVD中的U矩阵，这有什么根据吗？这个其实很容易证明，我们以V矩阵的证明为例。&lt;/p&gt;

\[A=U\Sigma V^T\Rightarrow A^T=V\Sigma U^T\Rightarrow A^TA=V\Sigma U^TU\Sigma V^T=V\Sigma^2V^T\]

&lt;p&gt;上式证明使用了 $U^{T}U=I,\Sigma^{T}\Sigma=\Sigma^2$ 。可以看出$ A^{T}A$ 的特征向量组成的的确就是我们SVD中的V矩阵。类似的方法可以得到 $AA^{T}$ 的特征向量组成的就是我们SVD中的U矩阵。&lt;/p&gt;

&lt;p&gt;进一步我们还可以看出我们的特征值矩阵等于奇异值矩阵的平方，也就是说特征值和奇异值满足如下关系：&lt;/p&gt;

\[\sigma_{i}=\sqrt{\lambda_{i}}\]

&lt;p&gt;这样也就是说，我们可以不用 $\sigma_{i}=\frac{Av_{i}}{u_{i}} $来计算奇异值，也可以通过求出$ A^{T}A $的特征值取平方根来求奇异值。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;tip:计算时不可以先算U V，再算中间矩阵，因为这样特征向量正负都无法确定，应该先算u或v再求中间矩阵推出v或u（&lt;a href=&quot;https://zhuanlan.zhihu.com/p/29846048&quot;&gt;奇异值分解（SVD）&lt;/a&gt;的评论区）
真正的U和V一定是$AA^T$和$A^TA$的特征向量组，但是直接求$AA^T$和$A^TA$的特征向量组不一定是U和V&lt;/p&gt;
&lt;/blockquote&gt;

&lt;hr /&gt;

&lt;p&gt;理解：SVD是对数据进行有效特征整理的过程。首先，对于一个m×n矩阵A，我们可以理解为其有m个数据，n个特征，（想象成一个n个特征组成的坐标系中的m个点），然而一般情况下，这n个特征并不是正交的，也就是说这n个特征并不能归纳这个数据集的特征。SVD的作用就相当于是一个坐标系变换的过程，从一个不标准的n维坐标系，转换为一个标准的k维坐标系，并且使这个数据集中的点，到这个新坐标系的欧式距离为最小值（也就是这些点在这个新坐标系中的投影方差最大化），其实就是一个最小二乘的过程。进一步，如何使数据在新坐标系中的投影最大化呢，那么我们就需要让这个新坐标系中的基尽可能的不相关，我们可以用协方差来衡量这种相关性。$A^TA$中计算的便是n×n的&lt;strong&gt;协方差矩阵&lt;/strong&gt;，每一个值代表着原来的n个特征之间的相关性。当对这个协方差矩阵进行特征分解之后，我们可以得到奇异值和右奇异矩阵，而这个右奇异矩阵则是一个新的坐标系，奇异值则对应这个新坐标系中每个基对于整体数据的影响大小，我们这时便可以提取奇异值最大的k个基，作为新的坐标，这便是PCA的原理。&lt;/p&gt;

&lt;hr /&gt;

&lt;blockquote&gt;
  &lt;p&gt;计算过程推导见&lt;a href=&quot;https://zhuanlan.zhihu.com/p/399547902&quot;&gt;奇异值分解（SVD）的定义、证明、求法（矩阵分解——3. 奇异值分解（SVD））&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h1 id=&quot;参考&quot;&gt;参考&lt;/h1&gt;

&lt;p&gt;&lt;a href=&quot;https://www.cnblogs.com/pinard/p/6239403.html&quot;&gt;主成分分析（PCA）原理总结&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://www.cnblogs.com/pinard/p/6244265.html&quot;&gt;线性判别分析LDA原理总结&lt;/a&gt;&lt;/p&gt;

</description>
        <pubDate>Sun, 09 Jun 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/06/09/HW2-PCA-LDA/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/06/09/HW2-PCA-LDA/</guid>
        
        <category>AI</category>
        
        <category>PatternRecognition</category>
        
        <category>NOTES</category>
        
        <category>Project</category>
        
        
      </item>
    
      <item>
        <title>全景图像拼接</title>
        <description>&lt;div align=&quot;center&quot; style=&quot;page-break-after: always;&quot;&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;img src=&quot;/img/in-post/PatternRecognition/sysu.png&quot; alt=&quot;img&quot; style=&quot;zoom:150%;&quot; /&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;20&quot; face=&quot;Impact&quot;&gt;
        Pattern Recognition
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;6&quot; face=&quot;Arial Black&quot;&gt;
        HW1
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Student ID: 21307381 &amp;nbsp;&amp;nbsp;
        Student Name: LJW &lt;br /&gt;
        &lt;br /&gt;
        Date: 2024.4.30
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Lectured by: Jinhua Ma&lt;br /&gt;
        Pattern Recognition&lt;br /&gt;
        Sun Yat-sen University&lt;br /&gt;
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
&lt;/div&gt;

&lt;h1 id=&quot;全景图拼接&quot;&gt;全景图拼接&lt;/h1&gt;

&lt;h2 id=&quot;实验目的&quot;&gt;实验目的&lt;/h2&gt;

&lt;p&gt;1、 熟悉 Harris 角点检测器的原理和基本使用&lt;/p&gt;

&lt;p&gt;2、 熟悉 RANSAC 抽样一致方法的使用场景&lt;/p&gt;

&lt;p&gt;3、 熟悉 HOG 描述子的基本原理&lt;/p&gt;

&lt;h2 id=&quot;实验要求&quot;&gt;实验要求&lt;/h2&gt;

&lt;p&gt;1、 提交实验报告，要求有适当步骤说明和结果分析，对比&lt;/p&gt;

&lt;p&gt;2、 将代码和结果打包提交&lt;/p&gt;

&lt;p&gt;3、 实验可以使用现有的特征描述子实现&lt;/p&gt;

&lt;h2 id=&quot;实验内容&quot;&gt;实验内容&lt;/h2&gt;

&lt;p&gt;1、使用 Harris 焦点检测器寻找关键点。&lt;/p&gt;

&lt;p&gt;2、构建描述算子来描述图中的每个关键点，比较两幅图像的两组描述子，并进行匹配。&lt;/p&gt;

&lt;p&gt;3、根据一组匹配关键点，使用 RANSAC 进行仿射变换矩阵的计算。&lt;/p&gt;

&lt;p&gt;4、将第二幅图变换过来并覆盖在第一幅图上，拼接形成一个全景图像。&lt;/p&gt;

&lt;p&gt;5、实现不同的描述子，并得到不同的拼接结果。&lt;/p&gt;

&lt;h2 id=&quot;实验过程&quot;&gt;实验过程&lt;/h2&gt;

&lt;h3 id=&quot;harris-角点算法&quot;&gt;Harris 角点算法&lt;/h3&gt;

&lt;p&gt;请实现 Harris 角点检测算法，并简单阐述相关原理，对 images/目录下的 sudoku.png 图像进行角点检测（适当进行后处理），输出对应的角点检测结果，保存到 results/目录下，命名为 sudoku_keypoints.png。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/image-20240425095950483.png&quot; alt=&quot;image-20240425095950483&quot; style=&quot;zoom:80%;&quot; /&gt;&lt;/p&gt;

&lt;center&gt;suduku.png&lt;/center&gt;

&lt;h3 id=&quot;关键点描述与匹配&quot;&gt;关键点描述与匹配&lt;/h3&gt;

&lt;p&gt;请使用实现的 Harris 角点检测算法提取 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;images/uttower1.jpg&lt;/code&gt; 和 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;images/uttower2.jpg&lt;/code&gt; 的关键点，并将提取的关键点检测结果保存到 results/目录下，命名为 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;uttower1_keypoints.jpg&lt;/code&gt;和 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;uttower2_keypoints.jpg&lt;/code&gt;。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/image-20240425095921916.png&quot; alt=&quot;image-20240425095921916&quot; style=&quot;zoom: 80%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;分别使用 &lt;strong&gt;SIFT 特征&lt;/strong&gt;和 &lt;strong&gt;HOG 特征&lt;/strong&gt;作为描述子获得两幅图像的关键点的特征，使用欧几里得距离作为特征之间相似度的度量，并绘制两幅图像之间的关键点匹配的情况，将匹配结果保存到 results/目录下，命名为 uttower_match.png。&lt;/p&gt;

&lt;p&gt;使用 &lt;strong&gt;RANSAC 求解仿射变换矩阵&lt;/strong&gt;，实现图像的拼接，并将最后拼接的结果保存到 results/目录下，命名为 uttower_stitching_sift.png和 uttower_stitching_hog.png。并分析对比 &lt;strong&gt;SIFT 特征&lt;/strong&gt;和 &lt;strong&gt;HOG 特征&lt;/strong&gt;在关键点匹配过程中的差异。&lt;/p&gt;

&lt;p&gt;请将基于 SIFT + RANSAC 的拼接方法用到多张图像上，对 images/yosemite1.png, images/yosemite2.png, images/yosemite3.png,images/yosemite4.png 进行拼接，并将结果保存到 results/目录下，命名为 yosemite_stitching.png。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;拓展： HOG 相关内容参考： https://blog.csdn.net/hujingshuang/article/details/47337707&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h1 id=&quot;我的实验过程&quot;&gt;我的实验过程&lt;/h1&gt;

&lt;h2 id=&quot;harris-角点算法-1&quot;&gt;Harris 角点算法&lt;/h2&gt;

&lt;h3 id=&quot;算法介绍&quot;&gt;算法介绍&lt;/h3&gt;

&lt;p&gt;在现实世界中，角点对应于物体的拐角，道路的十字路口、丁字路口等。从图像分析的角度来定义角点可以有以下两种定义：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;角点可以是两个边缘的角点；&lt;/li&gt;
  &lt;li&gt;角点是邻域内具有两个主方向的特征点；&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;Harris 角点算法是基于图像灰度的方法通过计算点的曲率及梯度来检测角点。&lt;/p&gt;

&lt;p&gt;Harris Corner Detector：如果以一个角点为中心构造一个区域，那么这个区域朝任何一个方向移动都会有较大的灰度值变化。如下图所示&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/081646497655888.png&quot; alt=&quot;image&quot; /&gt;&lt;/p&gt;

&lt;p&gt;人眼对角点的识别通常是在一个局部的小区域或小窗口完成的。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;左图：如果这个特定的窗口在图像各个方向上移动时，窗口内图像的灰度没有发生变化，那么窗口内就不存在角点；&lt;/li&gt;
  &lt;li&gt;中间图：如果窗口在某一个方向移动时，窗口内图像的灰度发生了较大的变化，而在另一些方向上没有发生变化，那么，窗口内的图像可能就是一条直线的线段。&lt;/li&gt;
  &lt;li&gt;右图：如果在各个方向上移动这个特征的小窗口，窗口内区域的灰度发生了较大的变化，那么就认为在窗口内遇到了角点。&lt;/li&gt;
&lt;/ul&gt;

&lt;hr /&gt;

&lt;p&gt;对于图像$I(x,y)$，当在点$(x,y)$处平移$(\Delta x,\Delta y)$后的自相似性，可以通过自相关函数给出：&lt;/p&gt;

\[c(x,y;\Delta x,\Delta y) = \sum_{(u,v)\in W(x,y)}w(u,v)(I(u,v) – I(u+\Delta x,v+\Delta y))^2\]

&lt;p&gt;其中，$W(x,y)$是以点$(x,y)$为中心的窗口，$w(u,v)$为加权函数（这里的权重w考虑到不同像素点的贡献不同），它既可是常数，也可以是高斯加权函数。下面取为常数1&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/081646516874975.png&quot; alt=&quot;image&quot; /&gt;&lt;/p&gt;

&lt;p&gt;如果领域中心为角点，则无论$u,v$取何值，$c$都具有较大的值。这里我们使用多变量函数的泰勒展开，对图像$I(x,y)$在平移$(\Delta x,\Delta y)$后进行一阶近似：&lt;/p&gt;

\[I(u+\Delta x,v+\Delta y) = I(u,v)+I_x(u,v)\Delta x+I_y(u,v)\Delta y+O(\Delta x^2,\Delta y^2)\\ \approx I(u,v)+I_x(u,v)\Delta x+I_y(u,v)\Delta y\]

&lt;p&gt;其中，$I_x,I_y$是图像$I(x,y)$的偏导数，这样的话，自相关函数则可以简化为（将（2）带回（1）消去$I(u,v)$）：&lt;/p&gt;

\[c(x,y;\Delta x,\Delta y)\approx \sum_w w(u,v)(I_x(u,v)\Delta x+I_y(u,v)\Delta y)^2\\

=\sum_w w(u,v)(\Delta x^2I_x^2+2\Delta x\Delta yI_xI_y+\Delta y^2I_y^2)^2\\

=\sum_w w(u,v)\begin{bmatrix}\Delta x&amp;amp;\Delta y\end{bmatrix}\quad\begin{bmatrix}\mathrm{I_x^2}&amp;amp;&amp;amp;\mathrm{I_{x}I_{y}}\\\mathrm{I_{x}I_{y}}&amp;amp;&amp;amp;\mathrm{I_y^2}\end{bmatrix}\quad\begin{bmatrix}\Delta x\\\Delta y\end{bmatrix} \\

=\begin{bmatrix}\Delta x&amp;amp;\Delta y\end{bmatrix}(\space \sum_w w(u,v)\quad\begin{bmatrix}\mathrm{I_x^2}&amp;amp;&amp;amp;\mathrm{I_{x}I_{y}}\\\mathrm{I_{x}I_{y}}&amp;amp;&amp;amp;\mathrm{I_y^2}\end{bmatrix}\quad)\begin{bmatrix}\Delta x\\\Delta y\end{bmatrix} \\


[\Delta x,\Delta y]M(x,y)\begin{bmatrix}\Delta x \\ \Delta y\end{bmatrix}\]

&lt;hr /&gt;

&lt;p&gt;其中&lt;/p&gt;

\[M(x,y)=\sum_w w(u,v)\quad \begin{bmatrix}I_x(x,y)^2&amp;amp;I_x(x,y)I_y(x,y) \\ I_x(x,y)I_y(x,y)&amp;amp;I_y(x,y)^2\end{bmatrix} \\

= \begin{bmatrix}\sum_w I_x(x,y)^2&amp;amp;\sum_w I_x(x,y)I_y(x,y) \\\sum_w I_x(x,y)I_y(x,y)&amp;amp;\sum_w I_y(x,y)^2\end{bmatrix} 

=\begin{bmatrix}A&amp;amp;C\\C&amp;amp;B\end{bmatrix}\]

&lt;p&gt;由于M为实对称矩阵，所以可以写成如下形式：&lt;/p&gt;

\[\mathrm{M}=\mathrm{P} \Sigma\mathrm{P}^{-1}=\mathrm{P} \Sigma\mathrm{P}^\mathrm{T}\]

&lt;p&gt;其中&lt;/p&gt;

\[Σ=\begin{bmatrix}\lambda_1&amp;amp;0\\0&amp;amp;\lambda_2\end{bmatrix}\]

&lt;p&gt;为特征值矩阵，$P$ 为特征值对应特征向量矩阵。所以&lt;/p&gt;

\[\begin{aligned}c(x,y;\Delta x,\Delta y)&amp;amp;=\begin{bmatrix}\Delta x&amp;amp;\Delta y\end{bmatrix}\mathrm{P}\begin{bmatrix}\lambda_1&amp;amp;0\\0&amp;amp;\lambda_2\end{bmatrix}\mathrm{P}^\mathrm{T}\begin{bmatrix}\Delta x&amp;amp;\Delta y\end{bmatrix}^\mathrm{T}\\

&amp;amp;=\begin{bmatrix}\Delta x^,&amp;amp;\Delta y^,\end{bmatrix}\begin{bmatrix}\lambda_1&amp;amp;0\\0&amp;amp;\lambda_2\end{bmatrix}\begin{bmatrix}\Delta x^,&amp;amp;\Delta y^,\end{bmatrix}^\mathrm{T}\\

&amp;amp;=\frac{(\Delta x^,)^2}{\frac1{\lambda_1}}+\frac{(\Delta y^,)^2}{\frac1{\lambda_2}}\end{aligned}\]

&lt;hr /&gt;

&lt;p&gt;也就是一个椭圆方程形式，椭圆的扁率和尺寸是由$M(x,y)$的特征值$\lambda_1、\lambda_2$决定的，椭贺的方向是由$M(x,y)$的特征矢量决定的，如下图所示，椭圆方程为：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/081646524376603.png&quot; alt=&quot;image&quot; /&gt;&lt;/p&gt;

&lt;p&gt;椭圆函数特征值与图像中的角点、直线（边缘）和平面之间的关系如下图所示。共可分为三种情况：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;图像中的直线。一个特征值大，另一个特征值小，𝜆1≫𝜆2或𝜆2≫𝜆1。自相关函数值在某一方向上大，在其他方向上小。&lt;/li&gt;
  &lt;li&gt;图像中的平面。两个特征值都小，且近似相等；自相关函数数值在各个方向上都小。&lt;/li&gt;
  &lt;li&gt;图像中的角点。两个特征值都大，且近似相等，自相关函数在所有方向都增大。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/081646535629047.png&quot; alt=&quot;image&quot; style=&quot;zoom:67%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;所以当 $\lambda_1$ 和 $\lambda_2$ 都很大时，$c(x,y;\Delta x,\Delta y)$ 也会很大。由于 $detM = \lambda_1 \lambda_2=AC−B^2$ ，$tranceM=\lambda_1+ \lambda_2=A+C$,所以可以构造变量$R=detM-k(tranceM)^2$。$R$越大为角点的可能性越大，$k$为经常常数，一般取0.04~0.06。&lt;/p&gt;

&lt;h3 id=&quot;实现步骤&quot;&gt;实现步骤&lt;/h3&gt;

&lt;p&gt;1） RGB 彩色图片转成灰度图&lt;/p&gt;

&lt;p&gt;2） 使用 Sobel 等梯度算子计算每一个点 x, y 两个方向上的梯度 $I_{x}, I_{y}$&lt;/p&gt;

&lt;p&gt;3） 为构建 M 矩阵做准备，${I_{x}}^2, {I_{y}}^2$和${I_{x}}{I_{y}}$&lt;/p&gt;

&lt;p&gt;4） 对$ {I_{x}}^2, {I_{y}}^2 $和$ {I_{x}}{I_{y}} $做局部窗口的高斯滤波（或均值滤波）&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;卷积可以对图像中的梯度信息进行平滑处理，以降低噪声的影响并使角点检测结果更稳定。通过对图像的梯度信息与一个窗口进行卷积，可以得到每个像素点周围区域的梯度信息的加权平均值。这样做可以使角点检测更加准确，并且增强角点的局部特征，有助于提高检测的稳定性和鲁棒性。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;5） 对图像中的每一个点，构建&lt;/p&gt;

\[M = \sum_{x,y} w(x,y)
   \begin{bmatrix}
       I_{x}^2 &amp;amp; I_{x}I_{y} \\
       I_{x}I_{y} &amp;amp; I_{y}^2
   \end{bmatrix}
 = \begin{bmatrix}
       A &amp;amp; C\\
       C &amp;amp; B
   \end{bmatrix}\]

&lt;p&gt;6） 求 $det(M) - k \cdot trace(M)^2 $，参数$ k$ 一般取 0.04 - 0.06，响应值大于一定阈值的点保存，作为角点。&lt;/p&gt;

&lt;p&gt;7） 每个角点，统计局部特征，做后续的图像匹配等。&lt;/p&gt;

&lt;p&gt;下面是伪代码，具体代码见&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;my_harris.py&lt;/code&gt;&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;c1&quot;&gt;# 1. 读取灰度图像
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gray_image&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;读取灰度图像函数&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;your_image.jpg&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 2. 计算图像梯度
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dx&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;计算水平方向梯度函数&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gray_image&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;dy&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;计算垂直方向梯度函数&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gray_image&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 3. 计算协方差矩阵
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;window_size&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;k&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.04&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;corner_response&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;初始化角点响应矩阵为零&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gray_image&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;each&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pixel&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;gray_image&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;在窗口内计算dx&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dy&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dy&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dx&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dy&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;计算协方差矩阵M&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;计算角点响应R&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;det&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;M&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;trace&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;M&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;^&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;存储R到corner_response中&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 4. 非极大值抑制
&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;each&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pixel&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;corner_response&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;在周围区域内比较角点响应值&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;，&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;保留局部最大值&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 5. 阈值处理
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;threshold&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;设定阈值&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;each&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pixel&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;corner_response&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;如果角点响应值大于阈值&lt;/span&gt;&lt;span class=&quot;err&quot;&gt;，&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;标记为角点&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 6. 显示结果
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;显示带有角点标记的图像&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;实验结果&quot;&gt;实验结果&lt;/h3&gt;

&lt;p&gt;调库&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;dst = cv2.cornerHarris(gray, 2, 3, 0.04)&lt;/code&gt;：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/image-20240425112024583.png&quot; alt=&quot;image-20240425112024583&quot; style=&quot;zoom:50%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;我的实现：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/image-20240429164631143.png&quot; alt=&quot;image-20240429164631143&quot; style=&quot;zoom: 33%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;可以看到我实现的harris可以成功的找到角点的位置，且与库函数找到的基本一致，说明实现成功。&lt;/p&gt;

&lt;h2 id=&quot;关键点描述与匹配-1&quot;&gt;关键点描述与匹配&lt;/h2&gt;

&lt;h3 id=&quot;要求一&quot;&gt;要求一：&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;首先使用实现的 &lt;strong&gt;Harris 角点检测算法&lt;/strong&gt;提取 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;images/uttower1.jpg&lt;/code&gt; 和 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;images/uttower2.jpg&lt;/code&gt; 的关键点，并将提取的关键点检测结果保存到 results/目录下，命名为 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;uttower1_keypoints.jpg&lt;/code&gt;和 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;uttower2_keypoints.jpg&lt;/code&gt;。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;直接调用已经实现的函数即可：&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;my_harris&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;harris_corners&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;cv2&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;__name__&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&apos;__main__&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 读取彩色图像
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;imread&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;images/uttower1.jpg&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;imread&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;images/uttower2.jpg&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 检测角点并在彩色图像上显示
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;keypoints1&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;harris_corners&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;keypoints2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;harris_corners&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 在彩色图像上标记角点
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;image_with_corners1&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;drawKeypoints&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keypoints1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;255&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                                           &lt;span class=&quot;n&quot;&gt;flags&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;n&quot;&gt;image_with_corners2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;drawKeypoints&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keypoints2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;255&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                                           &lt;span class=&quot;n&quot;&gt;flags&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# 显示结果
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;imwrite&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;results/uttower1_keypoints.jpg&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image_with_corners1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;imwrite&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&apos;results/uttower2_keypoints.jpg&apos;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image_with_corners2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;结果如下图&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/PatternRecognition/HW1/uttower1_keypoints.jpg&quot; alt=&quot;Image 1&quot; style=&quot;width:100%&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/PatternRecognition/HW1/uttower2_keypoints.jpg&quot; alt=&quot;Image 2&quot; style=&quot;width:100%&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;h3 id=&quot;要求二&quot;&gt;要求二&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;分别使用 &lt;strong&gt;SIFT 特征&lt;/strong&gt;和 &lt;strong&gt;HOG 特征&lt;/strong&gt;作为描述子获得两幅图像的关键点的特征，使用&lt;strong&gt;欧几里得距离&lt;/strong&gt;作为特征之间相似度的度量，并绘制两幅图像之间的关键点匹配的情况，将匹配结果保存到 results/目录下，命名为 uttower_match.png。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;下面我们以两张图片检测到的&lt;strong&gt;关键点为中心&lt;/strong&gt;构建一个&lt;strong&gt;区域计算描述子&lt;/strong&gt;，然后遍历图片1每一个关键点，计算其与图片2每一个关键点的欧氏距离，如果最小距离与次小距离的比值小于某个阈值，则认为最小距离对应的图1关键点和图2关键点匹配。&lt;/p&gt;

&lt;p&gt;以下是我实现的匹配函数：首先创建了一个暴力匹配器（Brute Force Matcher）对象&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;bf&lt;/code&gt;，它使用L2范数（即欧几里得距离）来比较描述符之间的距离。然后使用&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;bf&lt;/code&gt;对象对两个图像的描述符进行最近邻（k-nearest neighbors，knn）匹配，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;k=2&lt;/code&gt;意味着为每个描述符找到两个最近邻。之后对于每个匹配对，计算较好匹配和次好匹配的距离比。如果这个比值小于0.4，认为成功匹配。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;match&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;descriptors1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;descriptors2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keypoints1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keypoints2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;bf&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;BFMatcher&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;NORM_L2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;matches&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;bf&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;knnMatch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;descriptors1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;descriptors2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;good_matches&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;m&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;matches&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;m&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;distance&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;n&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;distance&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;lt;&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.4&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;good_matches&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;m&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; 
    &lt;span class=&quot;n&quot;&gt;match_img&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;drawMatches&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keypoints1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keypoints2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;good_matches&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;flags&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;match_img&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;good_matches&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h4 id=&quot;hog&quot;&gt;HOG&lt;/h4&gt;

&lt;blockquote&gt;
  &lt;p&gt;HOG（Histogram of Oriented Gridients的简写）特征检测算法&lt;/p&gt;

&lt;/blockquote&gt;

&lt;p&gt;这里我实现了自己的HOG算法，具体见function.py，简单来说HOG特征检测算法包含以下几个步骤：&lt;/p&gt;

&lt;p&gt;一、图像预处理&lt;/p&gt;
&lt;ol&gt;
  &lt;li&gt;图像裁剪和缩放：将图像裁剪为等大小的单元格cell，并缩放到固定尺寸。&lt;/li&gt;
  &lt;li&gt;(可选)梯度计算：对于彩色图像，计算每个像素点的梯度，选取最大梯度作为该像素的梯度。&lt;/li&gt;
  &lt;li&gt;伽马矫正：调整图像对比度，减少光照对图像的影响，以确保图像正常化。伽马矫正公式为$f(x)=x^{\gamma}$，其中$\gamma$越大，图像越暗。&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;二、计算梯度图
利用Sobel核与图像卷积，分别求得$x$和$y$方向的梯度图，进而得到总的梯度图和梯度方向图。&lt;/p&gt;

&lt;p&gt;三、计算梯度直方图
将整个图像划分为若干个8×8的小单元格，称为cell（还可是16×16或者32×32，是可调参数）。由于每个每个像素对应着一个梯度幅值和梯度方向，所以一个cell包含8×8×2=128个值。然后，将180度的角度范围分为9份，每20度为一个bin，并将梯度幅值按照比例分配到对应的bin中。&lt;/p&gt;

&lt;p&gt;四、Block归一化
以8×8的cell为&lt;strong&gt;基本单元&lt;/strong&gt;，形成2×2的block，每个block包含36个值。通过滑动窗口的方式对每个block进行归一化处理。&lt;/p&gt;

&lt;p&gt;五、特征向量维度
对于64×128像素的图片，经过处理后的特征向量维度为3780，即由8×16个cell、7×15个block和每个block的36个值组成。&lt;/p&gt;

&lt;p&gt;运行效果：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/uttower_match_hog.jpg&quot; alt=&quot;uttower_match_hog&quot; /&gt;&lt;/p&gt;

&lt;p&gt;不难发现匹配的还是很精确的。&lt;/p&gt;

&lt;h4 id=&quot;sift&quot;&gt;SIFT&lt;/h4&gt;

&lt;blockquote&gt;
  &lt;p&gt;SIFT算法又叫尺度不变特征变换匹配算法&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;SIFT（Scale-Invariant Feature Transform）是一种用于检测和描述图像局部特征的经典算法，其基本思想是通过检测图像中的关键点，并对这些关键点进行描述，从而实现图像的特征匹配和识别。以下是SIFT算法的基本步骤：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;尺度空间极值检测：&lt;/strong&gt; SIFT算法首先在不同的尺度下对图像进行平滑处理，并在每个尺度空间中检测图像的极值点（关键点），这些点通常对于图像的局部结构具有显著的特征。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;关键点定位：&lt;/strong&gt; 在检测到的极值点的基础上，通过对图像局部区域进行边缘响应值的计算，排除低对比度的关键点以及具有较弱梯度的边缘点，从而确定最终的关键点位置。&lt;/p&gt;

    &lt;blockquote&gt;
      &lt;p&gt;这里我们先用了harris找到了关键点，所以其实我们只是用到了后面几步&lt;/p&gt;
    &lt;/blockquote&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;关键点方向分配：&lt;/strong&gt; 对于每个关键点，SIFT算法计算其主方向或梯度方向，以确保关键点对于旋转具有不变性。通常采用图像梯度方向的直方图来确定主方向。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;关键点描述：&lt;/strong&gt; 在确定了关键点的位置和方向后，SIFT算法以关键点为中心，在其周围区域内构建描述子，通常使用局部图像梯度的方向和幅度信息来描述关键点周围的局部特征。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;特征向量匹配：&lt;/strong&gt; 最后，通过比较不同图像中的关键点描述子，使用一种距离度量方法（如欧式距离或汉明距离）来计算它们之间的相似性，并进行特征向量的匹配，从而实现图像的特征检测、配准和匹配。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;SIFT的实现太复杂了，查看了一下网上实现了的代码，需要400行（见&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;pysift.py&lt;/code&gt;），而且效率不如调库的1/10，所以这一个算法我选择直接调库。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/uttower_match_sift.png&quot; alt=&quot;uttower_match_sift&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;要求三&quot;&gt;要求三&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;使用 &lt;strong&gt;RANSAC 求解仿射变换矩阵&lt;/strong&gt;，实现图像的拼接，并将最后拼接的结果保存到 results/目录下，命名为 uttower_stitching_sift.png和 uttower_stitching_hog.png。并分析对比 &lt;strong&gt;SIFT 特征&lt;/strong&gt;和 &lt;strong&gt;HOG 特征&lt;/strong&gt;在关键点匹配过程中的差异。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;RANSAC（Random Sample Consensus）是一种经典的模型参数估计方法，常用于解决数据中存在噪声和异常值的情况下的模型拟合问题。其基本步骤如下：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;随机选取样本集：&lt;/strong&gt; 首先从数据集中随机选择一小部分样本作为候选集合，这些样本将用于拟合模型。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;模型拟合：&lt;/strong&gt; 使用所选样本集合的这些点来计算仿射变换矩阵。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;验证模型：&lt;/strong&gt; 对于其他数据点，计算它们到模型的拟合误差，并根据预先设定的阈值确定哪些点被认为是内点（即与模型拟合良好的点）。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;迭代过程：&lt;/strong&gt; 不断重复上述过程，每次都选择具有最大内点数目的模型，直到达到预定的迭代次数或者内点数目满足某个预设的阈值。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;模型优化：&lt;/strong&gt; 在最终迭代完成后，利用所有被认定为内点的数据重新拟合模型，以得到更精确的参数估计。在这种情况下，对保留的最大内点进行最小二乘法的估计，得到图像的仿射变换矩阵。&lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;p&gt;RANSAC 的一个优点是它能够对模型参数进行鲁棒估计，能够在存在大量噪声的情况下找到合适的模&lt;/p&gt;

&lt;p&gt;RANSAC 的缺点是计算这些参数所需的时间没有上限，其需要进行大量的随机采样和模型拟合，因此对于大规模数据集来说，计算复杂度较高，可能需要较长的时间来运行&lt;/p&gt;

&lt;hr /&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;transform&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keypoints1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;keypoints2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;good_matches&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;match_img&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;aim_points&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;float32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keypoints1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;m&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;queryIdx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pt&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;m&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;good_matches&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;src_points&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;float32&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keypoints2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;m&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;trainIdx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pt&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;m&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;good_matches&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 使用RANSAC算法估计仿射变换矩阵
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;transform_matrix&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mask&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;findHomography&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;src_points&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;aim_points&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;RANSAC&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 扩充原图，以保障仿射变换和拼接后图片不会被裁剪
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;height&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;width&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;result_height&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;int&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;height&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;result_width&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;int&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;width&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.6&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;copyMakeBorder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;result_height&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;height&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;result_width&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;width&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;BORDER_CONSTANT&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;value&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;copyMakeBorder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;result_height&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;height&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;result_width&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;width&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;BORDER_CONSTANT&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;value&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 转换第二张图到第一张图的视角
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;rows&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cols&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;transform_image&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;warpPerspective&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;transform_matrix&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cols&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rows&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 调整图像尺寸，使其具有相同的尺寸
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;rows1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cols1&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;rows2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cols2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;transform_image&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 确定新的目标尺寸
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;final_rows&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;max&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rows1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rows2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;final_cols&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;max&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cols1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cols2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 调整图像大小
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;image1_resized&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;resize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;final_cols&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;final_rows&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;image2_aligned_resized&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cv2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;resize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transform_image&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;final_cols&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;final_rows&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# 拼接在一起，以第一张图为主
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;result&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;where&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;image1_resized&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;!=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image1_resized&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;image2_aligned_resized&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;result&lt;/span&gt;
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;结果：左边为hog的结果，右边为sift的结果，可以看到hog的图二是更加歪的，导致顶端出有一个很小的黑色三角。&lt;/p&gt;

&lt;p&gt;两个最明显的区别就是sift比hog运行速度快很多。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;特征描述方式的区别：&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;SIFT特征：SIFT描述子是基于局部图像梯度的方向和幅度信息构建的，通常是一个128维的向量，每个维度代表了关键点周围局部区域的特征信息。&lt;/li&gt;
  &lt;li&gt;HOG特征：HOG描述子是基于图像梯度的直方图构建的，主要用于描述图像局部区域的纹理和形状信息，通常是一个高维的向量。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;尺度和旋转不变性：&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;SIFT特征：SIFT在检测关键点时考虑了尺度空间，在描述关键点时也考虑了其主方向，因此具有一定的尺度和旋转不变性。&lt;/li&gt;
  &lt;li&gt;HOG特征：HOG主要用于描述局部图像的纹理和形状信息，在尺度和旋转变化较大时可能不太稳定。&lt;/li&gt;
  &lt;li&gt;从要求三的图片中也可以看到sift找到的匹配点要比hog多一点。&lt;/li&gt;
&lt;/ul&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/PatternRecognition/HW1/uttower_stitching_hog.png&quot; alt=&quot;Image 1&quot; style=&quot;width:100%&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/PatternRecognition/HW1/uttower_stitching_sift.png&quot; alt=&quot;Image 2&quot; style=&quot;width:100%&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;h3 id=&quot;要求四&quot;&gt;要求四&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;请将基于 SIFT + RANSAC 的拼接方法用到多张图像上，对 images/yosemite1.png, images/yosemite2.png, images/yosemite3.png,images/yosemite4.png 进行拼接，并将结果保存到 results/目录下，命名为 yosemite_stitching.png。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;这里直接调之前写好的&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;match&lt;/code&gt;和&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;transform&lt;/code&gt;l两个函数即可，但是这里有多种调用顺序：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;先拼12，34，然后将两个的结果再次拼在一起&lt;/li&gt;
  &lt;li&gt;先拼12，12结果与3拼，123结果再与4拼&lt;/li&gt;
  &lt;li&gt;23先拼，然后和14拼在一起&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;这里我实现了第一和第二种，结果如下&lt;/p&gt;

&lt;p&gt;先拼12，34，然后将两个的结果再次拼在一起结果：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/yosemite_stitching12_34.png&quot; alt=&quot;yosemite_stitching12_34&quot; /&gt;&lt;/p&gt;

&lt;p&gt;先拼12，12结果与3拼，123结果再与4拼结果：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/PatternRecognition/HW1/yosemite_stitching123_4.png&quot; alt=&quot;yosemite_stitching123_4&quot; /&gt;&lt;/p&gt;

&lt;p&gt;可以发现一个问题：先拼接后的图像与其他图像拼接时接缝处会有一条黑边，分析：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;图像拉伸导致的形变&lt;/strong&gt;：
图像在拼接过程中可能会经过拉伸或缩放以适应其他图像的尺寸，可能会导致图像的局部区域发生形变。这种形变可能会影响图像中的关键点，因为关键点通常是基于图像的局部特征来检测的，形变会改变这些局部特征，从而影响关键点的准确性。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;关键点检测的不稳定性&lt;/strong&gt;：
由于形变的存在，关键点检测算法可能无法在拼接后的图像中稳定地检测到与原图像相同的关键点。这种不稳定性可能会导致后续的特征匹配和变换矩阵计算出现问题。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;变换矩阵的计算误差&lt;/strong&gt;：
在图像拼接中，变换矩阵用于将一个图像中的点映射到另一个图像的坐标空间中。如果关键点检测不准确，那么计算出的变换矩阵可能包含误差，这将导致拼接后的图像与原图像之间出现不匹配的接缝。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;图像边界处理&lt;/strong&gt;：
当图像边缘处的特征点较少或者边缘特征不明显时，拼接算法可能无法有效地处理这些区域。这可能导致在拼接边界处出现黑色或不自然的边缘。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&quot;参考文档&quot;&gt;参考文档&lt;/h1&gt;

&lt;p&gt;&lt;a href=&quot;https://www.cnblogs.com/ronny/p/4009425.html&quot;&gt;Harris角点&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://zhuanlan.zhihu.com/p/449970674&quot;&gt;图像处理基础（七）Harris 角点检测 - 知乎 (zhihu.com)&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://blog.csdn.net/weixin_48167570/article/details/123704075&quot;&gt;全网最详细SIFT算法原理实现-CSDN博客&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://blog.csdn.net/hujingshuang/article/details/47337707&quot;&gt;【特征检测】HOG特征算法_比较两幅图像相似性-基于hog特征-CSDN博客&lt;/a&gt;&lt;/p&gt;
</description>
        <pubDate>Sat, 25 May 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/05/25/HW1-ImageStitching/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/05/25/HW1-ImageStitching/</guid>
        
        <category>AI</category>
        
        <category>PatternRecognition</category>
        
        <category>NOTES</category>
        
        <category>Project</category>
        
        
      </item>
    
      <item>
        <title>Facial Expression Recognition (FER)</title>
        <description>&lt;div align=&quot;center&quot; style=&quot;page-break-after: always;&quot;&gt;
        &lt;br /&gt;&lt;br /&gt;
    &lt;br /&gt;&lt;br /&gt;
&lt;img src=&quot;/img/in-post/PatternRecognition/sysu.png&quot; alt=&quot;img&quot; style=&quot;zoom:150%;&quot; /&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;20&quot; face=&quot;Impact&quot;&gt;
        Artificial Neural Networks
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;6&quot; face=&quot;Arial Black&quot;&gt;
        Mid-term Homework:Facial Expression Recognition (FER)
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Student ID: 21307381 &amp;nbsp;&amp;nbsp;
        Student Name: LJW &lt;br /&gt;
        &lt;br /&gt;
        Date: 2024.5.1
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
    &lt;font size=&quot;5&quot; face=&quot;华文隶书&quot;&gt;
        Lectured by: Xiaojun Quan&lt;br /&gt;
        Machine Learning and Data Mining Course&lt;br /&gt;
        Sun Yat-sen University&lt;br /&gt;
    &lt;/font&gt;
    &lt;br /&gt;&lt;br /&gt;
&lt;/div&gt;
&lt;div style=&quot;page-break-after: always;&quot;&gt;&lt;/div&gt;

&lt;h1 id=&quot;实验任务&quot;&gt;实验任务&lt;/h1&gt;

&lt;h2 id=&quot;任务定义及数据集&quot;&gt;任务定义及数据集&lt;/h2&gt;

&lt;p&gt;任务定义：对于给定的人脸图片，输出其表情标签（图像分类任务）；&lt;/p&gt;

&lt;p&gt;一共包含五种表情： Angry， Happy， Neutral， Sad， Surprise，已经进行了训练集和测试集的划分，数据规模如下（数据集中存在一定的不平衡）；&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;情绪标签&lt;/th&gt;
      &lt;th&gt;训练集样本数&lt;/th&gt;
      &lt;th&gt;测试集样本数&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;Angry&lt;/td&gt;
      &lt;td&gt;500&lt;/td&gt;
      &lt;td&gt;100&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;Happy&lt;/td&gt;
      &lt;td&gt;1500&lt;/td&gt;
      &lt;td&gt;100&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;Neutral&lt;/td&gt;
      &lt;td&gt;1000&lt;/td&gt;
      &lt;td&gt;100&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;Sad&lt;/td&gt;
      &lt;td&gt;1500&lt;/td&gt;
      &lt;td&gt;100&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;Surprise&lt;/td&gt;
      &lt;td&gt;500&lt;/td&gt;
      &lt;td&gt;100&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h2 id=&quot;作业要求&quot;&gt;作业要求&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;python 环境
    &lt;ul&gt;
      &lt;li&gt;深度学习框架使用 pytorch；&lt;/li&gt;
      &lt;li&gt;请提交 requirement.txt，包含必要的第三方包即可；&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;模型的构建和训练&lt;/li&gt;
  &lt;li&gt;自行设计卷积神经网络对人脸特征进行抽取，并通过全连接层进行分类；&lt;/li&gt;
  &lt;li&gt;不允许加载现成的预训练模型或图像分类包；&lt;/li&gt;
  &lt;li&gt;可以参考经典 CNN 结构（AlexNet、 VGG、 Resnet 等）；&lt;/li&gt;
  &lt;li&gt;可以自行探索网络结构对性能的影响；&lt;/li&gt;
  &lt;li&gt;模型测试
    &lt;ul&gt;
      &lt;li&gt;使用已经划分的测试集对训练好的模型进行测试，计算准确率，和每个类别的召回率、精准率， Macro-F1 等；&lt;/li&gt;
      &lt;li&gt;请勿使用测试集进行训练（作弊）；&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;提交内容&quot;&gt;提交内容&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;代码 +requirement.txt&lt;/li&gt;
  &lt;li&gt;训练好的 checkpoint&lt;/li&gt;
  &lt;li&gt;README：使用指南（如何进行训练、评测）&lt;/li&gt;
  &lt;li&gt;文档：对你所实现的内容进行详细阐述；包括但不限于：
    &lt;ul&gt;
      &lt;li&gt;数据预处理的操作&lt;/li&gt;
      &lt;li&gt;超参数的设置&lt;/li&gt;
      &lt;li&gt;模型的架构设计&lt;/li&gt;
      &lt;li&gt;验证方法（划分验证集进行验证）&lt;/li&gt;
      &lt;li&gt;结果分析- 自己的探索和心得体会；&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&quot;数据预处理&quot;&gt;数据预处理&lt;/h1&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;图像变换&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;使用&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;torchvision.transforms&lt;/code&gt;模块进行图像预处理，包括：
        &lt;ul&gt;
          &lt;li&gt;&lt;strong&gt;随机裁剪&lt;/strong&gt;：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;RandomResizedCrop(224)&lt;/code&gt;: 随机调整并裁剪图像到指定大小（224x224），保持图像内容的同时适应网络输入尺寸。&lt;/li&gt;
          &lt;li&gt;&lt;strong&gt;随机水平翻转&lt;/strong&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;RandomHorizontalFlip()&lt;/code&gt;: 随机水平翻转图像，增加了数据集的多样性，有助于模型泛化。&lt;/li&gt;
          &lt;li&gt;&lt;strong&gt;转换为张量&lt;/strong&gt;：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ToTensor()&lt;/code&gt;: 将PIL图像或numpy数组转换为PyTorch的Tensor，并将颜色通道从[H, W, C]调整为[C, H, W]，同时将像素值从0-255范围归一化到0-1范围。&lt;/li&gt;
          &lt;li&gt;&lt;strong&gt;归一化&lt;/strong&gt;：使用&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;transforms.Normalize&lt;/code&gt;对图像张量进行归一化处理，即每个通道减去均值后除以标准差。代码中将均值和标准差分别设置为(0.5, 0.5, 0.5)&lt;/li&gt;
        &lt;/ul&gt;
      &lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;数据集划分&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;通过&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ImageFolder&lt;/code&gt;函数加载数据集，自动将数据分为训练集和验证集（基于提供的“train”和“test”目录），这是数据集成的一部分，确保模型在未见过的数据上进行验证。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;批量处理和数据加载器&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;使用&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;DataLoader&lt;/code&gt;创建数据加载器，其中&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;shuffle=True&lt;/code&gt;是为了在训练时随机打乱数据顺序，减少模型学习到的顺序相关性，提高泛化能力。同时，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;num_workers&lt;/code&gt;参数指定了用于数据加载的子进程数量，可以加速数据预处理和加载过程。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&quot;alexnet&quot;&gt;AlexNet&lt;/h1&gt;

&lt;h2 id=&quot;模型的架构设计&quot;&gt;模型的架构设计&lt;/h2&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505175824470.png&quot; alt=&quot;image-20240505175824470&quot; /&gt;&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;输入层&lt;/strong&gt;：模型接受输入图像的尺寸是[3, 224, 224]，即具有3个颜色通道的224x224像素图像。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;卷积层序列&lt;/strong&gt;：模型包含多个卷积层，每个卷积层后面紧跟一个ReLU激活函数，除了最后一个卷积层后面没有ReLU，因为它后面紧跟一个池化层。&lt;/p&gt;
    &lt;ul&gt;
      &lt;li&gt;第一个卷积层 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=2)&lt;/code&gt;：输入通道数为3，输出通道数为96，使用11x11的卷积核，步长为4，填充为2。这会将图像尺寸减小到[96, 55, 55]。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;接着是最大池化层 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;nn.MaxPool2d(kernel_size=3, stride=2)&lt;/code&gt;：使用3x3的池化核，步长为2，这会进一步将图像尺寸减小到[96, 27, 27]。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;后续是三个卷积层，分别将通道数从96增加到256，再增加到384，然后是两次384到384，最后减少到256。这些层的卷积核大小逐渐从5x5变为3x3，步长大多为1，填充为2或1。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;最后一个最大池化层将图像尺寸减小到[256, 6, 6]。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;全连接层&lt;/strong&gt;：在卷积层之后，模型包含三个全连接层。第一个全连接层 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;nn.Linear(256 * 6 * 6, 4096)&lt;/code&gt; 将卷积层的输出特征图展平后，映射到4096维的空间。接下来的两个全连接层都是4096维的，最后一个全连接层将特征映射到&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;num_classes&lt;/code&gt;的类别数。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;Dropout正则化&lt;/strong&gt;：在前两个全连接层之间，模型使用了Dropout正则化，丢弃率为0.5，以减少过拟合。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;超参数设置&quot;&gt;超参数设置&lt;/h2&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;超参数&lt;/th&gt;
      &lt;th&gt;意义&lt;/th&gt;
      &lt;th&gt;数值&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;init_weights&lt;/td&gt;
      &lt;td&gt;用什么方式初始化权重&lt;/td&gt;
      &lt;td&gt;用Kaiming初始化方法初始化卷积层的权重，并使用正态分布初始化全连接层的权重&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;batch_size&lt;/td&gt;
      &lt;td&gt;每个训练批次中的样本数量&lt;/td&gt;
      &lt;td&gt;32&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;optimizer&lt;/td&gt;
      &lt;td&gt;用于模型参数优化的算法&lt;/td&gt;
      &lt;td&gt;Adam优化器&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;lr (learning rate)&lt;/td&gt;
      &lt;td&gt;学习率，控制着在每次迭代中更新模型权重的大小&lt;/td&gt;
      &lt;td&gt;0.0002&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;epochs&lt;/td&gt;
      &lt;td&gt;训练模型的轮数，即整个数据集被遍历的次数。&lt;/td&gt;
      &lt;td&gt;100&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;loss_function&lt;/td&gt;
      &lt;td&gt;计算模型预测和真实标签之间差异的函数&lt;/td&gt;
      &lt;td&gt;交叉熵损失（CrossEntropyLoss）&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h2 id=&quot;alexnet结果&quot;&gt;AlexNet结果&lt;/h2&gt;

&lt;p&gt;最好结果&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;train epoch[87/100] loss:0.334: 100%|██████████| 157/157 [00:33&amp;lt;00:00,  4.72it/s]
100%|██████████| 125/125 [00:24&amp;lt;00:00,  5.13it/s]
[epoch 87] train_loss: 0.562  val_accuracy: 0.704
Class-wise Precision: [0.89705882 0.78632479 0.60824742 0.51923077 0.9516129 ]
Class-wise Recall: [0.61 0.92 0.59 0.81 0.59]
Class-wise F1-score: [0.72619048 0.84792627 0.59898477 0.6328125  0.72839506]
Macro-F1 Score: 0.7068618153547163
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504102906595.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504145641500.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504102949789.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504102918658.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504102931979.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504102942760.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;p&gt;用这张照片预测，模型预测为&lt;strong&gt;Happy&lt;/strong&gt;，但其实这张照片的标签属于&lt;strong&gt;Neural&lt;/strong&gt;类别 ❌&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504144644913.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504145106426.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;p&gt;用这张照片预测，模型预测为&lt;strong&gt;Sad&lt;/strong&gt;，但其实这张照片的标签属于&lt;strong&gt;Angry&lt;/strong&gt;类别 ❌&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505103801810.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505103815086.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;用这张照片预测，模型预测为&lt;strong&gt;Neural&lt;/strong&gt;，但其实这张照片的标签属于&lt;strong&gt;Sad&lt;/strong&gt;类别 ❌，但是我认为这张照片是可以预测为Neutral的&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505104946002.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505104908563.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;h1 id=&quot;resnet&quot;&gt;ResNet&lt;/h1&gt;

&lt;p&gt;残差网络的核心思想是引入了“残差学习”来解决深度网络中的梯度消失问题，允许训练更深层次的网络结构。以下是模型架构的详细描述：&lt;/p&gt;

&lt;h2 id=&quot;模型的架构设计-1&quot;&gt;模型的架构设计&lt;/h2&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505180421102.png&quot; alt=&quot;image-20240505180421102&quot; /&gt;&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;卷积层&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;nn.Conv2d&lt;/code&gt;): 用于执行卷积操作，是网络中的基本构建块，用于提取图像特征。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;批量归一化&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;nn.BatchNorm2d&lt;/code&gt;): 用于归一化卷积层的输出，有助于加快训练速度并提高模型稳定性。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;激活函数&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;nn.ReLU&lt;/code&gt;): 用于在卷积和归一化后引入非线性，ReLU（Rectified Linear Unit）是最常用的激活函数。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h3 id=&quot;残差块&quot;&gt;残差块&lt;/h3&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;BasicBlock&lt;/strong&gt;: 基础残差块，适用于输入和输出具有相同维度的情况。它包含两个卷积层，每层后都有批量归一化和ReLU激活函数。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;Bottleneck&lt;/strong&gt;: 瓶颈残差块，用于减少计算量，适用于输入和输出维度不同的下采样操作。它包含三个卷积层：第一个1x1卷积层用于降维（squeeze），第二个3x3卷积层用于特征提取，第三个1x1卷积层用于升维（unsqueeze）。在瓶颈块中，第一个1x1卷积层的步长是1，而3x3卷积层的步长是2。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;h3 id=&quot;下采样downsample&quot;&gt;下采样（Downsample）&lt;/h3&gt;

&lt;p&gt;当残差块用于下采样时，会引入一个额外的卷积层，用于将输入映射到与残差块相同的输出维度。这通常发生在网络的不同层之间，例如从第一层到第二层，输入通道数会翻倍。&lt;/p&gt;

&lt;h3 id=&quot;resnet类&quot;&gt;ResNet类&lt;/h3&gt;

&lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ResNet&lt;/code&gt;类是整个网络的顶层设计，它初始化了网络的输入层、多个残差块层、一个平均池化层和一个全连接层（如果&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;include_top=True&lt;/code&gt;）。网络的输入层是一个7x7的卷积层，后接最大池化层。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;输入层&lt;/strong&gt;: 一个7x7的卷积层，步长为2，用于将输入图像的尺寸减小，并提取初级特征。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;残差块层&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.layer1&lt;/code&gt;, &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.layer2&lt;/code&gt;, &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.layer3&lt;/code&gt;, &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.layer4&lt;/code&gt;): 由多个残差块组成，每一层的残差块数量由&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;blocks_num&lt;/code&gt;列表指定。每一层的输出通道数分别为64、128、256和512。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;平均池化层&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.avgpool&lt;/code&gt;): 将经过多层残差块处理的特征图进行平均池化，输出尺寸为(1, 1)。&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;&lt;strong&gt;全连接层&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.fc&lt;/code&gt;): 将平均池化后的输出展平，并映射到最终的类别数量。&lt;/p&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;hr /&gt;

&lt;p&gt;模型的架构设计遵循了残差网络（ResNet）的通用结构：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;输入层&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.conv1&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;一个7x7的卷积层，用于将输入图像从原始尺寸降维，并开始特征提取过程。&lt;/li&gt;
      &lt;li&gt;步长（stride）为2，这有助于减少特征图的空间维度。&lt;/li&gt;
      &lt;li&gt;填充（padding）为3，以保持一定的图像尺寸。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;批量归一化层&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.bn1&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;对上述卷积层的输出进行归一化处理。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;激活函数&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.relu&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;使用ReLU激活函数引入非线性。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;最大池化层&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.maxpool&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;使用3x3的最大池化进一步降低特征图的空间尺寸，步长为2。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;残差块层1&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.layer1&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;由多个BasicBlock或Bottleneck块组成，具体取决于构建的是哪种ResNet变体。&lt;/li&gt;
      &lt;li&gt;这些块的输出通道数为64。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;残差块层2&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.layer2&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;同样由多个残差块组成，输出通道数增至128，并且通过下采样将特征图的空间尺寸再次减半。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;残差块层3&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.layer3&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;输出通道数增至256。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;残差块层4&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.layer4&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;输出通道数增至512。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;平均池化层&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.avgpool&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;如果&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;include_top=True&lt;/code&gt;，网络将包括一个平均池化层，将多维的特征图转换为一个1x1的特征向量。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;全连接层&lt;/strong&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;self.fc&lt;/code&gt;):
    &lt;ul&gt;
      &lt;li&gt;一个线性层，将1x1的特征向量映射到最终的类别数量，即网络的输出。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;在这段代码中，&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;_make_layer&lt;/code&gt;函数用于创建由残差块组成的层。每一层的残差块数量由&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;blocks_num&lt;/code&gt;列表指定，例如对于ResNet34，这个列表是[3, 4, 6, 3]，表示每一层包含的残差块数量分别为3、4、6和3个。&lt;/p&gt;

&lt;p&gt;我使用的是resnet34，因为太深的模型的计算量太大了，但是我也定义了resnet50和resnet101，有足够的计算量的话可以尝试。&lt;/p&gt;

&lt;h2 id=&quot;超参数设置-1&quot;&gt;超参数设置&lt;/h2&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;超参数&lt;/th&gt;
      &lt;th&gt;意义&lt;/th&gt;
      &lt;th&gt;数值&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;init_weights&lt;/td&gt;
      &lt;td&gt;用什么方式初始化权重&lt;/td&gt;
      &lt;td&gt;用Kaiming初始化方法初始化卷积层的权重，并使用正态分布初始化全连接层的权重&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;batch_size&lt;/td&gt;
      &lt;td&gt;每个训练批次中的样本数量&lt;/td&gt;
      &lt;td&gt;16&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;optimizer&lt;/td&gt;
      &lt;td&gt;用于模型参数优化的算法&lt;/td&gt;
      &lt;td&gt;Adam优化器&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;lr (learning rate)&lt;/td&gt;
      &lt;td&gt;学习率，控制着在每次迭代中更新模型权重的大小&lt;/td&gt;
      &lt;td&gt;0.0001&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;epochs&lt;/td&gt;
      &lt;td&gt;训练模型的轮数，即整个数据集被遍历的次数。&lt;/td&gt;
      &lt;td&gt;80&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;loss_function&lt;/td&gt;
      &lt;td&gt;计算模型预测和真实标签之间差异的函数&lt;/td&gt;
      &lt;td&gt;交叉熵损失（CrossEntropyLoss）&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h2 id=&quot;resnet34结果&quot;&gt;ResNet34结果&lt;/h2&gt;

&lt;p&gt;最好结果&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;train epoch[51/80] loss:0.288: 100%|██████████| 313/313 [00:51&amp;lt;00:00,  6.09it/s]
valid epoch[51/80]: 100%|██████████| 32/32 [00:26&amp;lt;00:00,  1.23it/s]
[epoch 51] train_loss: 0.577  val_accuracy: 0.784
Class                Precision            Recall               F1-score                                  Macro-F1             

-------------------------------------------------------------------------------------------------------------------------------
Class 0:             0.9047619047619048   0.76                 0.8260869565217391                                             
Class 1:             0.8952380952380953   0.94                 0.9170731707317075                                             
Class 2:             0.6033057851239669   0.73                 0.6606334841628959                                             
Class 3:             0.7191011235955056   0.64                 0.6772486772486772                                             
Class 4:             0.8415841584158416   0.85                 0.845771144278607         
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/accuracy_over_epochs-1714890174224.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/train_loss_over_epochs.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/macro_f1_over_epochs.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/class_4_F1_over_epochs.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/class_4_Precision_over_epochs.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/class_4_Recall_over_epochs.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;p&gt;用Resnet34模型做预测，同样的图片可以精确的预测为Neutral，与标签一致，说明Resnet捕捉到了Alexnet无法捕捉到的细节 ✔&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504145407552.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504145106426.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;下面这张图片同样预测正确&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505104359475.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505103815086.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;用这张照片预测，模型预测为&lt;strong&gt;Neutral&lt;/strong&gt;，但其实这张照片的标签属于&lt;strong&gt;Sad&lt;/strong&gt;类别，但是我认为这张照片是可以预测为Neutral的&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505105121837.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505104908563.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;h1 id=&quot;vgg11&quot;&gt;VGG11&lt;/h1&gt;

&lt;h2 id=&quot;模型的架构设计-2&quot;&gt;模型的架构设计&lt;/h2&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505180032690.png&quot; alt=&quot;image-20240505180032690&quot; /&gt;&lt;/p&gt;

&lt;p&gt;VGG 网络是一个经典的深度学习模型，主要应用于图像识别任务。VGG 网络由多个卷积层和池化层组成，后面跟随全连接层。&lt;/p&gt;

&lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;make_features&lt;/code&gt;函数：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;这个函数根据提供的配置列表 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;cfg&lt;/code&gt; 构建网络的卷积和池化层。&lt;/li&gt;
  &lt;li&gt;它接受一个列表 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;cfg&lt;/code&gt; 作为参数，列表中的每个元素代表一个卷积层的输出通道数或一个池化操作（用字符串 “M” 表示）。&lt;/li&gt;
  &lt;li&gt;函数内部使用一个循环来添加卷积层和 ReLU 激活函数到 &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;layers&lt;/code&gt; 列表中，每经过一个 “M” 元素，就添加一个最大池化层。&lt;/li&gt;
&lt;/ul&gt;

&lt;hr /&gt;

&lt;p&gt;我使用的VGG11（具有 11 个卷积层的 VGG 网络）由以下层组成：&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&apos;vgg11&apos;: [64, &apos;M&apos;, 128, &apos;M&apos;, 256, 256, &apos;M&apos;, 512, 512, &apos;M&apos;, 512, 512, &apos;M&apos;]&lt;/code&gt;,&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;输入层&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;输入尺寸&lt;/strong&gt;：通常为224x224像素的RGB图像。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;卷积块&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;VGG11网络由多个卷积块组成，每个块包含若干卷积层后紧跟一个最大池化层（Max Pooling），并且所有卷积层都使用了ReLU激活函数。&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;Block 1&lt;/strong&gt;:
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;卷积层&lt;/strong&gt;：1个，3x3卷积核，输入通道3（RGB），输出通道64，无填充（padding=1保持尺寸不变），步长默认为1。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;最大池化层&lt;/strong&gt;：2x2核，步长2，用于下采样。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;Block 2&lt;/strong&gt;:
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;卷积层&lt;/strong&gt;：1个，3x3卷积核，输入通道64，输出通道128，padding以保持尺寸。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;最大池化层&lt;/strong&gt;：同上。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;Block 3&lt;/strong&gt;:
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;卷积层&lt;/strong&gt;：2个，均为3x3卷积核，第一个卷积层输入通道128，输出通道256；第二个卷积层输入通道同样为256，输出通道也是256。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;最大池化层&lt;/strong&gt;：同上。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;Block 4&lt;/strong&gt;:
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;卷积层&lt;/strong&gt;：2个，均为3x3卷积核，输入通道256，输出通道512。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;最大池化层&lt;/strong&gt;：同上。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;Block 5&lt;/strong&gt;:
    &lt;ul&gt;
      &lt;li&gt;&lt;strong&gt;卷积层&lt;/strong&gt;：2个，均为3x3卷积核，输入通道512，输出通道512。&lt;/li&gt;
      &lt;li&gt;&lt;strong&gt;最大池化层&lt;/strong&gt;：同上。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;&lt;strong&gt;全连接层&lt;/strong&gt;&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;Flatten&lt;/strong&gt;：将最后一个池化层的输出展平成一维向量。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;全连接层 1&lt;/strong&gt;：输入维度根据之前卷积层输出决定，通常很大，输出维度为4096，使用ReLU激活。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;全连接层 2&lt;/strong&gt;：输入4096，输出4096，使用ReLU激活。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;输出层&lt;/strong&gt;：输入4096，输出维度根据分类任务决定，比如1000类别时输出为1000，使用softmax函数进行概率输出。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;vgg11&lt;/code&gt; 是VGG系列中较浅的网络，它有11层深（包括卷积层、池化层和全连接层），因此它比更深的VGG网络（如VGG16或VGG19）训练和推理的速度更快，但可能在特征提取能力上有所不足，但是我的算力不足所以选择了使用&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;vgg11&lt;/code&gt;&lt;/p&gt;

&lt;h2 id=&quot;超参数设置-2&quot;&gt;超参数设置&lt;/h2&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;超参数&lt;/th&gt;
      &lt;th&gt;意义&lt;/th&gt;
      &lt;th&gt;数值&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;init_weights&lt;/td&gt;
      &lt;td&gt;用什么方式初始化权重&lt;/td&gt;
      &lt;td&gt;用xavier初始化方法初始化权重&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;batch_size&lt;/td&gt;
      &lt;td&gt;每个训练批次中的样本数量&lt;/td&gt;
      &lt;td&gt;32&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;optimizer&lt;/td&gt;
      &lt;td&gt;用于模型参数优化的算法&lt;/td&gt;
      &lt;td&gt;Adam优化器&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;lr (learning rate)&lt;/td&gt;
      &lt;td&gt;学习率，控制着在每次迭代中更新模型权重的大小&lt;/td&gt;
      &lt;td&gt;0.0001&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;epochs&lt;/td&gt;
      &lt;td&gt;训练模型的轮数，即整个数据集被遍历的次数。&lt;/td&gt;
      &lt;td&gt;70&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;loss_function&lt;/td&gt;
      &lt;td&gt;计算模型预测和真实标签之间差异的函数&lt;/td&gt;
      &lt;td&gt;交叉熵损失（CrossEntropyLoss）&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h2 id=&quot;结果&quot;&gt;结果&lt;/h2&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;train epoch[54/70] loss:0.220: 100%|██████████| 157/157 [01:04&amp;lt;00:00,  2.45it/s]
100%|██████████| 16/16 [00:26&amp;lt;00:00,  1.65s/it]
[epoch 54] train_loss: 0.527  val_accuracy: 0.708
Class                Precision            Recall               F1-score                                  Macro-F1             

-------------------------------------------------------------------------------------------------------------------------------
Class 0:             0.8080808080808081   0.8                  0.8040201005025126                                             
Class 1:             0.7946428571428571   0.89                 0.839622641509434                                              
Class 2:             0.5757575757575758   0.57                 0.5728643216080402                                             
Class 3:             0.546875             0.7                  0.6140350877192983                                             
Class 4:             0.9354838709677419   0.58                 0.7160493827160493                                        
                                                                                                         0.7093183068110669   
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504165930477.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504165952022.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504165936474.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504165957084.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504170004053.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504170045348.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;用VGG11模型做预测，同样的图片可以精确的预测为Neutral，与标签一致，说明VGG11捕捉到了Alexnet无法捕捉到的细节 ✔&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505101606315.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504145106426.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;预测正确 ✔&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505104038746.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505103815086.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;预测错误，但是我认为这张照片是可以预测为Neutral的&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505105150974.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505104908563.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;h1 id=&quot;googlenet&quot;&gt;GoogleNet&lt;/h1&gt;

&lt;h2 id=&quot;模型的架构设计-3&quot;&gt;模型的架构设计&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;a href=&quot;https://nndl.github.io/v/cnn-googlenet&quot;&gt;高清图片&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;img src=&quot;/img/in-post/ANN/midterm/v2-766c3f59d3791da39ad805606d6445f6_r.jpg&quot; alt=&quot;img&quot; style=&quot;zoom: 15%;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;它通过使用Inception模块来构建深度网络，以提高模型的性能和计算效率。下面是GoogLeNet网络架构的详细描述：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;输入&lt;/strong&gt;
原始输入图像为224x224x3，且都进行了零均值化的预处理操作（图像每个像素减去均值）。&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;第一层（卷积层）&lt;/strong&gt;
使用7x7的卷积核（滑动步长2，padding为3），64通道，输出为112x112x64，卷积后进行ReLU操作
经过3x3的max pooling（步长为2），输出为((112 - 3+1)/2)+1=56，即56x56x64，再进行ReLU操作&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;第二层（卷积层）&lt;/strong&gt;
使用3x3的卷积核（滑动步长为1，padding为1），192通道，输出为56x56x192，卷积后进行ReLU操作
经过3x3的max pooling（步长为2），输出为((56 - 3+1)/2)+1=28，即28x28x192，再进行ReLU操作&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;第三层（Inception 3a层）&lt;/strong&gt;
分为四个分支，采用不同尺度的卷积核来进行处理
    &lt;ol&gt;
      &lt;li&gt;64个1x1的卷积核，然后RuLU，输出28x28x64&lt;/li&gt;
      &lt;li&gt;96个1x1的卷积核，作为3x3卷积核之前的降维，变成28x28x96，然后进行ReLU计算，再进行128个3x3的卷积（padding为1），输出28x28x128&lt;/li&gt;
      &lt;li&gt;16个1x1的卷积核，作为5x5卷积核之前的降维，变成28x28x16，进行ReLU计算后，再进行32个5x5的卷积（padding为2），输出28x28x32&lt;/li&gt;
      &lt;li&gt;pool层，使用3x3的核（padding为1），输出28x28x192，然后进行32个1x1的卷积，输出28x28x32。
将四个结果进行连接，对这四部分输出结果的第三维并联，即64+128+32+32=256，最终输出28x28x256&lt;/li&gt;
    &lt;/ol&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;第三层（Inception 3b层）&lt;/strong&gt;
    &lt;ol&gt;
      &lt;li&gt;128个1x1的卷积核，然后RuLU，输出28x28x128&lt;/li&gt;
      &lt;li&gt;128个1x1的卷积核，作为3x3卷积核之前的降维，变成28x28x128，进行ReLU，再进行192个3x3的卷积（padding为1），输出28x28x192&lt;/li&gt;
      &lt;li&gt;32个1x1的卷积核，作为5x5卷积核之前的降维，变成28x28x32，进行ReLU计算后，再进行96个5x5的卷积（padding为2），输出28x28x96&lt;/li&gt;
      &lt;li&gt;pool层，使用3x3的核（padding为1），输出28x28x256，然后进行64个1x1的卷积，输出28x28x64。
将四个结果进行连接，对这四部分输出结果的第三维并联，即128+192+96+64=480，最终输出输出为28x28x480&lt;/li&gt;
    &lt;/ol&gt;
  &lt;/li&gt;
  &lt;li&gt;第四层（4a,4b,4c,4d,4e）、第五层（5a,5b）……，与3a、3b类似，在此就不再重复。&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&quot;超参数设置-3&quot;&gt;超参数设置&lt;/h2&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;超参数&lt;/th&gt;
      &lt;th&gt;意义&lt;/th&gt;
      &lt;th&gt;数值&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;init_weights&lt;/td&gt;
      &lt;td&gt;用什么方式初始化权重&lt;/td&gt;
      &lt;td&gt;用Kaiming初始化方法初始化卷积层的权重，并使用正态分布初始化全连接层的权重&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;batch_size&lt;/td&gt;
      &lt;td&gt;每个训练批次中的样本数量&lt;/td&gt;
      &lt;td&gt;32&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;optimizer&lt;/td&gt;
      &lt;td&gt;用于模型参数优化的算法&lt;/td&gt;
      &lt;td&gt;Adam优化器&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;lr (learning rate)&lt;/td&gt;
      &lt;td&gt;学习率，控制着在每次迭代中更新模型权重的大小&lt;/td&gt;
      &lt;td&gt;0.0003&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;epochs&lt;/td&gt;
      &lt;td&gt;训练模型的轮数，即整个数据集被遍历的次数。&lt;/td&gt;
      &lt;td&gt;100&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;loss_function&lt;/td&gt;
      &lt;td&gt;计算模型预测和真实标签之间差异的函数&lt;/td&gt;
      &lt;td&gt;交叉熵损失（CrossEntropyLoss）&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;h2 id=&quot;结果-1&quot;&gt;结果&lt;/h2&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;table class=&quot;rouge-table&quot;&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td class=&quot;rouge-gutter gl&quot;&gt;&lt;pre class=&quot;lineno&quot;&gt;1
2
3
4
5
6
7
8
9
10
11
12
&lt;/pre&gt;&lt;/td&gt;&lt;td class=&quot;rouge-code&quot;&gt;&lt;pre&gt;train epoch[87/100] loss:1.278: 100%|██████████| 157/157 [00:42&amp;lt;00:00,  3.73it/s]
100%|██████████| 16/16 [00:24&amp;lt;00:00,  1.53s/it]
[epoch 87] train_loss: 0.892  val_accuracy: 0.704
Class                Precision            Recall               F1-score                                  Macro-F1             

-------------------------------------------------------------------------------------------------------------------------------
Class 0:             0.859375             0.55                 0.6707317073170732                                             
Class 1:             0.744                0.93                 0.8266666666666667                                             
Class 2:             0.5555555555555556   0.75                 0.6382978723404256                                             
Class 3:             0.6120689655172413   0.71                 0.6574074074074073                                             
Class 4:             0.9666666666666667   0.58                 0.725                                                          
                                                                                                         0.7036207307463147   
&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/accuracy_over_epochs.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505100228366.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505100221295.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505100308622.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505100233781.png&quot; alt=&quot;Image 1&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505100239450.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;用Googlenet模型做预测，同样的图片可以精确的预测为Neutral，与标签一致，说明Googlenet捕捉到了Alexnet无法捕捉到的细节 ✔&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505101320739.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240504145106426.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;预测错误 ❌&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505104544531.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505103815086.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;预测错误 ❌ 但是我认为这张照片是可以预测为Neutral的&lt;/p&gt;

&lt;div style=&quot;display: flex;&quot;&gt;
    &lt;div style=&quot;flex: 50%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505105227920.png&quot; alt=&quot;image-20240504144644913&quot; /&gt;
    &lt;/div&gt;
    &lt;div style=&quot;flex: 45%; padding: 5px;&quot;&gt;
        &lt;img src=&quot;/img/in-post/ANN/midterm/image-20240505104908563.png&quot; alt=&quot;Image 2&quot; /&gt;
    &lt;/div&gt;
&lt;/div&gt;
&lt;h1 id=&quot;结果分析&quot;&gt;结果分析&lt;/h1&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;AlexNet&lt;/th&gt;
      &lt;th&gt;ResNet&lt;/th&gt;
      &lt;th&gt;VGG11&lt;/th&gt;
      &lt;th&gt;GoogleNet&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;F1 Scores 排名&lt;/td&gt;
      &lt;td&gt;F1 Scores 排名&lt;/td&gt;
      &lt;td&gt;F1 Scores 排名&lt;/td&gt;
      &lt;td&gt;F1 Scores 排名&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;Surprise(500)-4&lt;/td&gt;
      &lt;td&gt;Happy(1500)-1&lt;/td&gt;
      &lt;td&gt;Happy(1500)-1&lt;/td&gt;
      &lt;td&gt;Happy(1500)-1&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;Angry(500)-0&lt;/td&gt;
      &lt;td&gt;Surprise(500)-4&lt;/td&gt;
      &lt;td&gt;Surprise(500)-4&lt;/td&gt;
      &lt;td&gt;Surprise(500)-4&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;Happy(1500)-1&lt;/td&gt;
      &lt;td&gt;Angry(500)-0&lt;/td&gt;
      &lt;td&gt;Angry(500)-0&lt;/td&gt;
      &lt;td&gt;Angry(500)-0&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;Neutral(1000)-2&lt;/td&gt;
      &lt;td&gt;Sad(1500)-3&lt;/td&gt;
      &lt;td&gt;Sad(1500)-3&lt;/td&gt;
      &lt;td&gt;Sad(1500)-3&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;Sad(1500)-3&lt;/td&gt;
      &lt;td&gt;More ActionsNeutral(1000)-2&lt;/td&gt;
      &lt;td&gt;Neutral(1000)-2&lt;/td&gt;
      &lt;td&gt;Neutral(1000)-2&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;模型&lt;/th&gt;
      &lt;th&gt;ACC&lt;/th&gt;
      &lt;th&gt;Macro-F1&lt;/th&gt;
      &lt;th&gt;权重大小&lt;/th&gt;
      &lt;th&gt;训练时间(per epoch)&lt;/th&gt;
      &lt;th&gt;卷积层数(粗略计算)&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;AlexNet&lt;/td&gt;
      &lt;td&gt;0.704&lt;/td&gt;
      &lt;td&gt;0.707&lt;/td&gt;
      &lt;td&gt;222MB&lt;/td&gt;
      &lt;td&gt;30&lt;/td&gt;
      &lt;td&gt;5&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;ResNet&lt;/td&gt;
      &lt;td&gt;0.784&lt;/td&gt;
      &lt;td&gt;0.712&lt;/td&gt;
      &lt;td&gt;81.3MB&lt;/td&gt;
      &lt;td&gt;58&lt;/td&gt;
      &lt;td&gt;28&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;VGG11&lt;/td&gt;
      &lt;td&gt;0.708&lt;/td&gt;
      &lt;td&gt;0.709&lt;/td&gt;
      &lt;td&gt;491MB&lt;/td&gt;
      &lt;td&gt;40&lt;/td&gt;
      &lt;td&gt;8&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;GoogleNet&lt;/td&gt;
      &lt;td&gt;0.704&lt;/td&gt;
      &lt;td&gt;0.704&lt;/td&gt;
      &lt;td&gt;39.4MB&lt;/td&gt;
      &lt;td&gt;35&lt;/td&gt;
      &lt;td&gt;17&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;ol&gt;
  &lt;li&gt;&lt;strong&gt;模型性能比较&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;从提供的F1分数排名来看，Happy表情的识别准确率是最高的，而Surprise表情的识别准确率最低。这可能与数据集中Happy表情的样本数量最多有关，而Surprise表情的样本数量最少。&lt;/li&gt;
      &lt;li&gt;在四种模型中，ResNet34模型在Macro-F1分数上表现最佳，这表明它在所有类别上的平均性能最好。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;模型大小与性能&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;AlexNet模型的大小是第二大的，几乎是GoogleNet的5.5倍，而VGG11模型的大小又是AlexNet的2.5倍，ResNet34在性能最好的同时模型大小也不大，是第二小的。这表明在内存或计算资源有限的情况下，选择更小的模型（如GoogleNet）可能更合适。&lt;/li&gt;
      &lt;li&gt;尽管GoogleNet模型大小较小，但其性能却非常优越，这可能与它的架构设计有关，能够更有效地捕捉图像特征。&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;网络深度的重要性&lt;/strong&gt;：
    &lt;ul&gt;
      &lt;li&gt;增加网络的深度可以提高网络的性能。一个深层网络即使在参数数量相同的情况下，性能也至少能与浅层网络相匹配。这是因为深层网络可以通过其额外的层学习到更复杂的特征表示。&lt;/li&gt;
      &lt;li&gt;一个具体的例子是VGG网络，它通过增加网络深度在AlexNet的基础上显著提高了性能。而ResNet则很好的诠释了这一点：越深能提取到特征越多(但也不是越深越好，要和数据量匹配)&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;通过上述分析，可以得出结论，ResNet34在本次实验中表现最佳，而GoogleNet由于其较小的模型大小和优越的性能，也是一个不错的选择。同时，增加网络的深度对于提高性能是有益的，但也需要考虑到计算资源和训练时间的限制。&lt;/p&gt;

&lt;h1 id=&quot;实验心得&quot;&gt;实验心得&lt;/h1&gt;

&lt;p&gt;本次实验花费了整整5天的时间搭建了4个模型（alexnet、resnet、vgg11、googlenet），完成了人脸识别的内容，总的来讲难度属于中等，参考论文即可把网络模型大概搭建出来，&lt;/p&gt;

&lt;p&gt;本次实验是一个关于人脸识别技术的研究项目，我投入了整整5天的时间来搭建和测试4个不同经典的深度学习模型，分别是AlexNet、ResNet、VGG11和GoogleNet。&lt;/p&gt;

&lt;p&gt;首先，我选择了AlexNet作为起始点，因为它是最早在大规模图像识别任务中取得突破性进展的模型之一。尽管它在今天看来结构相对简单，我按照原始论文的指导搭建了AlexNet模型，并对其进行了适当的调整以适应人脸识别任务。发现模型效果并不好之后，我转向了ResNet模型。ResNet通过引入残差学习解决了深度网络训练中的退化问题，允许我们构建更深的网络结构而不会降低训练效果。训练之后发现模型效果很好，但是这也引发我探究是不是模型越深对本次实验效果越好，所以我接着搭建了没有那么多卷积层数的VGG11模型。VGG11是VGG系列中较浅的网络，效果仍然比Alexnet要好，但是缺点是模型太大了，几乎是Alexnet的2.5倍，有点像是力大砖飞了，所以我又尝试了参数量远小于VGG的GoogleNet模型。GoogleNet以其高效的计算性能和创新的Inception模块而著称，这些模块能够捕捉不同尺度的特征，对于人脸识别这类需要多尺度信息的任务来说，是一个不错的选择，最终效果也显示它以一个较小的模型和比较少的卷积层数实现了比较不错的效果。&lt;/p&gt;

&lt;p&gt;在整个实验过程中，我不仅参考了这些模型的原始论文，还查阅了大量的相关文献和资料，实验结果显示，虽然这些模型在理论上都具备处理人脸识别任务的能力，但实际表现各有千秋，这可能与我们的数据集特性、模型超参数设置以及训练过程中的随机性有关。总的来讲，本次实验的难度属于中等。然而，要达到最优的性能，还需要对模型进行细致的调整和优化，这就需要更多的实验和尝试，由于算力的局限，我没有对每一个超参数都进行细致的调整，只是对主要的超参数进行了调节，在准确率超过70%之后就没要再花时间进行进一步调整了。&lt;/p&gt;
</description>
        <pubDate>Wed, 01 May 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/05/01/midterm/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/05/01/midterm/</guid>
        
        <category>AI</category>
        
        <category>ANN</category>
        
        <category>NOTES</category>
        
        <category>Project</category>
        
        
      </item>
    
      <item>
        <title>有趣的小页面</title>
        <description>&lt;p&gt;&lt;a href=&quot;https://jaredddddd.github.io/InterestingWeb/SnowMountain.html&quot;&gt;雪山🏔️&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://jaredddddd.github.io/InterestingWeb/FairyForest.html&quot;&gt;魔法森林🎄&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://jaredddddd.github.io/InterestingWeb/newyear.html&quot;&gt;新年快乐🧧&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://jaredddddd.github.io/InterestingWeb/ParallaxPeer.html&quot;&gt;小鹿剪影🦌&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://jaredddddd.github.io/InterestingWeb/ParallaxScrollAnimation.html&quot;&gt;一日🌄&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://jaredddddd.github.io/InterestingWeb/Water.html&quot;&gt;水🌊&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&quot;https://jaredddddd.github.io/InterestingWeb/clock.html&quot;&gt;小时钟🕐&lt;/a&gt;&lt;/p&gt;

</description>
        <pubDate>Tue, 30 Apr 2024 00:00:00 +0000</pubDate>
        <link>https://jaredddddd.github.io/2024/04/30/InterestingWeb/</link>
        <guid isPermaLink="true">https://jaredddddd.github.io/2024/04/30/InterestingWeb/</guid>
        
        <category>Blog</category>
        
        
      </item>
    
  </channel>
</rss>