分类： Transformer and 多模态

AnyGPT：具有离散序列建模的统一多模态大语言模型

code:  https://github.com/OpenMOSS/AnyGPT
paper: https://arxiv.org/abs/2402.12226
Demos: https://junzhan2000.github.io/AnyGPT.github.io/

AnyGPT，一种任意到任意的多模态语言模型，它利用离散表示来统一处理各种模态，包括语音、文本、图像和音乐。AnyGPT可以稳定地训练，而无需对当前的大型语言模型（LLM）架构或训练范式进行任何更改。相反，它完全依赖于数据级预处理，促进新模式无缝集成到LLMs中，类似于新语言的合并。基础模型将四种模态对齐，允许不同模态和文本之间的多式联运转换。此外，我们基于各种生成模型构建了AnyInstruct数据集，其中包含任意模态相互转换的指令。它由108k个多回合对话样本组成，这些样本错综复杂地交织在各种模态中，从而使模型能够处理多模态输入和输出的任意组合。经过此数据集的训练，我们的聊天模型可以进行免费的多模式对话，其中可以随意插入多模式数据。实验结果表明，AnyGPT能够促进任何到任何多模态对话，同时实现与所有模态的专用模型相当的性能，证明离散表示可以有效且方便地统一语言模型中的多个模态。

基本模型可以执行各种任务，包括文本到图像、图像字幕、自动语音识别（ASR）、零触发文本到语音（TTS）、文本到音乐和音乐字幕。我们可以按照特定的指令格式执行推理。

所有的模态都转换为离散token

提出了一个可以统一训练的综合框架。 如图1所示，该框架由三个主要组件组成：（ 1 ）多模态分词器，（ 2 ）作为主干的多模态语言模型，以及（ 3 ）多模态de-tokenizer。  分词器将连续的非文本模态转换为离散的标记，这些标记随后被排列成多模态交织序列。 然后，使用下一个标记预测训练目标通过语言模型训练序列。 在推理过程中，多模态令牌被解码回其原始表示的相关的多模态token。 为了丰富生成的质量，可以部署多模态增强模块来对生成的结果进行后处理，包括语音克隆或图像超分辨率等应用。 

AnyInstruct多模态交错指令数据合成过程：

生成108k多轮对话数据，每个对话都交错包含text、speech、image、music模态的数据

1.Generation of text-based conversations incorporating multimodal elements.

•脑暴100个meta topics覆盖大量的音视元素相关场景，再用GPT-4扩展至20000个特定主题 •提示LLM生成基于这些主题的具体对话场景，由于LLM在生成多模态元素时有局限，准备了一些样例尽量包含多个模态 •根据场景使用GPT-4生成多轮对话，多模态用详细的文字进行表述’

2.用DALL-E-3、MusicGen、微软TTS API根据用户提示和模型的文本回复生成对应模态的数据。

最终包含205k图片，503k语音，113k音乐

模型预训练数据：

为了实现从任何模态到任何其他模态的生成，至关重要的是要在这些模态之间保持良好的数据一致。不幸的是，这种数据非常稀缺。为了解决这一挑战，我们构建了一个以文本为中心的双峰对齐数据集。在这里，文本是作为一个重要的中介桥梁之间的差距差距各种形式。通过将不同的模态与语言模型中的文本模态对齐，我们的目标是实现所有模态之间的相互对齐。

预训练数据分布，按令牌计数分段，内部部分指示模态，中间部分详细说明数据类型，外部部分指定单个数据集。

Image & Text ：我们利用来自LAION-2B的图像-文本对（Schuhmann 等人，2022）、LAION-COCO（lai，2022 b）、LAION-Aesthetics（lai，2022 a）和JouneyDB（Pan 等人，2023年）。LAION-2B提供了与来自网络的嘈杂替代文本配对的图像，而LAION-COCO代表了其中的600 M子集，由BLIP标题。我们通过过滤文本质量、图像纵横比和剪辑得分等来细化这些数据集，产生了3亿对的高质量语料库。为了提高整体图像生成的保真度，我们用高质量的LAION-Aesthetics子集和Midjourney的合成数据集ColonneyDB补充了我们的数据。

Speech & Text ：我们收集了几个大规模的英语自动语音识别（ASR）数据集，Gigaspeech  (Chen et al., 2021), Common Voice (Ardila et al., 2020), and Multilingual LibriSpeech(MLS) (Pratap et al., 2020). 共同构成了57，000小时的语音文本对语料库，涵盖了各种各样的说话人，领域和录音环境。

Music&Text：从互联网上抓取了超过一百万个音乐视频，开始了广泛的数据收集过程。核心步骤涉及使用Spotify API将这些视频的标题与相应的歌曲进行匹配。随后，我们为每个音乐音频收集了一组全面的元数据，包括视频标题、描述、关键字、播放列表名称和Spotify歌词。该元数据被格式化为JSON并输入GPT-4处理。GPT-4作为智能字幕生成器的作用至关重要;它利用嘈杂的元数据提取有意义的信息，并将其简洁地概括为连贯的句子。这种方法使我们能够为大量的音乐音频生成高质量的文本字幕，有效地减少了数据集中幻觉的发生。

Tokenization

Image Tokenizer：

使用SEED tokenizer：

ViT encoder 224x224input 16x16patches

Causal Q-Former 32token

VQ Codebook Codebook大小8192

MLP 将视觉code解码至生成空间的embedding（与unCLIP-SD对齐）

UNet decoder复原图像

Speech Tokenizer:

采用具有残差矢量量化（RVQ）的编码器-解码器架构

•RVQ 8层，每层codebook大小1024

•每秒编码为50帧，10s即500×8 •量化器第1层捕捉语义信息，
2~8层编码副语言细节 •AnyGPT中使用LLM处理第1层语义token，
其余层由声音克隆模型提供？（VALLE中表示声音主要受第1层影响），因此Speech这块新增的token数是1024

Music Tokenizer :

对于音乐，我们采用Encodec（D’efossez 等人，2022），具有使用残差矢量量化（RVQ）量化的潜在空间的卷积自动编码器，作为音乐令牌化器。

•RVQ 4层，每层codebook2048 •每秒编码为50帧 •不同之处在于LLM会依次预测每帧4层的token，然后再下一帧

Language Model Backbone

为了将多模态离散表示合并到预先训练的LLMs中，我们使用新的模态特定令牌扩展词汇表，从而扩展相应的嵌入和预测层，新合并的参数随机初始化。 来自所有模态的标记联合收割机以形成新的词汇表，其中每个模态在语言模型内被训练以在共享的表征空间中对齐。

•统一的多模态语言模型：通过特定模态的tokenizer，可以将多模态数据压缩为离散的token序列，并使用LLM的next token prediction loss训练，天然地统一各种任务形式 • •使用LLaMA-2-7B作为backbone

Multimodal Generation:

为了高质量生成采用2阶段框架，语义信息建模和感知信息建模。LLM在语义层面生成经过融合对齐的内容，然后NAR模型在感知层面将语义token转换成高保真的多模态内容，达到效果与效率间的平衡

•Image
使用Diffusion Model解码SEED tokens生成图片

•Speech
使用SoundStorm从SpeechTokenizer的semantic tokens生成acoustic tokens（LLM生成第1层，SoundStorm生成2~7层？），再用SpeechTokenizer解码生成语音
具备Zero-shot的声音克隆功能

•Music
使用Encodec解码生成音频

Instruction Tuning

实验:

局限性和未来工作:

任意到任意多模式LLM基准测试:任何对任何多模态大型语言模型（LLMs）领域是一个新兴的研究领域。然而，缺乏一个专门的基准来评估模型在多个维度上的能力，以及减轻潜在风险，这是一个相当大的挑战。因此，必须制定一个全面的基准。

增强LLMs:尽管具有离散表示的多模态LLMs可以稳定地训练，但与单模态训练相比，观察到更高的损失，从而阻止了每种模态的最佳性能。改进多模态融合的潜在策略可能涉及扩展LLMs和标记器或采用混合专家（莫伊）架构，以更好地管理不同的数据并优化性能。

更好的Tokenizer：可以从各种角度来增强 Tokenizer ，包括采用上级码本训练方法，开发更具凝聚力的多模态表示，以及在各种模态中应用信息解纠缠。

更长的上下文：多模态内容，例如图像和音频，通常跨越广泛的序列。例如，AnyGPT将音乐建模限制在5秒，这大大限制了其音频输出的实际用途。此外，对于任何对任何多模态对话，扩展的上下文允许更多数量的会话交换，从而丰富交互的深度和复杂性。

ChatTTS

https://github.com/2noise/ChatTTS/blob/main/docs/cn/README.md
https://2noise.com/
https://github.com/libukai/Awesome-ChatTTS
  1. 对话式 TTS: ChatTTS 针对对话式任务进行了优化，能够实现自然且富有表现力的合成语音。它支持多个说话者，便于生成互动式对话。
  2. 精细的控制: 该模型可以预测和控制精细的韵律特征，包括笑声、停顿和插入语。
  3. 更好的韵律: ChatTTS 在韵律方面超越了大多数开源 TTS 模型。我们提供预训练模型以支持进一步的研究和开发。

数据集和模型

  • 主模型使用了 100,000+ 小时的中文和英文音频数据进行训练。
  • HuggingFace 上的开源版本是一个在 40,000 小时数据上进行无监督微调的预训练模型。
###################################
# Sample a speaker from Gaussian.

rand_spk = chat.sample_random_speaker()
print(rand_spk) # save it for later timbre recovery

params_infer_code = ChatTTS.Chat.InferCodeParams(
    spk_emb = rand_spk, # add sampled speaker 
    temperature = .3,   # using custom temperature
    top_P = 0.7,        # top P decode
    top_K = 20,         # top K decode
)

###################################
# For sentence level manual control.

# use oral_(0-9), laugh_(0-2), break_(0-7) 
# to generate special token in text to synthesize.
params_refine_text = ChatTTS.Chat.RefineTextParams(
    prompt='[oral_2][laugh_0][break_6]',
)

wavs = chat.infer(
    texts,
    params_refine_text=params_refine_text,
    params_infer_code=params_infer_code,
)

###################################
# For word level manual control.

text = 'What is [uv_break]your favorite english food?[laugh][lbreak]'
wavs = chat.infer(text, skip_refine_text=True, params_refine_text=params_refine_text,  params_infer_code=params_infer_code)
torchaudio.save("output2.wav", torch.from_numpy(wavs[0]), 24000)

模型组成：LlamaModel、DVAE（VQVAE）、VOCOS声码器

文本控制

  • 1. Input Text : 需要转换的文本，支持中文和英文混杂
  • 2. Refine text : 是否对文本进行口语化处理
  • 3. Text Seed : 配置文本种子值，不同种子对应不同口语化风格
  • 4. 🎲 : 随机产生文本种子值
  • 5. Output Text : 口语化处理后生成的文本

音色控制

  • 6. Timbre : 预设的音色种子值
  • 7. Audio Seed : 配置音色种子值，不同种子对应不同音色
  • 8. 🎲 : 随机产生音色种子值
  • 9. Speaker Embedding : 音色码，详见 音色控制

情感控制

  • 10. temperate : 控制音频情感波动性，范围为 0-1，数字越大，波动性越大
  • 11. top_P ：控制音频的情感相关性，范围为 0.1-0.9，数字越大，相关性越高
  • 12. top_K ：控制音频的情感相似性，范围为 1-20，数字越小，相似性越高

系数控制

  • 13. DVAE Coefficient : 模型系数码
  • 14. Reload : 重新加载模型系数

播放控制

  • 15. Auto Play : 是否在生成音频后自动播放
  • 16. Stream Mode : 是否启用流式输出
  • 17. Generate : 点击生成音频文件
  • 18. Output Audio : 音频生成结果
  • 19. ↓ : 点击下载音频文件
  • 20. ▶️ : 点击播放音频文件

示例控制

  • 21. Example : 点击切换示例配置

快速体验

网址类型
Original Web原版网页版体验
Forge WebForge 增强版体验
LinuxPython 安装包
Samples音色种子示例
Cloning音色克隆体验

热门分支

功能增强

项目Star亮点
jianchang512/ChatTTS-ui提供 API 接口，可在第三方应用中调用
6drf21e/ChatTTS_colab提供流式输出，支持长音频生成和分角色阅读
lenML/ChatTTS-Forge提供人声增强和背景降噪，可使用附加提示词
CCmahua/ChatTTS-Enhanced支持文件批量处理，以及导出 SRT 文件
HKoon/ChatTTS-OpenVoice配合 OpenVoice 进行声音克隆

功能扩展

项目Star亮点
6drf21e/ChatTTS_Speaker音色角色打标与稳定性评估
AIFSH/ComfyUI-ChatTTSComfyUi 版本，可作为工作流节点引入
MaterialShadow/ChatTTS-manager提供了音色管理系统和 WebUI 界面

FunAudioLLM：人类和LLMs之间自然交互的语音理解和生成基础模型

https://funaudiollm.github.io/  [阿里团队]
arxiv.org/abs/2407.04051

[Paper] [Code] [Modelscope:SenseVoiceCosyVoice] [HuggingFace: SenseVoice]

我们介绍FunAudioLLM，本报告介绍了FunAudioLLM，这是一个旨在增强人类与大型语言模型之间的自然语音交互的框架（LLMs）。其核心是两个创新模型：SenseVoice用于高精度多语言语音识别，情感识别和音频事件检测;CosyVoice用于多语言，音色和情感控制的自然语音生成。SenseVoice具有极低的延迟并支持50多种语言，而CosyVoice在多语言语音生成、零触发语音生成、跨语言语音克隆和指令遵循功能方面表现出色。与SenseVoice和CosyVoice相关的模型已经在Modelscope和Huggingface上开源，沿着相应的训练，推理和微调代码发布在GitHub上。 通过将这些模型与LLMs集成，FunAudioLLM可以实现语音翻译、情感语音聊天、交互式播客和富有表现力的有声读物叙述等应用，从而推动语音交互技术的发展。

SenseVoice支持多语言语音识别，其训练时间超过30万小时。具体来说，SenseVoice-Small在推理方面非常高效，其中识别延迟小于80 ms，分别比Whisper-Small和Whisper-large快5倍和15倍以上，SenseVoice-Large支持50多种语言的高精度ASR。此外，SenseVoice支持丰富的转录，包括最先进的情感识别、音频事件检测、反向文本标准化（Pusateri 等人，2017）和标点符号（Chen 等人，2020年）。

语音生成模型，CosyVoice，可以生成多语言的语音，这是超过17万小时和五种语言，包括中文（ZH），英语（EN），日语（JP），广东话（Yue）和韩语（KO）的训练。CosyVoice生成的样本可以实现低于2%的WER和超过75%的说话人相似度，达到人类平价的质量水平。CosyVoice支持零样本上下文学习，这使得语音克隆只需要3秒的提示语音。音色、情感、韵律和风格可以在语言内部或跨语言复制。我们还发布了一个指令模型，它可以控制说话者身份，说话风格（例如，情感）和其他具有自然纹理指令的细粒度语言特征。

Speech-to-Speech Translation:

通过集成SenseVoice、LLMs和CosyVoice，我们可以毫不费力地执行语音到语音翻译（S2ST）。

Emotional VoiceChat 情感语音聊天:

通过集成SenseVoice、LLMs和CosyVoice，我们可以开发一个情感语音聊天应用程序。

Interactive Podcast 互动播客:通过集成SenseVoice，一个基于LLM的多智能体系统，具有实时世界知识，以及CosyVoice，我们可以创建一个交互式播客。

有声书：通过LLMs的分析能力来构建和识别书籍中的情感，并将其与CosyVoice合成，我们实现了具有增强表现力的有声读物。

CosyVoice:

在推理阶段概述CosyVoice模型。概括地说，CosyVoice包括一个自回归Transformer，用于为输入文本生成相应的语音标记，一个基于ODE的扩散模型，流匹配，用于从生成的语音标记重建Mel频谱，以及一个基于HiFiGAN的声码器，用于合成波形。虚线模块在特定模型用途中是可选的，例如跨语言、SFT推理等。[论文]

图1：所提出的CosyVoice模型的概述。(a)演示了 𝒮3
标记器，其中虚线模块仅在训练阶段使用。(b)是CosyVoice的示意图，由文本到令牌LLM和令牌到语音流匹配模型组成。 S、E和T表示“start of sequence”、“end of sequence”和“turn of speech”标记。虚线表示推理阶段的自回归解码。(c)提供了我们的流匹配模型的放大视图，该模型以概率密度路径上的时间步长 t处的说话者嵌入 𝐯、语义标记 μ、掩蔽语音特征 X~和中间状态 Xt为条件。
图2：（a）零触发上下文学习和（B）跨语言语音克隆的序列构建。LID表示目标语言标识符。

CosyVoice由四个组件组成，即文本编码器、语音分词器[ speech tokenizer]、大语言模型和条件流匹配模型。具体地说，文本编码器用于对齐文本和语音token的语义空间，而  speech tokenizer 用于提取语义记号，如图1（a）所示。我们采用一个大的语言模型来学习整个文本编码和语音标记序列，将TTS重新表述为一个给定文本作为提示的自回归序列生成问题。然后，如图1（c）所示，利用条件流匹配模型，通过最佳路径上的去噪过程将语音令牌转换为Mel频谱图 。2020）用于以所生成的Mel频谱图作为输入来合成波形。

语音的受监督语义令牌 [ speech tokenizer] :

采用有监督的自动语音识别（ASR）模型来导出用于语音的有监督的语义语音（ 𝒮3 ）分词器。该模型是我们专有的SenseVoice ASR模型的微调版本。它接受了多语言音频数据的训练，并具有丰富的音频内容理解能力。 与原始ASR模型不同，我们将编码器分为两部分，并在它们之间插入矢量量化层。给定Mel频谱图 X 作为输入，其经历位置编码和 Encoder1 以获得上下文感知表示 H ：

然后，一个矢量量化器（VQ）参与获得离散令牌。 对于帧 l 处的隐藏表示 𝐡l ，码本 C 中的最近嵌入的索引被视为该时间步处的语音令牌 μl ：

语音令牌的对应码本嵌入被用作量化的隐藏表示 H¯={𝐜μ1,𝐜μ2,…,𝐜μL} ，并通过剩余的编码器层 Encoder2 ：

 在 Encoder2 之后，接下来是基于transformer的ASR解码器，预测文本标签的后验概率：

TTS的大型语言模型:

我们将TTS任务表述为具有大型语言模型的自回归语音令牌生成问题（LLM）。对于LLM，序列构建是最重要的事项，其构建如下：

S and E denote the start and end of sequence, respectively.T is “turn of speech” tokens. 𝐯 is a speaker embedding vector extracted from the speech X with a pre-trained voice-print model2. The text encodings Y¯={𝐲¯u}u⁣∈⁣[1:U] is obtained by passing the text through a Byte Pair Encoded (BPE) tokenizer and text encoder:

由于文本和语音标记位于不同的语义层，因此文本编码器用于对齐它们的语义空间并有利于LLM建模。 在文本编码和语音标记 {μl}l⁣∈⁣[1:L] 之间插入开始标识符T报告问题，语音标记 {μl}l⁣∈⁣[1:L] 是用2.1中描述的监督语义标记器提取的。在训练阶段，我们采用教师强迫方案，其中左移序列作为模式输入，原始序列作为期望输出。 注意，在训练期间仅考虑语音标记的交叉熵损失和：

Optimal-transport Conditional Flow Matching:

在CosyVoice中，采用最优传输条件流匹配模型（OT-CFM）来学习Mel谱图的分布，并以生成的语音令牌为条件从其生成样本。 与扩散概率模型（DPM）相比，OT-CFM可以实现更好的性能，具有更简单的梯度，更容易的训练和更快的生成.

  在连续时间归一化流（CNF）中，从先验分布 p0⁢(X) 到Mel谱图 q⁢(X) 的数据分布构造概率密度路径。 概率密度路径由依赖于时间的矢量场 νt⁢(X):[0,1]×ℝL∗D→ℝL∗D 定义，其通过以下常微分方程（ODE）生成流 ϕt ：

流匹配模型（The flow matching model）用于估计条件概率 P(S|X, v, Sref)。其中，X 和 v 分别表示语音片段和说话人嵌入，S 和 Sref 分别表示目标和参考语音的梅尔频谱。该模型使用卷积 Transformer U-Net 来确定最优传输 ODE 中先验分布与目标分布之间的矢量场。在推理阶段，只需五到十次迭代即可生成令人满意的梅尔频谱图。此外，还采用无分类器指导技术，通过屏蔽 70% 到 100% 的前置特征条件来增强上下文学习能力。

在从预测的梅尔频谱图合成波形时，我们使用改进的 HiFTNet 声码器，以支持流式生成。

可以实现的任务：

（a）零触发上下文学习和（B）跨语言语音克隆的序列构建。LID表示语言标识符。

Multi-lingual Voice Generation 【多语言的语音合成】

Zero-shot In-context Generation 零样本上下文生成

CosyVoice模型具有零触发的上下文学习能力，允许仅用简短的参考语音样本复制任意语音。这个过程需要仔细构造令牌语言模型（LM）的输入序列，如图2所示。 对于同一语言的提示语音和输入文本，我们将它们合并成一个统一的输入，将提示语音标记视为预生成的。利用该输入序列，自回归LM迭代地预测后续令牌，直到其遇到针对前一元素的“序列结束”令牌E。 然而，当提示语音和输入文本在语言上不同时，我们省略与提示相关联的文本和标记，以防止原始语言的韵律特征影响目标语言。 重要的是要注意，提示文本（对应于提示语音的内容）可以通过人工注释或ASR模型（如SenseVoice）转录。与提示文本类似，提示令牌是使用 𝒮3 tokenizer从提示语音中提取的。在生成语音标记之后，它们被附加在提示标记之后，形成流匹配模型的复合条件。此外，说话人嵌入和梅尔声谱图的提示语音，以进一步提高音色和环境的一致性。

Instructed Voice Generation指令语音生成：

Speaker Identity Control、细粒度控制、Style Control、情感丰富的声音生成、Speaker Fine-tune、Speaker Interpolation

为了进一步实现对CosyVoice的可控性，我们尝试集成额外的指令微调（Ji 等人，2023年）。CosyVoice-instruct扩展了CosyVoice-base，具有增强的后续功能。具体地说，它支持对诸如说话人身份（即，说话者的特征）、说话风格（包括情感、性别、语速和音调）以及细粒度的副语言特征。这些功能包括插入笑声、呼吸、边笑边说以及强调某些单词的能力。

SenseVoice:

SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）。提出了具有不同大小和架构的两个模型以适应不同的要求：SenseVoice-Small，用于快速语音理解的仅编码器语音基础模型，以及SenseVoice-Large，编码器-解码器（Vaswani 等人，2017）语音基础模型，用于更准确的语音理解，支持更多语言。

SenseVoice模型概述。SenseVoice是一个语音基础模型，具有多种语音理解功能，包括ASR、LID、SER和AED。SenseVoice-Small是一种用于快速语音理解的仅编码器语音基础模型，SenseVoice-Large是一种编码器-解码器语音基础模型，用于更准确的语音理解，支持更多语言。

𝐞LID 、 𝐞SER 、 𝐞AEC 、 𝐞ITN/NoITN 是四个特殊标记的嵌入：

⟨LID⟩ 表示LID任务。如果 ⟨LID⟩ 被放置 ，则模型被训练以预测输出的对应位置处的语言标记。 在训练阶段，我们根据概率0.8用真实语言标记随机替换 ⟨LID⟩ ，以便模型可以预测语言标记，或者在推理阶段配置指定的语言标记。

⟨SER⟩ 表示SER任务。如果 ⟨SER⟩ 被放置，则训练模型以预测输出的对应位置处的语音情感标签。

⟨AEC⟩ 表示AEC任务。如果 ⟨AEC⟩ 被放置 ，则模型被训练以预测输出的对应位置处的音频事件标签。

⟨ITN⟩ 或 ⟨NoITN⟩ 指定转录样式。如果提供了 ⟨ITN⟩ ，则模型被训练为使用反向文本规范化（ITN）和标点符号进行转录。如果提供了 ⟨NoITN⟩ ，则模型被训练为在没有ITN和标点符号的情况下转录。

在训练阶段，利用交叉熵损失对LID、SER和AEC任务进行优化。ASR任务使用CTC损失来优化

SenseVoice-Large是一个自回归编码器-解码器模型，用于多语言ASR和多语音理解任务。与Whisper类似（拉德福 等人，2023），SenseVoice-Large通过解码器的输入令牌序列来指定任务。具体来说，我们通过分别包括 ⟨LID⟩ 、 ⟨SER⟩ 、 ⟨AED⟩ 令牌来指定是否预测具有时间戳的语言、语音情感和音频事件。与SenseVoice-Small相比，SenseVoice-Large的优势在于转录准确性和支持大量语言（50+）。

SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测

  • 多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。
  • 富文本识别：
    • 具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。
    • 支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。
  • 高效推理： SenseVoice-Small 模型采用非自回归端到端框架，推理延迟极低，10s 音频推理仅耗时 70ms，15 倍优于 Whisper-Large。
  • 微调定制： 具备便捷的微调脚本与策略，方便用户根据业务场景修复长尾样本问题。
  • 服务部署： 具有完整的服务部署链路，支持多并发请求，支持客户端语言有，python、c++、html、java 与 c# 等。

推理效率：

表1. 比较了SenseVoice、Paraformer和Whisper的模型结构、参数规模、支持的语言和推理效率。SenseVoice-small采用非自回归架构，与Whisper相比，它在推理效率方面具有显着优势。

性能评测：

我们在开源基准数据集（包括AISHELL-1、AISHELL-2、Wenetspeech、Librisepeech和Common Voice）上比较了SenseVoice和Whisper的多语言识别性能和推理效率。使用A800机器进行推理效率评估。SenseVoice-small采用非自回归端到端架构，推理延迟极低-与Whisper-small相比快7倍，与Whisper-large相比快17倍。

1、文本识别:[在开源基准数据集（包括 AISHELL-1、AISHELL-2、Wenetspeech、Librispeech 和 Common Voice）上比较了 SenseVoice 与 Whisper 的多语言语音识别性能和推理效率。在中文和粤语识别效果上，SenseVoice-Small 模型具有明显的效果优势。]

2、情感识别

SenseVoice也可以用于离散情感识别。支持快乐、悲伤、愤怒和中立。我们在7个流行的情感识别数据集上对其进行了评估。SenseVoice-Large可以在大多数数据集上接近或超过SOTA结果，即使没有目标语料库微调。

由于目前缺乏被广泛使用的情感识别测试指标和方法，我们在多个测试集的多种指标进行测试，并与近年来 Benchmark 上的多个结果进行了全面的对比。所选取的测试集同时包含中文 / 英文两种语言以及表演、影视剧、自然对话等多种风格的数据，在不进行目标数据微调的前提下，SenseVoice 能够在测试数据上达到和超过目前最佳情感识别模型的效果。

我们还在测试集上对多个开源情感识别模型进行对比，结果表明，SenseVoice-Large 模型可以在几乎所有数据上都达到了最佳效果，而 SenseVoice-Small 模型同样可以在多数数据集上取得超越其他开源模型的效果。

3、事件检测

SenseVoice-Small和SenseVoice-Large模型都可以检测到语音中的音频事件，包括音乐、掌声、笑声。SenseVoice-Large可以预测音频事件的开始和结束位置，而SenseVoice Small只能预测音频中发生了什么（只有一个事件），但是，它可以检测更多的事件，例如在人机交互过程中可能发生的咳嗽，打喷嚏，呼吸和哭泣。

尽管 SenseVoice 只在语音数据上进行训练，它仍然可以作为事件检测模型进行单独使用。我们在环境音分类 ESC-50 数据集上与目前业内广泛使用的 BEATS 与 PANN 模型的效果进行了对比。SenseVoice 模型能够在这些任务上取得较好的效果，但受限于训练数据与训练方式，其事件分类效果专业的事件检测模型相比仍然有一定的差距。

限制：

1、SenseVoice有一些需要解决的局限性。首先，对于资源不足的语言，ASR性能通常要低得多。其次，SenseVoice不是为流式转录而设计的。因此，未来的工作可能会集中在开发基于SenseVoice的流式语音理解模型。

2、CosyVoice也有一些限制。首先，它支持的语言数量有限。虽然它可以根据明确的指令表达情感和说话风格，但它不能根据文本的语义内容推断出适当的情感或风格。此外，CosyVoice在唱歌时表现不佳。在保持声音原有音色的同时，实现富有表现力的情感变化仍有改进的空间。

3、另一个限制是FunAudioLLM中的两个创新模型没有使用LLMs进行端到端的训练。这种流水线方法可能会引入错误传播，这可能会影响整体性能。

sensevoice 推理代码：

    def inference(
        self,
        data_in,
        data_lengths=None,
        key: list = ["wav_file_tmp_name"],
        tokenizer=None,
        frontend=None,
        **kwargs,
    ):


        meta_data = {}
        if (
            isinstance(data_in, torch.Tensor) and kwargs.get("data_type", "sound") == "fbank"
        ):  # fbank
            speech, speech_lengths = data_in, data_lengths
            if len(speech.shape) < 3:
                speech = speech[None, :, :]
            if speech_lengths is None:
                speech_lengths = speech.shape[1]
        else:
            # extract fbank feats
            time1 = time.perf_counter()
            audio_sample_list = load_audio_text_image_video(
                data_in,
                fs=frontend.fs,
                audio_fs=kwargs.get("fs", 16000),
                data_type=kwargs.get("data_type", "sound"),
                tokenizer=tokenizer,
            )
            # print(audio_sample_list)
            time2 = time.perf_counter()
            meta_data["load_data"] = f"{time2 - time1:0.3f}"
            speech, speech_lengths = extract_fbank(
                audio_sample_list, data_type=kwargs.get("data_type", "sound"), frontend=frontend
            )
            time3 = time.perf_counter()
            meta_data["extract_feat"] = f"{time3 - time2:0.3f}"
            meta_data["batch_data_time"] = (
                speech_lengths.sum().item() * frontend.frame_shift * frontend.lfr_n / 1000
            )

        speech = speech.to(device=kwargs["device"])
        speech_lengths = speech_lengths.to(device=kwargs["device"])
        print("speech", speech.shape, speech_lengths)
        language = kwargs.get("language", "auto")
        language_query = self.embed(
            torch.LongTensor(
                [[self.lid_dict[language] if language in self.lid_dict else 0]]
            ).to(speech.device)
        ).repeat(speech.size(0), 1, 1)
        print("language_query", language_query.shape)
        use_itn = kwargs.get("use_itn", False)
        textnorm = kwargs.get("text_norm", None)
        if textnorm is None:
            textnorm = "withitn" if use_itn else "woitn"
        textnorm_query = self.embed(
            torch.LongTensor([[self.textnorm_dict[textnorm]]]).to(speech.device)
        ).repeat(speech.size(0), 1, 1)
        print("textnorm_query", textnorm_query.shape)
        speech = torch.cat((textnorm_query, speech), dim=1)
        speech_lengths += 1
        print("speech_add_textnorm", speech.shape, speech_lengths)
        event_emo_query = self.embed(torch.LongTensor([[1, 2]]).to(speech.device)).repeat(
            speech.size(0), 1, 1
        )
        print("event_emo_query", event_emo_query.shape)
        input_query = torch.cat((language_query, event_emo_query), dim=1)
        print("input_query", input_query.shape)
        speech = torch.cat((input_query, speech), dim=1)
        speech_lengths += 3
        print("speech_final", speech.shape, speech_lengths)

        # Encoder
        encoder_out, encoder_out_lens = self.encoder(speech, speech_lengths)
        print("encoder_out", encoder_out.shape, encoder_out_lens)
        if isinstance(encoder_out, tuple):
            encoder_out = encoder_out[0]

        # c. Passed the encoder result and the beam search

        # 束搜索和CTC解码
        ctc_logits = self.ctc.log_softmax(encoder_out)

        results = []
        b, n, d = encoder_out.size()
        if isinstance(key[0], (list, tuple)):
            key = key[0]
        if len(key) < b:
            key = key * b
        for i in range(b):

#对每个 batch 样本提取 CTC logits 输出的前 encoder_out_lens[i] 帧。
#使用 argmax 找到每个时间步概率最大的类别 ID (yseq)。
#使用 torch.unique_consecutive 去除连续的重复类别 ID（CTC 解码中的常见步骤，用于去除重复的符号）。
            x = ctc_logits[i, : encoder_out_lens[i].item(), :]
            yseq = x.argmax(dim=-1)
            yseq = torch.unique_consecutive(yseq, dim=-1) # 使用 torch.unique_consecutive 去除连续的重复类别 ID（CTC 解码中的常见步骤，用于去除重复的符号）

            ibest_writer = None
            if kwargs.get("output_dir") is not None:
                if not hasattr(self, "writer"):
                    self.writer = DatadirWriter(kwargs.get("output_dir"))
                ibest_writer = self.writer[f"1best_recog"]

#使用 mask 去掉 CTC 解码中的 blank ID。
#将整数 ID 列表转化为对应的字符或单词（通过 tokenizer.decode）。
            mask = yseq != self.blank_id
            token_int = yseq[mask].tolist()

            # Change integer-ids to tokens
            text = tokenizer.decode(token_int)

            result_i = {"key": key[i], "text": text}
            results.append(result_i)

            if ibest_writer is not None:
                ibest_writer["text"][key[i]] = text

        return results, meta_data

CTC使用blank id来对齐不同长度的输入和输出：

  • 在语音识别等任务中，输入的语音帧数往往远多于输出的字符数。CTC 通过引入 blank ID 来解决这个问题，使模型能够生成对齐（alignment），从而允许输入长度大于输出长度。
  • blank 用来表示在某个时间步模型没有输出任何字符，或者保持上一个字符的状态不变。

去除重复和冗余：

  • 语音帧与字符之间的对齐并不是一一对应的，CTC 会允许模型在多个时间步中输出相同的字符，同时在其他时间步输出 blank。
  • 解码过程中，当遇到连续的相同字符时，只保留第一个字符，忽略重复出现的字符和 blank，这帮助去除冗余。
  • 例如，模型输出可能是 [a, blank, blank, a, a, blank, t, blank, blank]，最终解码结果会变为 "a, t"。

xLSTM-改进长短期记忆网络

Github: https://github.com/AI-Guru/xlstm-resources

LSTM（长短期记忆网络）已经存在很长时间了。它们已被应用于相当多与序列相关的任务，例如文本生成和翻译，甚至生成图像字幕。

它们的缺点是无法并行化以利用强大的现代 GPU。这一限制为利用 GPU 进行大规模并行训练和推理的 Transformer 的出现铺平了道路。

如果我们现在尝试改进和并行化 LSTM，它们能成为构建下一代LLM的工具吗？

这正是论文“ XLSM——扩展长短期记忆网络”所回答的问题， XLSM 代表“扩展”长短期记忆。他们通过在架构中提出两个新模块，即 sLSTM 和 mLSTM 来实现这一点。

xLSTM Figure

一、LSTM 回顾

1、一个生动的例子

原始 LSTM 主要是为了解决 RNN 时序反向传播中的梯度消失和爆炸问题而提出的。为了方便大家看清楚，我们来看一个生动的例子。

在这样一个时序模型中，输入为x，隐层变量为s，输出为y，LSTM 相比 RNN 增加了条时间链条c，用来保存长期记忆。

LSTM 的核心原理就在于设计了多个门控机制协调短期记忆和长期记忆。其中f1为遗忘门，如同橡皮擦，根据昨天的记忆st-1和今天输入xt决定删除哪些旧记忆sigmoid 函数取值为0时相当于制除操作;f2 使用 tanh 函数取值在(-1,1)之间，作用不是遗忘，而是把这两天发生的事情进行梳理和归纳，然后像铅笔一样增加记忆，因此称为输入门。右边显示了它们的各自计算公式。同时保持长短期记忆链，并相互更新，这就是 LSTM 成功的秘密了。

2、记忆的原理和公式

其实静下心来看，st改用 ht表示。ft就是遗忘门，只是进行了展开;it就是输入门，zt对应输入门中 tanh 函数部分。三者分别都加了非线性激活函数，共同作用生成新的 cell 迭代，也就是公式(2)。这和刚才我们的介绍都是一致的。另外还加了输出门，长短期记忆链条之间的第三种连接，o对应前面例子中的y。公式(3)是h链条的更新公式。

所谓的门控机制，其实就是一种时序上的注意力机制，相当于把不同时间信息进行“掺和”，是对时序信息的一种选择性控制。从这个视角看，与transformer和 Mamba 都异曲同工之妙。核心思想都是选择性控制信息流动，更好地处理时序数据或序列信息。门控机制通过固定的结构和参数来控制信息流，而注意力机制通过动态计算权重来控制信息流。因此，门控机制可以看作是一种特定形式的时序注意力机制，对不同时间步的信息进行选择性控制和“掺和。可以认为是一种约束版或者简化版的注意力机制。

3、为啥歇菜了?

尽管曾经取得了巨大的成功，LSTM 有三个主要局限性:
1 在处理长序列时效率低:
2 记忆容量有限;
3 不能并行处理数据。
这也是为什么能让 transformer后来者居上的原因，因为借助网络模块堆叠、参数规模扩充和 GPU 并行处理拼算力，有针对性的借鉴了上述问题。但显然不止transformer这一条路。原有的门控机制还有很大的潜力可挖，本文就是有针对性的一条条进行了创新和优化。先来看初级改造版本。

二、初级版:sLSTM 改进注意力机制

针对上述问题的第一个改进版本叫 sLSTM，目的是改善决策能力。改动不大，主要有三点:

1.输入门和遗忘门的激活函数从 sigmoid 改成了指数函数(红色部分)。

2.引入了归一化状态 nt(公式9)，相应的隐层 h_t的计算方式变了，改成了c_t/n_t也就是公式(10)

3.还引入了一个额外状态 mt来进一步稳定门控，这个稍后讲。

你肯定好奇，这么做的原因是什么啊?原文没有细讲，而是直接给出了选择。我猜也是试出来的，但是不是瞎试。首先，如下图所示，指数函数相比于sigmoid 函数，具有更大的输出范围和更大的梯度(右图黄色，左图红色)，可以减轻梯度消失问题使得梯度在反向传播过程中不会迅速减小，从而使得模型在训练时能够更有效地更新权重。其次，指数函数的增长速度比 sigmoid 函数快，对输入变化更加敏感。因此，可以更迅速地强烈的调整输入和遗忘门的输出，使得模型能够更快地捕捉到输入信息的变化，更加选择性地记住或忘记信息，从而提高模型的记忆和遗忘能力。第三，这种强烈的选择性，让模型能够更准确地保留重要信息和丢弃不重要的信息。在特定任务(如长序列的最近邻搜索或稀有事件预测)中表现得尤为显著，能够显著提升模型性能。

引入归一化和状态 mt都是为了稳定，因为指数激活函数可能导致数值过大而溢出前者相当于搞了个大分母。后者通过下面的公式进行:

第一个式子使用了log，指数函数的逆运算，相当于降一级运算，然后取最大值，意思就是输入门和遗忘门都别太猛。类比生活中，无论是新鲜记忆，还是想遗忘的事情，情绪太激动了都不好，一定要心平气和，基本上就是这个意思。

然后根据 m_t再调整输入门和遗忘门，相当于设置了一个缓冲区。隐射到生活中，正应了那句话:忍一时风平浪静，退一步海阔天空。很多事，稍微放放，别那么激动，从容淡定，反倒更理智，处理起来更有效。落实到公式上，甭管f还是i，先找到log最大值，然后在指数上剪掉，相当于避免了溢出。
附录 A中数学进一步证明在前向传播中用f’_t和i’_t替换 f_t和 i_t不会改变整个网络的输出，也不会改变参数损失的导数。这部分推导不是人看的，猫一眼知道就行了，当然这也是人家这个团队牛逼之处，数学玩的贼溜，或者说LSTM 比起transformer 更高级的地方，理论基础扎实，而不只是拼工程拼资源。

增加了这么些公式相当于增加了新的记忆单元，它们之间通过连接从长短期记忆状态，借助门控(阀门)i,f,o进行记忆混合。门控就是选择，也是一种时序注意力机制的体现。
讲完了初级版改进，咱们来看看中级版。

三、中级版:mLSTM 改进内存处理

解决了敏感度，某种程度上也是长序列处理效率问题，为了增强LSTM 的存储能力文章将 LSTM 的记忆单元从一个标量 c增加到短阵C。而且在这里引入了 transformer键值对的概念，更新规则如下:
Ct=Ct-1+vtktT
这就有点意思了哈，“千古文章一大抄，你抄我也超”，互相借鉴形成你中有我我中有你的态势。在将输入投影到键和值之前，mLSTM 进行层归一化，使得均值为零。同时，将协方差更新规则，也就是优化器(比如adam)整合到LSTM 框架中，遗忘门对应于衰减率，输入门对应于学习率，而输出门则缩放检索到的向量。最终形成了下面的选代公式:

与前面 SLSTM 对比，最大的区别之一就是状态和权重参数都变成了矩阵形式，对应的运算变成了向量矩阵乘法和哈达玛积，公式(21)。区别之二是增加了q_t，k_t，v_t这种键值对的计算公式(22-24)，优化了自注意力机制，多了好几个权重矩阵增强了模型表达能力。其他的公式基本没变，也就是说记忆单元没变，只是每个单元相当于扩容了记忆的容量。
此外，需要注意的是，这种框架可以使用多头模式，头与头之间没有记忆混合，因此可以充分并行，无形中提升了并行能力。到此，针对传统LSTM 三大弱点的改进都已经实现。

小结一下，似乎影影绰绰能看到两个思路:一是固本守住传统，在原有框架下优化提升挖掘潜力，强化门控机制的有效性，无论是修改激活函数、稳定状态，还是记忆单元矩阵化提升容量;二是开源拿来主义，引入自注意力机制中 QKV的计算模式，增强模型的记忆和检索能力。
不过这还没完，咱们来看看高级版有什么重要的发现和设计。

四、高级版:xLSTM 大模型

既然 transformer 牛通，通过简单堆叠形成的大模型效果好，为什么不把这种思想贯彻到 LSTM 中，形成 LSTM 结构的模块堆叠呢，是不是效果也会不错?这就涉及传说中的 Cover 定理啦。它及其行生的高维空间中非线性映射理论确实是现代大模型设计的重要理论依据之一。尤其是在深度学习和大规模神经网络的设计中，这些理论起到了关键作用。

1、cover定理-大模型设计理论基础

Cover定理可以定性的描述为：当空间的维数D越大时，在该空间的N个数据点间的线性可分的概率就越大。

在大模型中，激活函数(如 ReLU、Sigmoid、Tanh等)通过非线性变换将数据映射到高维空间，使得模型可以捕捉复杂的模式和特征，增强模型的表达能力。深度网络的权重矩阵和激活函数共同作用，将输入数据逐步映射到越来越高的维度。这使得在低维空间中难以分离的模式在高维空间中变得线性可分。Transformer模型就是通过多头注意力机制在高维空间中进行并行处理，使得不同位置的特征可以相互影响和结合从而提高了模型的性能。
Cover 定理为这些设计提供了理论支持，解释了为什么通过高维空间中的非线性映射可以提高模型的性能。现代大模型的设计，如 BERT、GPT等，都在不同程度上利用了这些理论基础。

2、核心模块和工作原理

既然你们都能这么干，xLSTM 想我为什么不能啊!因此它干了下面两件事:
1.非线性总结(压缩信息)【左图】:通过残差块在高维空间中对历史信息进行非线性总结使得不同的历史或上下文信息更容易分离。
2.线性映射回原始空间【右图】:完成高维空间中的处理后，再将数据线性映射回原始空间这一过程利用了高维空间中的优势，使得模型能够更好地分离和记忆历史信息。
具体到怎么升维呢，设计了下面两种结构：

左边是先在原始空间中总结信息，然后映射到高维空间，再返回原始空间。看图从下往上输入 sLSTM，然后向上投影，也就是用一个倒着的梯形矩阵升维，处理后再降维。右边是先映射到高维空间，总结信息后再返回原始空间。也就是输入直接上投影，再用 mLSTM 处理，然后再降维。
先干后变，还是先变后干这个好理解，但你肯定好奇为啥左边适合sLSTM，右边适合 mLSTM模型呢?主要原因是在高维空间中的记忆容量更大，因此用有矩阵化记忆单元的mLSTM更合适，而在低维空间处理 sLSTM 更合适。
想了解关于这两个基础模块的更多细节，可以到附录图 9/10 中看到，我给你列到这里了，咱们一个个详细解释它们的细节和用处.

PF=3/4 和 PF=4/3:投影因子(Projection Factor)，分别将输入维度缩小为原来的3/4，将输入维度扩大 4/3 倍。
GN(GroupNorm):组归一化(Group Normalization)。在每一组内进行归一化有助于加速训练和提高模型稳定性，特别是在小批量(batch)训练时。

Swish 一种平滑的非线性激活函数，可以帮助模型学习到更复杂的模式。

Conv4:卷积层，卷积核大小为 4。提取局部特征，
LN(LayerNorm):层归一化，帮助稳定和加速训练过程。SLSTM 单元中i,f,z，0:分别表示输入门(input gate)、遗忘门 (forget gate)细胞状态更新(cell update)和输出门(output gate)。NH=4:表示有 4 个头(heads)。此外，将输入分成块，使用块对角线结构进行线性变换，有助于捕捉局部相关性。这些结构与从上一个隐藏状态中得到的递归门预激活(circular arrows)一致。

整个逻辑过程为：输入先LN整理，然后一分为二。一部分卷积提取特征，激活非线性变换，另一部分直接输入sLSTM。这里所有运算都采用了4个头的多头并行进制，每个头可以专注于捕捉输入数据的不同特征或模式，从而使模型能够更全面地理解数据。
内部采用块对角线结构，在计算时可以并行处理，从而显著降低计算复杂度和内存需求;每个子矩阵(块)主要关注输入数据的一部分能够更好地捕捉局部特征;结构化的稀疏性，这有助于减少过拟合。
在sLSTM图中的箭头表示信息在不同时间步之间的流动和处理，代表的是与先前时刻状态的混合计算。这部分相当于记忆的重新组合。然后组内归一化、降维、再激活、再降维，然后与残差相加再输出。
类似的，我们看看另一种基础模块:

PF=1/2 和 PF=2:投影因子(Projection Factor)。前者将输入维度缩小一半，后者将输入维度扩大两倍。
LSkip 是个跳线，类似于残差连接，可以帮助梯度更好地传递，防止梯度消失和爆炸。这里相当于冇两种跳线残差
mLSTM 单元中的 q、k、v分别表示査询(query)、键(key)和值(value)，我们刚讲过，都是从输入中生成的，用于计算注意力权重和进行信息检索。
BS=4:块大小为 4 的块对角投影矩阵。

整体逻辑上与前面刚讲的模块大差不差，咱们就不一一过了。整体上都是充分利用了残差堆叠结构，层归一化技术等稳定网络，通过升降维度实现空间变换，激活函数非线性变换，然后利用 LSTM 进行记忆混合，主或者说时序上的选择性自注意力机制计算，采用多头和块对角模式实现并行处理，当然也没少了用卷积提取特征。

3、与Transformer 的对比

有了这两种基本构建模块，通过堆叠增加模型的深度，能够逐层提取更高层次的特征。最终，整个堆叠结构作为一个端到端的模型进行训练，通过反向传播优化所有层的参数。使用这些模块的堆叠设计是现代深度学习型中常见且有效的做法。换句话说，你 transformer 能干的我xLSTM 现在都能干了，有啥嘛?!而且老子内部有清晰而明确的逻辑结构，有数学公式的严密推导，效率更高，而你transformer 内部就是个乱七八糟的自注意力机制和交叉注意力机制，黑盒子，大量的参数是浪费掉的，低效，训练难推理难，从效率和准确率上都不如我也就make sense了。与Transformer不同，xLSTM 网络在计算复杂度和内存复杂度上随着序列长度呈线性关系。由于xLSTM 的记忆压缩性，它非常适合在工业应用和边绿设备上实现。

4、适用场景

对比 mLSTM 和 SLSTM 两种模块，前者方便并行化，后者由于记忆混合(隐藏状态之间的连接)，无法并行化。论文开发了一种快速的CUDA实现，通过 GPU 内存优化到寄存器级别，这种实现通常比 mLSTM 慢不到两倍。

那你肯定会问，现在有这两种基础结构，分别什么时候用呢?给你几个原则:

sLSTM:需要高精度和复杂特征提取的任务，计算资源充足且不需要并行化的应用对延迟敏感但不受并行化限制的场景，例如，实时语音识别系统，因为它有记忆混合

mLSTM:图像识别、视频处理等需要高效并行计算的任务，计算资源有限且需要高效利用内存的应用，例如，嵌入式系统、移动设备上:需要在工业环境或边缘设备上部署的任务，例如，工业自动化、物联网设备上的智能应用。因为它并行化好。

五、 实验论证

实验详实是这类大牛文章的最大特点，本文集中在 NLP 任务上，与大量模型进行了对比。主要包括四大类。我们直接看结论。

1、合成任务和长程任务

每行表示一种模型，包括Lama、Mamba等7种模型的 12 中变体，xLSTM[0:1]:主要是SLSTM 块，xLSTM[1:0]:主要是 mLSTM块，xLSTM[1:1]:均衡使用 mLSTM 和SLSTM 块。每列表示一种任务，包括上下文敏感、确定性上下文无关、正则，最后是多数任务，也是正则。
使用 SLSTM 和 mLSTM 的组合(如xLSTM[1:1])在大多数任务上表现出色，特别是在复杂和状态跟踪任务上。

再来看不同模型在多查询联想记忆任务中的性能对比。横轴模型的尺寸，纵轴验证准确率，xLSTM1:1表现最佳，越难越好，Lama等Transformer 模型在较小和中等难度任务中表现优越。Mamba 略强。真是“长江后浪推前浪，一浪更比一浪强”

2、验证集困惑度比较

这个图展示了在使用 158 个Token 训练的 SlimPajama 数据集上，下一词预测性能比较。横轴为模型参数量，纵轴为验证困惑度，总体趋势都差不多，但xLSTM 明显更好。说明其在语言建模任务中的优势。

3、大规模语言建模实验

这个图展示了在使用 300B 个 Token 训练的 SlimPajama 数据集上，不同模型在下一词预测任务中的验证困惑度(Validation Perplexity)比较，特别是对长序列的外推性能。横轴为 token 数量，也就是序列长度。

4、语言基准测试

在使用 300B 个 Token 训练的 SlimPajama数据集上，不同模型在下一词预测任务中的验证困感度(Validation Perplexity)随参数数量变化的情况。验证困感度越低，表示模型的预测性能越好。

·所有模型的验证困感度随着参数数量的增加而下降，说明更大参数的模型在下一词预测任务上表现更好。
xLSTM 的优势:xLSTM 模型(特别是xLSTM[7:1]和xLSTM[1:0])在所有参数数量下都表现出色，验证困惑度较低，说明其在语言建模任务中的性能优越。
模型对比:xLSTM 模型比 Mamba 表现好，而 Mamba比Lama 表现好。这表明xLSTM 在处理大规模语言建模任务时，具有明显的优势。

七、小结

1.LSTM 的缺陷:作为一种时序建模的思想，它通过常量sigmoid 门控机制实现了对记忆的重组，循环训练和推理。但传统架构面临长期记忆处理效率低、记忆存储量小、并行化困难三大硬伤。
2.xLSTM 的原理:借助指数门控混合记忆和新内存结构，LSTM增强为 sLSTM和mLSTM。二者的结合构成了xLSTM 模块，进一步堆叠可以实现大模型化

3.实验对比:xLSTM 在语吉建模上相比于诸如Transformers和State Space Models等最新方法表现良好。扩展法则表明，更大的xLSTM 模型将是当前基于Transformer 技术的大型语言模型的有力竞争者。

4.未来发展:俗话说“以史为鉴，可以知兴替”LSTM 辉煌的过去证明了它在时序建模领域的王者地位，借助 xLSTM 的再度起，它很有可能深度影响其他深度学习领域，如强化学习、时间序列预测或物理系统建模等领域。

当 xLSTM 也能扩展到数十亿参数时，为我们展示了大模型发展的更多可能。一种架构可能过时，可能被不断超越，但是一种思想，一种理论却能不断推陈出新，与时俱进。正如文章最后的小结和预言。LSTM 能走多远，到目前为止，我们可以清晰的回答:”至少可以与当前的 SOTA技术(如Transformers或State Space Models)一样远

提示工程指南

https://github.com/dair-ai/Prompt-Engineering-Guide

https://www.promptingguide.ai/zh

提示工程（Prompt Engineering）是一门较新的学科，关注提示词开发和优化，帮助用户将大语言模型（Large Language Model, LLM）用于各场景和研究领域。 掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。

研究人员可利用提示工程来提升大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计、研发强大的工程技术，实现和大语言模型或其他生态工具的高效接轨。

提示工程不仅仅是关于设计和研发提示词。它包含了与大语言模型交互和研发的各种技能和技术。提示工程在实现和大语言模型交互、对接，以及理解大语言模型能力方面都起着重要作用。用户可以通过提示工程来提高大语言模型的安全性，也可以赋能大语言模型，比如借助专业领域知识和外部工具来增强大语言模型能力。

基于对大语言模型的浓厚兴趣，我们编写了这份全新的提示工程指南，介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。

🌐 Prompt Engineering Guide (Web Version)

📺 YouTube Mini Lectures on Prompting Engineering

We’ve partnered with Maven to deliver the following live cohort-based courses on prompt engineering:

  • LLMs for Everyone (Beginner) – learn about the latest prompt engineering techniques and how to effectively apply them to real-world use cases.
  • Prompt Engineering for LLMs (Advanced) – learn advanced prompt engineering techniques to build complex use cases and applications with LLMs.

Happy Prompting!

大模型系列教程

https://github.com/liguodongiot/llm-action?tab=readme-ov-file

目录

LLM训练

LLM训练实战

下面汇总了我在大模型实践中训练相关的所有教程。从6B到65B，从全量微调到高效微调（LoRA，QLoRA，P-Tuning v2），再到RLHF（基于人工反馈的强化学习）。

LLM预训练/SFT/RLHF…参数教程代码
Alpacafull fine-turning7B从0到1复现斯坦福羊驼（Stanford Alpaca 7B）配套代码
Alpaca(LLaMA)LoRA7B~65B1.足够惊艳，使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调，效果比肩斯坦福羊驼
2. 使用 LoRA 技术对 LLaMA 65B 大模型进行微调及推理		配套代码
BELLE(LLaMA/Bloom)full fine-turning7B1.基于LLaMA-7B/Bloomz-7B1-mt复现开源中文对话大模型BELLE及GPTQ量化
2. BELLE(LLaMA-7B/Bloomz-7B1-mt)大模型使用GPTQ量化后推理性能测试		N/A
ChatGLMLoRA6B从0到1基于ChatGLM-6B使用LoRA进行参数高效微调配套代码
ChatGLMfull fine-turning/P-Tuning v26B使用DeepSpeed/P-Tuning v2对ChatGLM-6B进行微调配套代码
Vicuna(LLaMA)full fine-turning7B大模型也内卷，Vicuna训练及推理指南，效果碾压斯坦福羊驼N/A
OPTRLHF0.1B~66B1.一键式 RLHF 训练 DeepSpeed Chat（一）：理论篇 
2. 一键式 RLHF 训练 DeepSpeed Chat（二）：实践篇		配套代码
MiniGPT-4(LLaMA)full fine-turning7B大杀器，多模态大模型MiniGPT-4入坑指南N/A
Chinese-LLaMA-Alpaca(LLaMA)LoRA（预训练+微调）7B中文LLaMA&Alpaca大语言模型词表扩充+预训练+指令精调配套代码
LLaMAQLoRA7B/65B高效微调技术QLoRA实战，基于LLaMA-65B微调仅需48G显存，真香配套代码
LLaMAGaLore60M/7B突破内存瓶颈，使用 GaLore 一张4090消费级显卡也能预训练LLaMA-7B配套代码

⬆ 一键返回目录

LLM微调技术原理

对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。

因此，该技术值得我们进行深入分析其背后的机理，本系列大体分七篇文章进行讲解。

peft方法

LLM微调实战

下面给大家分享大模型参数高效微调技术实战，该系列主要针对 HuggingFace PEFT 框架支持的一些高效微调技术进行讲解。

教程代码框架
大模型参数高效微调技术实战（一）-PEFT概述及环境搭建N/AHuggingFace PEFT
大模型参数高效微调技术实战（二）-Prompt Tuning配套代码HuggingFace PEFT
大模型参数高效微调技术实战（三）-P-Tuning配套代码HuggingFace PEFT
大模型参数高效微调技术实战（四）-Prefix Tuning / P-Tuning v2配套代码HuggingFace PEFT
大模型参数高效微调技术实战（五）-LoRA配套代码HuggingFace PEFT
大模型参数高效微调技术实战（六）-IA3配套代码HuggingFace PEFT
大模型微调实战（七）-基于LoRA微调多模态大模型配套代码HuggingFace PEFT
大模型微调实战（八）-使用INT8/FP4/NF4微调大模型配套代码PEFT、bitsandbytes

⬆ 一键返回目录

LLM分布式训练并行技术

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此，我们需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。

而利用AI集群，使深度学习算法更好地从大量数据中高效地训练出性能优良的大模型是分布式机器学习的首要目标。为了实现该目标，一般需要根据硬件资源与数据/模型规模的匹配情况，考虑对计算任务、训练数据和模型进行划分，从而进行分布式训练。因此，分布式训练相关技术值得我们进行深入分析其背后的机理。

下面主要对大模型进行分布式训练的并行技术进行讲解，本系列大体分九篇文章进行讲解。

⬆ 一键返回目录

分布式AI框架

分布式训练网络通信

待更新…

LLM训练优化技术

  • FlashAttention V1、V2
  • 混合精度训练
  • 重计算
  • MQA / GQA
  • 梯度累积

LLM对齐技术

  • PPO（近端策略优化）
  • DPO
  • ORPO

⬆ 一键返回目录

LLM推理

LLM推理框架

LLM推理优化技术

LLM压缩

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模型压缩主要分为如下几类：

  • 剪枝（Pruning）
  • 知识蒸馏（Knowledge Distillation）
  • 量化

LLM量化

本系列将针对一些常见大模型量化方案（GPTQ、LLM.int8()、SmoothQuant、AWQ等）进行讲述。

LLM剪枝

结构化剪枝：

  • LLM-Pruner(LLM-Pruner: On the Structural Pruning of Large Language Models)
  • LLM-Shearing(Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning)

非结构化剪枝：

  • SparseGPT(SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot)
  • LoRAPrune(LoRAPrune: Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning)
  • Wanda(A Simple and Effective Pruning Approach for Large Language Models)
  • Flash-LLM(Flash-LLM: Enabling Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity)

LLM知识蒸馏

Standard KD:

使学生模型学习教师模型(LLM)所拥有的常见知识，如输出分布和特征信息，这种方法类似于传统的KD。

  • MINILLM
  • GKD

EA-based KD:

不仅仅是将LLM的常见知识转移到学生模型中，还涵盖了蒸馏它们独特的涌现能力。具体来说，EA-based KD又分为了上下文学习（ICL）、思维链（CoT）和指令跟随（IF）。

In-Context Learning：

  • In-Context Learning distillation

Chain-of-Thought：

  • MT-COT
  • Fine-tune-CoT
  • DISCO
  • SCOTT
  • SOCRATIC CoT

Instruction Following：

  • Lion

低秩分解

低秩分解旨在通过将给定的权重矩阵分解成两个或多个较小维度的矩阵，从而对其进行近似。低秩分解背后的核心思想是找到一个大的权重矩阵W的分解，得到两个矩阵U和V，使得W≈U V，其中U是一个m×k矩阵，V是一个k×n矩阵，其中k远小于m和n。U和V的乘积近似于原始的权重矩阵，从而大幅减少了参数数量和计算开销。

在LLM研究的模型压缩领域，研究人员通常将多种技术与低秩分解相结合，包括修剪、量化等。

  • ZeroQuant-FP（低秩分解+量化）
  • LoRAPrune（低秩分解+剪枝）

LLM数据工程

LLM Data Engineering

预训练语料处理技术

llm-pretrain-pipeline
  • 数据收集
  • 数据处理
    • 去重
    • 过滤
    • 选择
    • 组合

LLM微调高效数据筛选技术

提示工程

  • Zero-Shot Prompting
  • Few-Shot Prompting
  • Chain-of-Thought (CoT) Prompting
  • Automatic Chain-of-Thought (Auto-CoT) Prompting
  • Tree-of-Thoughts (ToT) Prompting

LLM算法架构

llm-famliy
llm-famliy

LLM应用开发

大模型是基座，要想让其变成一款产品，我们还需要一些其他相关的技术，比如：向量数据库（Pinecone、Milvus、Vespa、Weaviate），LangChain等。

LLM国产化适配

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。本系列将对一些国产化 AI 加速卡进行讲解。

⬆ 一键返回目录

AI编译器

AI编译器是指将机器学习算法从开发阶段，通过变换和优化算法，使其变成部署状态。

框架：

  • MLIR
  • XLA
  • TVM

AI基础设施

AI加速卡

AI集群

待更新…

AI集群网络通信

待更新…

  • 分布式训练网络通讯原语
  • AI 集群通信软硬件

LLMOps

LLM生态相关技术

LLM面试题

正在收集中…

⬆ 一键返回目录

服务器基础环境安装及常用工具

基础环境安装：

常用工具：

多模态视觉-语言大模型的架构演进

https://zhuanlan.zhihu.com/p/693885420

A Survey on Multimodal Large Language Models

https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

多模态视觉-语言大模型的架构演进

本文回顾了多模态LLM (视觉-语言模型) 近一年来的模型架构演进，对其中有代表性的工作进行了精炼总结.这篇综述一张图总结了多模态LLM的典型架构：

BLIP

【2022.01发布】https://arxiv.org/abs/2201.12086

统一视觉-语言理解和生成，使用captioner+filter高效利用互联网有噪数据

Refer to caption
我们使用Captioner（Cap）为Web图像生成合成标题，并使用Filter（Filt）删除嘈杂的标题。

模型架构：

  • Image/text encoder: ITC loss对齐视觉和语言表征，基于ALBEF提出的momentum distillation
  • Image-grounded text encoder: ITM loss建模视觉-语言交互，区分positive/negative图文对，使用hard negative mining挖掘更高相似度的负例优化模型
  • Image-grounded text decoder: LM loss实现基于图像的文本解码，将双向self-attention替换为causal self-attention
Refer to caption

BLIP-2

【2023.01发布】https://arxiv.org/abs/2301.12597

使用相对轻量的Q-Former连接视觉-语言模态，通过两阶段训练：第1阶段基于冻住的视觉编码器，第2阶段基于冻住的LLM

Refer to caption
BLIP-2的框架概述。我们按照两阶段策略预训练轻量级Querying Transformer，以弥补模态差距。第一阶段从冻结图像编码器引导视觉语言表示学习。第二阶段从冻结的LLM引导视觉到语言的生成学习，这使得零拍摄指令的图像到文本生成成为可能

第1阶段：同样优化ITC/ITM/LM loss，使用不同的self-attention mask，query和text端共享self-attention参数，使得可学习的query embedding提取与text语义最相关的视觉表征；使用BERT-base初始化，32个768维的query作为信息瓶颈

  • ITC：计算每个query与text的相似度，取最大的；使用batch内negatives，不再使用momentum queue
  • ITM：对每个query与text的分类logits取平均，使用hard negatives mining挖掘难负例
  • LM：text token和frozen image encoder不能直接交互，要求query能提取有益的视觉特征
Refer to caption

第2阶段：可基于decoder-only/encoder-decoder LLM进行适配，FC层对齐维度

Refer to caption

LLaVA

【2023.04发布】https://arxiv.org/abs/2304.08485

  • 使用仅文本模态的GPT-4生成视觉-语言指令遵循数据，用于微调多模态LLM
    • 使用图片的dense captions和bounding boxes作为prompt，可以生成对话、细节描述、复杂推理等指令
  • CLIP ViT-L/14 + Vicuna，使用简单的线性层进行映射
    • 更复杂的：Flamingo中gated cross-attention，BLIP-2中的Q-former

Qwen-VL

【2023.08发布】https://arxiv.org/abs/2308.12966

支持中英双语、多图像输入

Qwen-7B + OpenCLIP ViT-bigG，输入图像直接resize到视觉编码器输入

位置感知的VL adapter：使用基于Q-former的单层的cross-attention，将图像特征维度压缩到256，在query-key pairs中引入2D绝对位置编码增强位置信息

图像输入：<img>256-dim图像特征</img>

bounding box输入输出：<box>(X_topleft, Y_topleft), (X_bottomright, Y_bottomright)</box>, <ref>…</ref>标记box所指内容

三阶段训练：

stage1. 预训练：基于大规模、弱标注、网络爬取的图像-文本对，输入分辨率224×224，冻住LLM，训练ViT和Q-former，主要目的是模态对齐

stage2. 多任务预训练：基于7种下游视觉-语言理解任务的高质量、细粒度标注数据训练，输入分辨率448×448，图像/文本数据交错，训练整个模型

stage3. 指令微调：提升指令遵循和多轮对话能力，冻住ViT，训练LLM和Q-former

Qwen-VL-Plus和Qwen-VL-Max提升了视觉推理能力、图像细节的识别/提取/分析能力（尤其是文本导向的任务）、支持高分辨率和极端纵横比的输入图像；在部分中文场景超过了GPT-4V和Gemini

InternLM-XComposer

【2023.09发布】https://arxiv.org/abs/2309.15112

交错图文构成：自动在输出文本中插入合适的图片

EVA-CLIP ViT + InternLM-7B + Q-former (将图像特征压缩到64个embedding）

两阶段训练：

stage1. 预训练：冻住ViT，训练LLM和Q-former

stage2. 监督微调：包括多任务训练和指令微调，冻住ViT和LLM，训练Q-former，对LLM进行LoRA微调，增强指令遵循和图文混排能力

Fuyu-8B

【2023.10发布】https://huggingface.co/adept/fuyu-8b

模型架构和训练过程简单，易于scaling；支持任意图像分辨率；推理速度快

decoder-only的transformer，没有专门的图像编码器；image patch直接线性映射到transformer第一层

LLaVA-1.5

【2023.10发布】https://arxiv.org/abs/2310.03744

仍使用MLP作为模态连接，突出了训练的数据高效性

CogVLM

【2023.11发布】https://arxiv.org/abs/2311.03079

深度视觉-语言模态融合，而不影响LLM原有的语言能力：冻住LLM和ViT，在attention和FFN层训练一份视觉专家模块

CogAgent

【2023.12发布】https://arxiv.org/abs/2312.08914

针对GUI场景的多模态理解和导引，使用高分辨率-低分辨率双编码器，支持1120×1120的屏幕输入

高分辨率分支使用更轻量的ViT，基于cross-attention将高分辨率图像特征与LLM每层进行融合

VILA

【2023.12发布】https://arxiv.org/abs/2312.07533

探索了视觉-语言模型训练的设计选择：

  1. 预训练阶段冻住LLM虽然能取得较好的zero-shot性能，但上下文学习能力依赖对LLM的微调
  2. 图文交错的预训练数据是有益的，只用图文数据对效果不够好
  3. 将纯文本的指令微调数据加入SFT阶段有助于缓解纯文本任务的能力退化，同时也能够增强视觉-语言任务的准确性

LLaVA-Next

【2024.01发布】https://llava-vl.github.io/blog/2024-01-30-llava-next/

相对于LLaVA-1.5，保持了极简的设计和数据高效性：

  1. 提高了输入图像的分辨率 (4x)，支持3种纵横比：672×672, 336×1344, 1344×336
  2. 更好的视觉推理和OCR能力：更好的指令微调数据配比
  3. 更好的多场景视觉对话：更好的世界知识和逻辑推理
  4. 更高效的部署和推理：SGLang

动态高分辨率：视觉编码器支持336×336的图像输入，对于672×672的图像，按照{2,2}的grid split成4个图像patch过encoder，downsample到336×336也过encoder，特征拼接作为visual tokens输入到LLM中

收集高质量用户数据，包括真实场景中反映用户更广泛意图的指令数据，利用GPT-4V进行数据构造

多模态文档/图表数据，增强文档OCR和图表理解能力

InternLM-XComposer2

【2024.01发布】https://arxiv.org/abs/2401.16420

提出了新的模态对齐方法partial LoRA：只在image token上添加LoRA参数，保证预训练语言知识的完整性，这样一个更轻量的视觉编码器同样有效

OpenAI CLIP ViT-L/14 + InternLM2-7B + partial LoRA (rank=256)

两阶段训练：

stage1. 预训练：冻住LLM，微调ViT和partial LoRA模块，包括通用语义对齐（理解图像基本内容）、世界知识对齐（进行复杂的知识推理）、视觉能力增强（OCR、物体定位、图表理解）

stage2. 监督微调：微调整个模型，包括多任务训练、自由形式图文排布

InternLM-XComposer2-4KHD

2024.04发布了4KHD版本：https://arxiv.org/abs/2404.06512

支持动态分辨率（336px → 4K (3840×1600))：改进了patch division范式，保持训练图像原有的纵横比，自动变化patch数目，基于336×336的ViT配置layout

动态图像划分：将输入图像resize and pad到336的整数倍宽高

结合图像的global和local视角：global视角由输入直接resize到336×336，使用sep token分隔两种视角的token

图像2D结构的换行符：可学习的\n token分隔图像token行

Mini-Gemini

【2024.03发布】https://arxiv.org/abs/2403.18814

使用双视觉编码器提取低分辨率embedding作为query，高分辨率特征区域作为key/value，两者之间做cross-attention，输出挖掘的tokens作为prompt前缀，输入到LLM做推理，外接图像解码器生成图像(SDXL)

LLaVA-NeXT系列

LLaVA-1.5

23年10月，LLaVA-1.5发布，通过在视觉和语言模态间添加简单的MLP层实现了训练样本高效性，为多模态大模型在低数据业务场景的落地提供了可能。

[2310.03744] Improved Baselines with Visual Instruction Tuning

LLaVA-NeXT

24年1月，LLaVA-NeXT(1.6)发布，在1.5的基础上保持了精简的设计和数据高效性，支持更高的分辨率、更强的视觉推理和OCR能力、更广泛场景的视觉对话。模型分为两阶段训练：阶段1预训练只训练连接层，阶段2指令微调训练整个模型。

LLaVA-NeXT: Improved reasoning, OCR, and world knowledge

  • 动态高分辨率AnyRes：如上图，为了让模型能感知高分辨率图像的复杂细节，对图像进行网格划分。比如，对于672×672的图像，一方面按2×2的网格切分为4张336px的输入图像送给ViT编码成特征，另一方面将图像直接resize到336px进行编码，最后将两部分特征合并输入到LLM中，这样模型具备了全局和局部的视觉推理能力。
  • 指令数据混合：一方面保证指令数据具有高质量、多样性，反映真实场景的广泛用户意图；另一方面，补充文档和表格数据，提升模型的OCR和图表理解能力。
  • 扩大LLM尺寸：考虑了7B、13B、34B的LLM。

24年5月，团队发布基于更强LLM的LLaVA-NeXT版本，支持LLaMA3(8B)和Qwen1.5(72B/110B)。更大的LLM提供更好的视觉世界知识和逻辑推理能力，最大的模型接近GPT-4V的性能，同时保证了训练高效性。

LLaVA-NeXT: Stronger LLMs Supercharge Multimodal Capabilities in the Wild

LLaVA-NeXT-Video

24年4月，LLaVA-NeXT-Video发布，展现出强大的zero-shot视频理解能力。LLaVA-NeXT中的高分辨率图像动态划分可以很自然地迁移到视频模态用来表示视频的多帧，使得只在图文模态上训练的LLaVA-NeXT能在视频任务上泛化。此外，推理时的长度泛化用于有效处理超出LLM最大长度的长视频输入。基于LLaVA-NeXT-Image模型，作者发布了在视频数据上监督微调的LLaVA-NeXT-Video，以及在AI反馈的监督下使用DPO偏好对齐的LLaVA-NeXT-Video-DPO。使用SGLang部署和推理，支持可扩展的大规模视频推理。可以想到，这有助于海量视频的高效文本标注，催生了未来更强大视频生成模型。

LLaVA-NeXT: A Strong Zero-shot Video Understanding Model

  • AnyRes：可以将N帧视频看作{1xN}的网格，而LLM的最大长度限制了可以处理的帧数，很自然地会考虑对图像进行下采样减少每帧token数，但作者发现为保证效果仍只能处理16帧。
  • 长度泛化：基于LLM的长度外推技术（RoPE的线性扩展），推理时扩展2倍，从之前的16帧扩展到56帧，大大提升了模型分析长视频序列的能力。
  • 基于LLM反馈的DPO偏好优化：偏好数据由LLM生成，视频表示为详细的说明文字，带来了很大的性能增益。
  • 对于视频数据的微调，作者进行了ablation study：(1) 在LLaVA-NeXT图像级指令微调后，继续在视频级指令上增量微调；(2) 在LLaVA-NeXT图像级预训练后，在图像级和视频级数据联合微调，每个batch数据包含一种类型或者混合两种类型，实验表明混合图像和视频模态数据效果最佳。

指令微调Ablation Study


团队还分享了视觉指令微调过程中除数据之外的因素的ablation study，从模型架构、视觉表征、训练策略角度进行分析。

LLaVA-NeXT: What Else Influences Visual Instruction Tuning Beyond Data?

  • 模型架构：扩展LLM比扩展视觉编码器更有效，视觉输入配置（分辨率、token数）比视觉编码器大小更关键。
    • 学习率：为了训练更稳定，视觉编码器的学习率通常应该比LLM学习率小10倍～5倍，更大的LLM需要更小的学习率，尽量避免loss跑飞。
    • 视觉编码器：相较于模型大小，基于分辨率、token数的视觉特征支持编码更多的视觉细节，预训练数据支持编码更多的视觉知识，作用更重要。
  • 视觉表征：分辨率、特征空间视觉token数都重要，相对来说扩展分辨率更有效，建议使用AnyRes时下采样。
    • 对于更高分辨率图像或者更长的视频，AnyRes需要更多的格子。比如，对于超过768×768的图像，以前的方案首先resize到768×768会导致细节丢失。这里考虑划分成更多的格子，然后对编码的特征进行双线性插值（下采样）到更小的特征，以防止视觉token数过多。
  • 训练策略：在互联网级低质数据上大规模预训练后，指令微调前，增加一个阶段，使用一些高质量合成数据增强知识。

LLaVA-NeXT-Interleave

24年6月，LLaVA-NeXT-Interleave发布，提出图文交错格式可以作为通用模版统一不同的视觉模态，比如单图像(multi-patch)、多图像(multi-image)、视频(multi-frame)、3D(multi-view)。在保证LLaVA-NeXT单图像输入的性能下，可以提高其它模态任务的性能，而且在不同模态任务上具有初步的迁移能力。这种大一统的模型支持更广泛真实场景的应用，比如多页PPT的总结和问答、生成图像编辑的提示词、多文档的汇总和比较。

LLaVA-NeXT: Tackling Multi-image, Video, and 3D in Large Multimodal Models

作者在训练策略上进行了ablation study：

  • 从LLaVA-NeXT单图像模型继续训练，从stage2单图像指令微调后的模型开始训练效果更好，可以继承单图像任务的指令遵循能力。
  • 两种组织格式：将所有图像token放在最前面，在文本中使用特殊token指代图像 (in-the-front)，将图像token放在其原来的位置，与文本交错 (interleaved)。实验表明，在训练阶段混合两种格式有助于在推理阶段这两种格式都取得更好的性能。

InternVL系列

InternVL-1.0

23年12月，上海AI Lab @OpenGVLab发布InternVL。该工作在模态对齐中视觉编码器和LLM之间在参数规模和特征表征能力上存在较大的差距，自然地提出扩大视觉端的参数量到6B (InternViT-6B)，然后使用不同质量的图文数据逐渐与LLM对齐。此外，连接层的参数量也扩大了，类似Q-Former，这里设计了一个8B的语言中间件QLLaMA，使用Chinese-LLaMA的参数初始化增强其跨语言理解能力，新增96个可学习query token和cross-attention层 (1B)，实现视觉和语言模态进一步对齐。

[2312.14238] InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks

下图是InternVL的三阶段渐进式训练策略，训练数据质量逐渐提高，最开始使用大规模有噪的图文对进行对比预训练 (类似CLIP)，接着加入冻结参数的QLLaMA连接件，只学习cross-attention，使用图文匹配/对比/生成loss (类似BLIP)，最后引入LLM进行监督微调，赋予多模态对话和问答能力。

InternVL训练的多阶段性赋予其内在的多功能性，通过灵活组合不同模块，可以支持各种视觉-语言任务，如下图。

这里值得讨论的一个点在于，InternVL为了让视觉端和语言端参数量平衡，对视觉端和连接层都进行了scale up。一个很自然的问题是，视觉端真的需要这么heavy的参数量吗？因为当前最新的LLaVA-NeXT仍然使用约300M的ViT和轻量的MLP连接层，仅通过扩展LLM提升多模态任务性能。我的个人拙见是，视觉理解包括感知和推理，感知部分可能并不需要那么大的参数量，而推理部分作用于high-level的视觉特征，通过微调LLM赋予其理解推理视觉模态的能力，所以为了性能、效率和稳定性的平衡，似乎这里scale up必要性不是很强，当然这里值得深入实验的验证和讨论。看到这篇论文中的图，让我想到了22年Google的Coca论文，作者把文本解码器按层对半划开，浅层一半用于文本单模态，深层一半用于图文多模态，可以看到下图视觉端参数量占比也相当高。

[2205.01917] CoCa: Contrastive Captioners are Image-Text Foundation Models

InternVL-1.5

24年4月，InternVL-1.5发布，综合性能更强，且支持推理时高达4K的分辨率。

[2404.16821] How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites

上图为模型整体架构，采用了类LLaVA的ViT+MLP+LLM范式，结合了增强的InternViT-6B-448px-V1.5和中英双语InternLM2-Chat-20B，总体参数约26B。相比于InternVL-1.0，在输入端支持了动态高分辨率，连接层改为轻量的MLP，使用pixel shuffle操作将输出的视觉token数减为1/4。训练分为两阶段，预训练阶段训练InternViT和MLP映射，随后微调整个模型。

  • 这里不再使用Q-Former作为连接层的原因，可以参考作者 @Weiyun 大佬的回答：多模态大语言模型（MLLM）为什么最近的工作中用BLIP2中Q-Former结构的变少了？ – Weiyun的回答 – 知乎，大致意思是说相比于MLP，Q-Former参数量大收敛更慢，数据量小的场景无法达到LLaVA-1.5这样的性能，而且提高数据量和计算量，Q-Former也没有明显的性能优势。
  • 这里的pixel shuffle操作来源于16年的一篇论文，本质是对特征元素进行重排列，将 (𝐶×𝑟2,𝐻,𝑊) 的特征变换为 (𝐶,𝐻×𝑟,𝑊×𝑟) ，对特征进行了空间维度的上采样，但通道维度缩小为原来的 1/𝑟2 。这里输出的视觉token数可以理解为通道数，主要目的是通过提升特征维度换取更少的token数，从而可以支持更高的图像分辨率。这样，448×448的输入图像，patch size=14，总共有32×32=1024个token，设置上采样系数r=2，则该图像可以表示为256个token。

接着我们来看InternVL-1.5的三个重要改进：

  • InternViT增强：V1.2版本去掉了模型的最后3层，将分辨率扩展为固定448×448，而V1.5进一步扩展为动态448×448，即每张训练图像可分块，每块大小为448×448，支持1~12个块。此外，还增强了数据规模、质量和多样性，提高了OCR和高分辨率处理能力。
  • 动态高分辨率：基于图像的分辨率和纵横比，将图像切分为448×448的分块，训练阶段最多12块，测试阶段可以外推到40块，即4K分辨率，这样模型训练和推理能适应多种分辨率和纵横比，避免了强行resize带来的失真和细节丢失。如下图，具体来说，对于一张800×1300的图像，从预定义的纵横比中匹配一个最接近的纵横比2:3，然后将图像resize到896×1344，并切分为多个448×448的图像块，再添加一个缩略视图 (直接resize到448×448) 用于图像全局理解。
  • 高质量中英双语数据集：包含自然场景、图表、文档、对话等多样化的数据，借助LLM实现数据集英文到中文的转换。

此外，翻译的prompt值得我们学习：

System:
You are a translator proficient in English and {language}. Your task is to translate the following English text into {language}, focusing on a natural and fluent result that avoids “translationese.” Please consider these points:
1. Keep proper nouns, brands, and geographical names in English.
2. Retain technical terms or jargon in English, but feel free to explain in {language} if necessary.
3. Use {language} idiomatic expressions for English idioms or proverbs to ensure cultural relevance.
4. Ensure quotes or direct speech sound natural in {language}, maintaining the original’s tone.
5. For acronyms, provide the full form in {language} with the English acronym in parentheses.
User:
Text for translation: {text}
Assistant:
{translation results}

作者在ablation study部分研究了更大的LLM是否需要更大的视觉编码器，实际上是针对我们上面对InternVL-1.0视觉端参数量的问题的实验。实验对比了LLaVA-NeXT和InternVL-1.2，两者都使用34B的LLM，在尽量保证对比公平的条件下，实验证明更大的视觉模型能提供模型解决多模态任务的整体性能（不过原论文好像没有给具体数据？）。团队后续也发布了蒸馏版的视觉模型InternViT-300M-448px，与LLaVA-NeXT的视觉端保持了同等规模。

MiniCPM-V系列

MiniCPM-V是 @面壁智能 发布的一系列支持高效端侧部署的多模态LLM。

MiniCPM-V 2.0

24年4月，MiniCPM-V 2.0发布，仅有2.8B参数，整体性能超过了Yi-VL 34B、CogVLM-Chat 17B、Qwen-VL-Chat 10B等更大的开源模型，OCR能力突出，支持中英双语对话，部分指标接近Gemini Pro。
视觉编码器使用SigLIP SO400M/14-384px，LLM使用MiniCPM-2.4B，连接层使用Flamingo中的Perceiver Resampler (类似Q-Former使用可学习query提取显著视觉信息，但不以输入文本为条件)。基于自研的RLHF-V实现可信行为对齐，在缓解多模态幻觉问题上接近GPT-4V。基于自研的LLaVA-UHD支持高达1344×1344的分辨率和任意纵横比输入。基于自研的VisCPM实现跨语言的多模态能力泛化，进而有良好的中英双语能力。此外，该模型在端侧部署内存开销较小、速度较快，即便是处理高分辨率的图像。官方还提供了安卓端部署的mlc-MiniCPM示例。

MiniCPM-Llama3-V 2.5

24年5月，MiniCPM-Llama3-V 2.5发布，总共8B参数，整体性能超过了GPT-4V-1106、Gemini Pro、Qwen-VL-Max、Claude 3等闭源模型，OCR和指令遵循能力进一步增强 (增强了全文本OCR提取、表格到Markdown转换等功能)，支持超过30种语言对话，在量化、编译优化、高效推理等加持下，同样可以在端侧高效部署。
在MiniCPM-V 2.0基础上，LLM替换为Llama3-8B-Instruct，基于更新的RLAIF-V进一步降低幻觉率。当前，官方支持了llama.cpp和ollama的高效CPU推理、GGUF 16-bit量化、LoRA微调等实用功能。

VILA1.5

24年5月，NVIDIA发布VILA1.5，提供视频理解能力，开源了3B/8B/13B/40B的模型，位于当前开源榜单MMMU和Video-MME前列。VILA详见我的上篇文章，这里简单回顾一下：VILA在大规模交错图文数据上预训练，从而具有多图理解能力，作者通过实验发现：(1) 图文交错排布比较关键；(2) 交错图文预训练过程中微调LLM能赋予其上下文学习的能力；(3) 混合只有文本的指令数据有助于提升性能；(4) 压缩视觉token可以扩展视频帧数。

CogVLM2

24年5月，智谱 @GLM大模型 发布CogVLM2，随后发布了GLM-4V。CogVLM2基于Llama3-8B-Instruct，支持8K上下文、1344×1344分辨率、中英双语对话。GLM-4V-9B替换为GLM-4-9B语言模型，采取同样的数据和训练策略，去除CogVLM原有的视觉专家，将模型大小减为13B。CogVLM和CogAgent详见我的上篇文章。

Cambrian-1

24年6月，LeCun&谢赛宁团队发布Cambrian-1，关注以视觉为中心的多模态LLM，开源了8B/13B/34B的模型。当前多模态LLM仍存在较大的视觉缺陷，需要增强视觉表征以更好地和语言模态交互，赋予模型在真实场景更强的感知定位能力。这项研究的一大意义在于影响多模态LLM的工作开始重视视觉表征质量的提升，而非一直scale up LLM。

[2406.16860] Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

如上图，该工作围绕多模态LLM的5个核心设计要素展开研究，分别是：视觉表征、连接器设计、指令微调数据、指令微调策略、评估基准。

  1. 视觉表征

作者评估了多种视觉编码器及其组合，下图表明以语言监督的CLIP模型优势较强，但自监督方法在提供充足数据和适当微调的情况下性能也能接近。而且，结合多种类型的视觉编码器有助于提升多模态LLM的性能，尤其是以视觉为中心的任务。注意到，高分辨率的编码器大大增强了图表和以视觉为中心任务的性能，而基于ConvNet的架构适合处理这类任务。

2. 连接器设计

提出Spatial Vision Aggregator (SVA)，一个动态的、具备空间感知的连接器，以将 (来自多个视觉编码器的) 视觉特征与LLM深度融合。如下图，该方法设置一些可学习的latent query tokens，通过cross-attention与多个视觉特征交互 (视觉特征作为key/value)。SVA的设计有两点要素：(1) 通过显式定义每个query token对应的视觉特征图子区域，引入空间inductive bias，便于模型在处理视觉信息时保留对空间结构的理解，更准确地定位和整合局部特征；(2) 在LLM的多层聚合视觉特征，让模型在不同层级特征上反复利用视觉信息，增强模型对视觉内容的深入推理能力。该方法可以有效减少需要的视觉token数，例如相比于Mini-Gemini和LLaVA-NeXT，Cambrian-1的视觉token数是其20%。

3. 指令微调数据

作者发布了指令微调数据集Cambrian-10M，综合了OCR、通用VQA、纯语言等指令数据，还筛选了质量更高的7M版本。不同类型的视觉指令数据能赋予模型不同的能力，因此数据配比的平衡性也很关键，实验结果表明，平衡OCR、通用数据和语言数据的比例很重要。此外，在实验中作者发现，训练好的多模态LLM可能在基准测试上指标表现好，但实际对话能力弱，回复简短。因此，作者在训练期间引入了额外的系统提示，鼓励模型输出更长的回答和思维链推理，增强数学推理等任务的表现。

4. 指令微调策略

作者遵循LLaVA的两阶段训练策略，先使用适配数据只微调中间的MLP连接层，再打开LLM和连接器微调。结果表明，第一阶段对连接器的预训练可以提高性能，而使用更多的适配数据可以进一步增强。此外，作者对比了是否微调视觉编码器带来的性能影响，表明微调视觉编码器能增强性能，尤其对自监督预训练的视觉编码器 (如DINO v2、MoCo v3、MAE等)，在以视觉为中心的测试上提升明显。

5. 以视觉为中心的基准CV-Bench

现有多数benchmark无法正确评估模型的视觉感知定位能力，而且相应的样本数量有限。CV-Bench重新利用现有视觉benchmark中的样本，包含2638个以视觉为中心的VQA问题，涉及2D的空间位置关系和物体计数、3D的深度次序和相对距离。

最后，让我们共同期待我国的AGI基础模型不断取得新的突破，引领世界潮流！

KAN网络-MLP网络的替代

论文： https://arxiv.org/abs/2404.19756

一、MLP 本质回顾

MLP 本质上是用一个线性模型外面包了一层非线性激活函数来实现非线性空间变换。线性模型的好处在于简单，每条边就是两个参数w和b，合到一起用向量矩阵表示 W。

比如下面的图，通过结合两个线性决策边界并在第二层应用激活函数，形成了一个非线性决策边界。两个线性决策边界，每一个由一条直线表示，分别是2x+3y+6=0 和5x+3y=0。这些直线分别在二维空间中划分出了不同的区域。第一层的输出通常会作为第二层的输入。然后再次通过激活函数进行处理。形成了一个复杂的、非线性的曲线形状的决策边界。这是因为每个线性模型的输出都受到了非线性激活函数的影响，允许模型捕捉更复杂的数据模式。多层结构和非线性激活函数使得网络能够将简单的线性决策边界通过复合和变换，转化为能够解决更复杂分类问题的非线性决策边界。

从理论上讲，一个包含足够多神经元的单隐藏层网络可以逼近任何连续函数(这是由通用近似定理保证的)。比如下图所示分类界面变成了曲面。

在 MLP 中，每层都进行线性变换后跟非线性操作。这种层级结构允许模型学习数据的多层次特征表示。随着层数的增加，模型的表示能力也随之增强。比如下图，这就是深度学习管用的根本原因，越深越牛逼。

表达成线性代数的矩阵形式，就是下面的公式:

在这个表达式中，圆圈(·)表示的是函数组合运算，也就是函数复合的意思。用图表示就是我们常见的形式:

注意:这里所有的激活函数都尽量使用相同的进行简化。当然有的时候用两个

你可能会问，为什么神经网络一定要用 MLP的形式?没有什么为什么，因为它管用，它简单，奥卡姆剃刀原理。适合用来理解基本的前向传播和反向传播算法，也易于用各种编程语言和框架实现。因此，历史上就选它了，整个深度学习的基础。

二、MLP 的硬伤注定了深度学习大厦的脆弱?

MLP 也就是全连接网络可以说是整个深度学习的基础，后面所有的网络无论CNN/RNN/transformer 都是在它基础上的修改，即便是现在吹牛逼不上税的大模型们。但谁能想到它居然是个有天然硬伤的豆腐渣模块呢?

1.梯度消失和梯度爆炸:当使用传统的激活函数(如Sigmoid或Tanh)时，MLP 在进行反向传播计算梯度时确实容易遇到梯度消失或梯度爆炸的问题，会出现激活函数的导数连乘积(画图)。当它非常小或非常大，网络又很深，连续乘积会使得梯度趋向于0(梯度消失)或变得异常大(梯度爆炸)，从而阻碍学习过程。

2.参数效率低:MLP 通常使用全连接层，这意味着每层的每个神经元都与前一层的所有神经元相连接，导致参数数量迅速增加，尤其是对于输入维度很高的数据(比如图像数据)。这不仅增加了计算负担，也增加了模型过拟合的风险。这就是大模型的困境，拼参数量没出路，大部分学习都是浪费掉的，效率巨低下无比，好比人海战术。

3.处理高维数据的能力有限:MLP没有利用数据的内在结构(如图像中的局部空间相关性或文本数据的序列信息)。例如，在图像处理中，MLP 无法有效地利用像素之间的局部空间关联，这使得其在图像识别等任务上的性能不如卷积神经网络(CNN)。

4、长期依赖问题:虽然 MLP 理论上可以逼近任何函数，但在实际应用中，它们很难捕捉到输入序列中的长期依赖关系(长时间跨度的相关信息)。这一点在处理时间序列或自然语言处理任务时尤为明显，而循环神经网络(RNN)和transformer在这些任务中通常表现得更好。

但无论 CNN/RNN/transformer 怎么改进，都躲不掉 MLP 这个基础模型根上的硬伤就是这个线性组合+激活函数的模式。进而决定了整个深度学习大厦的脆弱。就好比板砖出现了问题。那能不能替换掉这种板砖呢?谈何容易，既要解决函数拟合准确度的问题，又要保证神经网络的效率，这不亚于重新发明深度学习这个学科。因此虽然理论上任何结构都可以，但并没有出现一种更好的基础模型组件。这恰恰是 KAN 网络带给大家的惊喜，也给发展了十几年沉闷的深度学习世界带来了一丝变革的曙光。我们来看它具体干了什么?

三、KAN 网络为什么牛逼?

Kolmogorov-Arnold Networks 顾名思义基于柯尔莫果洛夫-阿诺尔德表示定理。是由这两个俄罗斯数学家 1957 年提出的如何用一组较简单的函数来表示任何一个多变量的连续函数。

想象一下，你有一个非常复杂的配方，需要各种各样的原料和步骤来制作一道菜。柯尔莫果洛夫·阿诺尔德表示定理告诉我们，无论这个配方多么复杂，我们总能找到一种方法，通过一些简单的基本步骤(这里是一些基本的函数)来重现这道菜的味道。在上面的式子中，输入是x，φq.p(xp)是基本的一元函数，就像是青椒西红柿基本原料的处理。内层求和就是放到一起。中q是外层的函数，各自接受内层求和的结果作为输入。外层的求和 ∑表示整个函数 fx) 是子函数中q 的和。用图来表示就相当于一个两层的神经网络，区别在于一没了线性组合，而是直接对输入进行激活;二来这些激活函数不是固定的，而是可以学习的。

和 MLP 每层统一进行非线性空间变换相比，这相当于对每个坐标轴单独进行非线性变换，然后再组合形成多维度空间。(画个简图，先组合再变形和先单个变形再简单组合的区别)

公式写成向量的形式就是:

对比 MLP，没有了激活函数和参数矩阵的嵌套关系，而直接是非线性函数中的嵌套。对于多层网络，这相当于下面的结构:

注意这里所有的非线性函数中都采用同样的函数结构，只是用不同的参数来控制其形状。具体来说，文章选择了数值分析中的样条函数 spline。这个英语单词 spline 来源于可变形的样条工具，那是一种在造船和工程制图时用来画出光滑形状的工具。

对比 MLP 和 KAN，最大的区别就是变固定的非线性激活+线性参数学习为直接对参数化的非线性激活函数的学习。因为参数本身的复杂度，显然单个spline 函数的学习难度要比线性函数难，但 KANS通常允许比 MLPs 更小的计算图，也就是实现同样效果，需要的网络规模更小。例如，文章展示了在解偏微分方程(PDE)的过程中，一个2层宽度为10的 KAN 比一个4层宽度为 100 的 MLP 具有更高的准确度(均方误差 10^-7 对比10^-5)并且具有更高的参数效率(参数数量100 对比 10000)。
到这里为止，你一定好奇，这IDEA不复杂啊，难道以前没人想到，有，但是卡壳在都坚持使用原始的二层宽度为(2n+1)的表示方法，并没有机会利用更现代的技术(例如，反向传播)来训练网络。KAN 模型的贡献就在于通过进一步简化推广到任意宽度和深度，同时通过广泛的实证实验论证了在 AI + 科学方面的效果，而且具备很好的准确性和可解释性。这就牛通了啊，深度学习最大的问题就是个黑盒子，训练网络像是炼丹。大模型越弄越大，很可能一条道走到黑就进死胡同了。好比芯片的摩尔定律。现在出现了量子芯片，原理上就不同，从而有可能实现根本性的变革。当然，原来的各种网络结构还能平替重做一遍，有没有感觉一片 AI 新大陆向你招手了。我一直劝大家别太短视，成天只盯着transformer，大模型兜兜转转，撑死了也是井中之蛙。

四、KAN 的架构细节

4.1 详细解释

整个网络架构原理看图一目了然。很多个这种类似四分之三个周期的正弦函数组合起来就能拟合任意形状的函数。换句话说，用 B-spline 这一种激活函数两次求和就够了。

图中展示的结构中，使用了两种尺度或分辨率的组合:粗粒度和细粒度网格，在保持计算效率的同时，更加精确地捕捉和适应函数的变化。这种基础结构其实并不是很难想到，以前就有了，但难点是怎么把它变深，否则单靠这么点玩意儿是不能逼近复杂函数的。这就是本文的主要贡献了。

这里I是层编号，右边为输入，左边为输出。看上面左图就大致明白对应关系，输入为2 个，因此第二层是 2*2+1=5个。中j 就是每条边上的激活函数，也就是非线性变换。相当于每个x都有5个分身，然后再分别组合。其中i用来标记当前层的节点而j用来标记下一层的节点。每个节点 x_i 的输出通过激活函数 φ_l,ij处理后，贡献到所有下一层的 x_l+1,的计算中。对应上面左图，输入层2个节点，第二层5个节点，因此矩阵为 5*2。矩阵的第一列表示x_0,1对应的5个激活函数，第二列对应x_0，2的，然后两两组合。

因此，这里需要强调的是 KAN 网络层节点数不是随便搞的，由输入节点个数确定2n+1个，然后所需要的参数或者连接数为(2n+1)*n，明显比全连接少了不少，看图就知道。

SiLU(Sigmoid Linear Unit)是一种神经网络激活函数，也被称为 Swish 函数。这个函数由一篇 Google Brain 的论文首次提出，并因其在某些任务上表现出的优异性能而受到关注。你可以认为它就是 sigmoid 函数的一种变体。
2.假设层宽相等，L层，每层 N 个节点。
2.每个样条函数的阶数通常为k=3，在G个区间上G +1个网格点。”G 个区间”指的是样条函数的分段定义的区间数。
那么总共大约有 O(N’L(G +k))或O(N2LG)个参数。相比之下，具有深度工 和宽度 N 的多层感知机(MLP)只需要O(N2L)个参数，这看起来比KAN更有效率也就是说单看计算复杂度好像 KAN 还不如 MLP 简单，但是幸运的是，KANS 通常需要比 MLPS 小得多的 NN，这不仅节省了参数，而且还提高了泛化能力，并且有助于解释性。

换句话理解，就是借助 spline 样条函数的表达能力，无需很多节点就能实现比较强的表达能力，因此总的来说，可以比 MLP 节省不少参数量。

4.2 逼近能力和缩放定律的讨论

文章花了一页的篇幅推导证明了定理

这部分讲的不是人能听懂的话，看不懂很正常。简单说，就是从数学上证明可以通过构建多层的 B样条函数网络来有效逼近复杂函数。尽管增加网络的深度和复杂度，KANS能够通过细致的网格划分来逼近高维函数，而不会受到维数灾难的影响，也就是在高维空间中，数据的稀疏性和处理复杂度急剧增加的问题。而残差率不依赖于维度，因此战胜了维数灾难!

再来看看所谓的缩放定律。注意这里的缩放定律与大模型领域的不同。后者是说模型大小(如参数数量)的增加，模型的性能(例如在语言任务中的准确性)通常会提高，并且有时这种提升的速度可以用某些数学关系(如幂律关系)来描述C=6ND。这里更偏重于理论和数学上的分析，当然背景相似，都是讨论随着参数数量的增加，模型表现的提升。这部分内容基本上也可以暂时略过，主要就是简要对比了几种理论关注于如何通过理论来指导实际的神经网络设计，以实现更有效的学习和泛化能力。后面还有讨论，这里暂时可以忽略。

好，我们接下来重点看看 KAN 准确性和可解释性的改进

4.3 如何提升准确性?

MLPs通过增加模型的宽度和深度可以提高性能，但这种方法效率低下，因为需要独立地训练不同大小的模型。KANS:开始可以用较少的参数训练，然后通过简单地细化其样条网格来增加参数，无需重新训练整个模型。
基本原理就是通过将样条函数(splines)旧的粗网格转换为更细的网格，并对应地调整参数，无需从头开始训练就能扩展现有的 KAN 模型。这种技术称为“网格扩展”(grid extension)

文章用了一个小例子来证明这一点。用 KAN 网络逼近一个函数。上图中横轴的每个grid-x“标签代表了在特定训练步骤时进行网格细化的时点。每次这样的标记出现，都意味着网格点数量在这个步骤有所增加，从而使模型能够更细致地逼近目标函数，这通常会导致误差的下降。表明网格点的增加直接影响了模型的学习效果，提高了逼近目标函数的精度。左右图表示了两种不同结构的网络。

下面两个图分别展示了测试误差随网格大小变化(左下图)和训练时间随网格大小的变化(右下图)。结论就是误差loss 随网格大小 grid size G在不同的规模上显示出不同的缩放关系;训练时间随网格大小增加而增长，特别是在网格非常大时(接近1000)，训练时间急剧上升。

这些观测结果支持了文章中关于 KANS 利用网格扩展可以有效提高精度而无需重新训练整个模型的说法，同时也提示了在选择网格大小时可能需要在模型精度和训练效率之间做出权衡。简单说，网格太密了也不好，太费时。

4.4 如何提升可解释性?

尽管上面介绍了 KAN 的不少好处，但遇到实际问题时该怎么设计网络结构依然是个玄学。因此需要有种方法能自动发现这种结构。本文提出的方法是使用稀疏正则化和剪枝技术从较大的 KAN 开始训练，剪枝后的 KAN 比未剪枝的 KAN 更易解释。为了使 KAN 达到最大的可解释性，本文提出了几种简化技术，并提供了一个示例，说明用户如何与KAN 进行交互以增强可解释性。

1.稀疏化:使用数据集训练一个 KAN 模型，使其能够尽可能地拟合目标函数。MLP通常使用 L1 正则化来促进权重的稀疏性，L1正则化倾向于推动权重值向零收缩特别是那些对模型输出影响不大的权重。权重短阵的“稀疏化“可以降低模型的复杂性，减少模型的存储需求和计算负担，因为只需要处理非零权重;还能提高模型的泛化能力，减少过拟合的风险。

2.剪枝:在稀疏化后，进一步通过剪枝技术移除那些不重要的连接和神经元。设定特定激活函数:根据剪枝后各神经元的特性，手动设置或调整特定神经元的激活函数

3.训练仿射参数:在调整了激活函数后，对模型中的剩余参数进行再次训练，优化这
些参数以最好地拟合数据。
4.符号化:最终，模型将输出一个符号公式，这个公式是对原始目标函数的一个近似表示，但通常会更简洁、更易于理解和分析。

五、实验验证

5.1 KAN准确性

比较了 KAN 与 MLP 在逼近5个典型函数上的性能，横轴是参数量，纵轴为均方根误差(RMSE)。总的来说，KAN和MLP随着参数数量的增加，RMSE都在下降。
在大多数情况下，KAN(蓝色线)比相同深度的MLP具有更低的 RMSE，尤其是在参数数量较少时。这表明 KANS 在参数利用效率上可能更高。MLP 在参数数量增加后性能提升逐渐放缓并迅速达到平台期，这可能是因为 MLP 对于这些类型的函数拟合存在固有的限制。KAN 在多个测试案例中都接近或跟随理论曲线。
这表明 KANS 在处理复杂函数和高维数据时可能是更优的选择，具有更好的扩展性和效率。这种性能优势特别重要，当我们需要从有限的数据中学习复杂的模式时，如在物理建模、声音处理或图像处理等任务中。当然目前还都是比较理论化的实验数据。

接着对比了 KAN 和 MLP 在高难度的特殊函数拟合任务上的性能，结论类似。随参数量增多KAN(蓝色)表现稳定，越来越好，而MLP(黄色)出现平台期。KANS在维持低误差的同时，表现出更好的参数效率和泛化能力。这一点对于设计高效目精确的机器学习模型来说是极其重要的，特别是在资源受限或对精度要求极高的应用中。

5.2 KAN 的可解释性

借助前面提升模型可解释性的小技巧，包括稀疏化、剪枝等，KAN 网络最终形成的网络结构不仅能够实现数学函数的拟合，而且其形式本身能反映出被拟合函数的内在结构。

以第一个图为例
函数:f(T,y)= xy
解释:图中的结构利用了恒等式 2xy =( X+ y)?-x2- y2 来计算乘法。这说明KAN通过结合基本运算(加法、平方)来实现复杂的乘法操作，展示了KAN如何通过基本的数学操作构造更复杂的函数。
x和y各自经过线性函数求和，然后平方，同时再减去x和y的平方。
因此可以看出，KAN 模型的牛逼之处在于两点:首先，不仅仅在于自身的型结构，MLP是先组合再非线性激活，KAN 是先非线性激活再组合;其次，KAN的训练能实现自身结构上的优化，有点自组织的味道了。

八、小结

1.MLP 的硬伤:我们回归了 MLP的核心原理，线性组合+非线性激活。深层次化网络后，反向传播求导数时单一激活函数的连乘积会产生很多问题，而且全连接网络导致参数效率低下。
2.KAN 的原理:用单一架构的参数化可学习非线性激活函数直接组合，实现非线性空间变换。模型表征能力大大提升。
3.KAN 训练算法:通过 grid extension，也就是激活函数分辨率提升，以及稀疏化、剪枝等结构自优化技巧，实现了准确性和可解释性的提升。能够在参数量大大减少的情况下实现相同甚至更有的拟合效果。
4.实验验证:仿真实验提供了有效的量化的效果证明，展示了非常有前景的方向，但目前显然还比较初级。不过，提供了一条新的道路。

Mamba-2 模型解读

Github：https://github.com/state-spaces/mamba

论文：https://arxiv.org/abs/2405.21060

Mamba2 模型再次回归，引发 AI界新的雀跃。它重要性在于很可能开启了一个新的时代，注意力机制2.0时代，由单一注意力机制变成混合注意力机制。人们苦Transformer 这个大语言模型核心模块的硬伤久矣(传统自注意力机制运算效率低)，初代的 Mamba 理论上仍然不够完善，所以才会被人诟病。不过，这种争论充分说明了 LLM核心架构的变革已经势在必行。

标题剑指“Transformers 就是 SSM 状态空间模型”，俨然是要做个大一统的工作，气吞山河Generalized models and efficient algorithms 叫法感人，可以想象后续工作会一片一片。

一、重要结论

这次的摘要非常简短，但字少事更大，人狠话不多。三句话三层意思:
1.尽管 Transformers 多年来一直是深度学习在语言建模领域成功的主要架构，但近年来，状态空间模型(SSMs)如 Mamba 已被证明在小到中等规模上能够匹敌甚至超越。人话就是SSM 是新的政治正确!
2.本文展示这些横型家族实际上是密切相关的，可以在一个称为“状态空间对偶“理论框架下连接 SSM 和注意力变体。选择性 SSM 就是一种新的注意力机制，看，这么快就应验了，当然人家牛的是数学上证明了。别死盯着传统的 Transformer 架构了，它的内核其实还是注意力。就像雷达一样，要搞新体制雷达。新型注意力才是正途!但方法并非从 Transformer 侧搞。
3.据此设计的 Mamba-2速度比 Transformers快 2-8倍，而准确率更优。算力昂贵的今天效率将是新模型竞争的重点!

理解整篇文章的核心其实就是这个对偶 duality，我们将围绕着它展开，明白了它也就是彻底搞懂了 Mamba2 的精髓。

二、统一 SSM 和注意力机制(两性话题)


2.1 什么是对偶关系

在数学、物理学乃至哲学中，“对偶性”是指两种看似不同的理论或模型之间存在的一种深层次的等价关系。通过这种对偶关系，可以将一个复杂的问题转化为另一个相对简单的问题来解决，或者在一种表示形式下无法轻易看到的性质在另一种表示形式下变得显而易见。比如太极图就是典型的对偶关系，阴阳对应。

本文提出的状态空间对偶一边是结构化状态空间模型(SSMS)，一边是注意力变体，关联方式也就是分界线是具有次平方参数和乘法复杂性的结构化矩阵。

这个理论的基础其实是线性注意力(LA)框架，它也是一种对偶:一边是线性递归神经网络(RNN)，一边是传统的自回归注意力机制。也就是刚说的Transformeris RNN.

核心思路就是传统的自回归注意力机制在处理长序列时复杂度较高，而通过对偶关系，可以将其转化为线性 RNN 来处理，从而显著降低计算复杂度。这就好比一个忙碌的咖啡馆，顾客们不断地排队下单。自回归注意力机制传统方法中，咖啡师逐个处理每个订单，计算复杂度随着订单数量增加而成平方增长。通过对偶关系，我们可以转换成一种更高效的处理方法:先收集一批订单根据订单类型(拿铁、卡布等)分类，然后批量制作再分发，这就是线性 RNN 处理长序列数据的思路。

简单总结一句话:阳谋不行咱们来阴谋啊，哪个管用来哪个，效果类似能达到目的就行

既然是在 SSM 和注意力之间进行对偶，我们分别回归一下它们都是啥。

2.2 时空模型 SSM 的本质

2.1洋洋酒酒公式不少，看起来费劲，其实就是在讲下面这幅图，上上期我们分析过。本质上左边就是一个简单的线性时不变系统建模，中间是离散化后的模型就是个RNN，最右边是并行化用卷积核进行处理，也就是 CNN 化的模型。这种表示方式是用图模型来建模，强调的是序列数据之间的依赖关系和动态变化。所谓的 SSM 其实可以理解为就是 RNN，只不过更强调通过线性代数方程来描述系统状态的变化，利用状态空间模型中的状态转移矩阵和观测矩阵来进行建模。也就是下面的两组公式。

前者 ABC 都是时不变的，后者变成了随时间变化的，也就是 Mamba 模型的工作，放宽了对系数矩阵的约束。因此某种程度上说，SSM 就是线性代数版的RNN，借助线代这个数学工具来更深入的分析 RNN。差分方程进行时序动态建模，CNN能并行化处理，而 ABC 系数矩阵能实现特征空间的结构化分析。

2.3 注意力机制的本质

再来看看注意力机制。本意是给序列中每个位置的元素分配分数，使每个元素能够“关注”序列中的其他元素。前最常见和重要的注意力机制变体是 softmax 自注意力
Y = softmax(QKT).V
其中 QK 成对比较的机制引发了注意力机制的平方训练成本。你看它的本质上就是矩阵运算。这与 SSM(结构化状态空间横型)是一致的，两者在线性代数层面上有很强的关联性，统一分析和优化的视角可以帮助我们更好地理解它们的内部机制，并发现新的改进方法。
以前学深度学习，坦率说 CS 占优势，需要的数学知识不多，代码实现能力强就可以了。但现在的趋势明显不同了，对线性代数等熟悉理论知识的功力要求越来越高，自动化或者应用数学背景的同学优势更加明显。

2.3 怎么实现二者的对偶

例如，Toeplitz 矩阵是指每条对角线上的元素都相同的短阵。Cauchy 矩阵是指每个元素都由两个向量的元素之间的差的倒数来定义的矩阵。Vandermonde 矩阵是由一个向量的幂组成的矩阵。低秩矩阵是指其秩远小于其行或列数的矩阵。类似的特殊结构矩阵，通过压缩表示可以用更少参数和更快算法计算，减少存储需求，加快运算速度，在大规模数据处理和机器学习中尤为重要。SSM 本质上也是一种结构化矩阵。讲到这你明白了吧，这文章就是玩儿线性代数，在注意力机制和 SSM 之间建立统一的对偶关联关系。

那到底是怎么用所谓的结构化矩阵让二者勾连的呢?其实也很简单就是在 SSM 的计算中，特别是矩阵 A，引入了类似注意力机制的公式和方法。

具体来说:

1.简化A矩阵的结构，使其可以用标量乘以单位矩阵表示，从而减少计算复杂度

2.类似 Transformer 中多头注意力的概念，增加了头维度(P)以增强模型的表达能力。

3.使用类似注意力的对偶形式，去除了softmax，并引入了一个额外的掩码矩阵L，根据数据生成，控制信息在时间上的传递量。

圆圈表示元素相乘，也就是哈德马积。右边的式子有点难懂，给你写成矩阵形式好理解，假设a =[a1, a2, a3]这个 mask 其实就是个下三角矩阵:

还是看不懂是吧，行标是i，列标是j，i<j 的部分全是零，意味着只考虑时间上早于或同一时间点的元素之间的关系。换句话说，它是一种类似 GPT 模型中的单向注意力机制，只考虑过去的时间步，而不考虑未来的时间步。通过这种下三角矩阵，可以有效地控制信息在时间上的流动，确保信息只能从过去传递到现在，而不能反向传播。

很多人到这里可能会很困惑?为什么这就是对偶啊?明明就是在 A中应用了类似注意力的计算方式嘛!我们打两个比方加深你的理解。如同太极图中的阴阳互补相互转换一样，无论是注意力机制还是 SSM，它们的核心都是处理和更新信息状态，只是方式不同。SSM 像个男人强调逻辑和顺序，注意力机制像个女人本强调细节和关联，对偶就像是二者的结婚，你中有我我中有你，到底是谁干谁也说不清。站在SSM 视角，内嵌了注意力，站在注意力机制的视角，这是新型计算方式。它不是一种简单的内嵌，而是有着数学和功能上的深层联系，这就牛逼了。正如你能说生活不需要技巧，随随便便就能登峰造极吗?

到此，你已经 get了本文的核心思想，来看看它的组织结构。

这张图乍一看是一脸惜逼的，不过借用刚才打的比方让你秒懂。SSM 是个男的，Attention 是个女的，SSD 是二者的对偶就是性生活，这种结合不仅仅是表面的叠加，而是深层次的融合。那我问你 Mamba-2是啥?造人生娃啊!通过深层次结合，达到最佳的计算效果和性能。上边的 Structured Matrices 就是爱爱的结品，受孕的胚胎，叫结构化矩阵，它能带来更加高效的算法。

到目前为止，我们讲完了原文1和2部分的内容，接下来正如上图所示，分别详细讲述几条边。首先是 SSM 如何生成结构化短阵，也就是这个所谓的半可分矩阵。

三、SSM 矩阵的巧妙设计(MAN)

半可分矩阵对应原文第3部分，充斥大量线性代数定理推导，读起来基础不扎实那是相当的费劲。人话总结归纳，其实说穿了就是两层意思:一是 SSM 可以表示为 y=Mx 的形式，其中 M 是 ABC 的表达式:二是 M 具有专门设计的半可分结构，能简化运算。

3.1 SSM的表达式

原来的 RNN 也好，时序系统也好，可以卷积化，写成y=Mx的形式。这里的M 是什么就有讲
头了。

3.2 顺序半可分矩阵 SSS

对矩阵 M 专门设计，可以实现更高效的计算。看图一目了然

首先是序列化的，其次是下三角的，第三是低秩的。顺序半可分矩阵(sss，SequentiallySemiseparable Structure)的原因是:半指主要关注下三角部分，可分指的是每个蓝色小块的秩较小，不超过N，意味着可以用更少的独立成分表示，从而实现高效计算。 y=SSS(A, B,C)·x
而定理 3.5指出，人话状态空间模型 SSM，如果状态的维度为 N，等价于一个秩为 N 的SSS

绕来绕去，就是说任何 SSM 其实都可以转写成一个等价的局部下对角阵M 的形式。

SSM 是一个整体的框架，用于处理输入x并生成输出y，如果把它类比为一个男人，那么 M短阵在其中起到核心作用。提升了计算效率。
比如来个更特别的，让秩 N=1，就是 M=1SS

归纳起来，到目前为止，和 Mamba 初代的区别在于两个:

一是在 A 矩阵的计算中嵌入了注意力公式;

二是让 M 矩阵设计为顺序半可分的形式;

说到底，都是在设计更为机巧特殊的矩阵结构，也就是我们先前所说的阀门结构，从而能更好的控制记忆的流淌融合，也是一种新型注意力机制的体现。这里没有说清楚A和M之间的关系，其实是A设计成了半可分，也就是下对角阵的形式，然后M继承了过来，而BC 没变

3.3 张量收缩下的 SSM 计算

这部分写的堪称混乱，不过说穿了就一句话:SSS 的计算过程可以被看作是一系列张量收缩操作，借助顺序半可分矩阵的特殊结构能实现高效计算。理论上，所有 SSM 的计算都可以通过这种方式优化，从而在处理大规模数据时显著提高计算效率。具体来说，可以分解为三个步球:

我们知道，张虽收缩是矩阵乘法的扩展，允许处理更高维的张量，并进行复杂的维度变换和求和操作。使用诸如 NumPy 的 einsum 函数(爱因斯坦求和约定)，可以方便地实现这种操作。如下图所示

三个步骤第一步将输入矩阵X 与矩阵 B 进行结合，以产生一个中间结果 Z。矩阵A没有出现，它体现在第二步因状态更新中，L的定义依赖于 A。第三步是最终输出。

讲完了 SSM 并行化时矩阵 M的形式进行了哪些机巧设计，以及张量收缩视角下的 SSM 计算。再来看看注意力机制怎么也能统一到同样的框架下。

四、注意力机制的通用实现(WOMAN)

这部分原文写的比较啰嗦，让人有点晕头转向。梗直哥把其表达的意思用人话翻译帮你理解

4.1 张量收缩视角下注意力计算

简单说，就是换一种视角，把不同注意力机制的计算一般化，用更加通用的形式来描述，具体来说，就是站到张虽收缩的视角来看，纳入一个统一的框架
比如，常见的注意力计算形式如下:
Q=input (T,N)
K=input (S,N)
V =input(S,P)
G =QKT(T, S)
M=f(G)(T,S)
Y= GV(T,P)
这里的S 和 T 代表源序列和目标序列的长度，N 代表特征维度，P 代表头部维度，最常见的 softmax 这里用f来更一般化的表示。自注意力机制比较简单，就是源序列和目标序列相同S=T,特征维度和头部维度相同 N=P。4.1.1-4.1.3:主要是回顾和总结已有的注意力机制和方法，没有啥新内容。

4.1.4 回顾了矩阵 A 中嵌入注意力机制的掩码注意力
y=(L°(QKT))·V
所有的这些计算方式都可以写成张量收缩的形式，也就是矩阵乘法的扩展，允许处理更高维的张量，并进行复杂的维度变换和求和操作。使用诸如 NumPy 的 einsum 函数(爱因斯坦求和约定)，可以方便地实现这种操作。
Y = contract(TN, SN, SP, TS → TP)(Q, K, V, L)

其中还可以进一步拆解成多步收缩，可以更高效地实现注意力机制，提升计算效率。
G= contract(TN, SN → TS)(Q,K)
M = contract(Ts,TS → TS)(G, L)
Y= contract(TS, SP → TP)(M, V)
(T,S)(T,S)(T,P)
也就是先计算相似性矩阵 G=QK^T，应用掩码矩阵L后得到新的相似性矩阵

然后再计算最终的输出 Y=MV，后面对应的是相应的维度。归纳来说，用张量收缩来实现，使得注意力机制的计算过程更加清晰和高效。

4.2 线性注意力

线性注意力及其他许多高效注意力变种，通常通过改变矩阵关联的顺序来实现，例如(OKT)V=Q(KTV).
具体来说，它将标准注意力中的复杂计算简化为累加和操作，从而提高了计算效率。
Y=Q·cumsum(KTV)
同时可以证明它一样可以用张量收缩表达

4.3 结构化掩码注意力

结构化掩码注意力是结合了结构化矩阵和掩码注意力，更加高效的计算方式，用张量收缩来实现:
Z= contract(SP,SN → SPN)(V,K) (S,P,N)
H = contract(TS, SPN → TPN)(L,Z) (T,P,N)
Y = contract(TN, TPN → TP)(Q, H) (T,P)

第一步为扩展操作V和K运算，然后是线性部分计算(L,Z)，然后是收缩操作。
如下图所示不同的掩码矩阵(如因果掩码、衰减掩码、Toeplitz 矩阵等)L定义了不同的序列变换矩阵 M，从而实现不同形式的结构化注意力。

如同前面类比 SSM 为男人，SSS为精子，这里不同的注意力机制就像是女人，而structuredmasked attention，SMA 就像是卵子
对比公式 15 和公式8，陡然之间发现他们一样，说明无论是从状态空间模型(SSM)侧，还是从注意力机制侧来看，都可以统一到张量收缩的视角下进行操作。还是借用人类的比方类比，张虽收缩就如同生殖过程，或者说遗传生物学，对男人女人都是类似的，都遵循着同样的DNA 遗传信息传递。

五、状态空间的对偶性(SEX)

原文第 5部分用一个简单的例子进一步验证了状态空间的对偶性。首先，从 SSM 侧来看，假设Aj是个标量，那么SSM的矩阵M为:

而这正是二次掩码核注意力定义的原始定义。换句话说标量结构下的SSM，通过明确写出M的矩阵形式，然后执行二次矩阵-向虽乘法来计算输出，本质上是在执行与二次掩码核注意力相同的计算步骤。这意味着从计算角度来看，二者是等价的，可以相互转换。在特定情况下，SSM 的计算方式可以视为一种注意力机制，特别是当我们使用标星结构和半可分矩阵时。
反之，从注意力机制侧看，当掩码矩阵 LLL 具有特定的结构时(如因果掩码或1-半可分矩阵)，注意力机制的计算可以视为 SSM 的计算。

这种关系从图4看的更加清楚：

核心思想:SSM 和 SMA在很多情况下是等价的，可以通过相同的数学操作实现。这种等价性为理解和实现这些模型提供了统一的视角和方法。无论是在状态空间模型还是注意力机制的应用中，都可以利用这种统一视角来选择最合适的计算方法，从而提高模型的效率和效果。图中显示了一大类的状态空间双重模型(SSD)，这些模型捕捉了许多序列模型的特性。特别的，1-半可分 SMA 和标量恒等 SSM 在这一交集中。交集部分确实可以看作是不同模型(SSM 和SMA)结合后的统一体，就像结婚后的一家人，不再分你我。

六、算法示例(造人)

6.1 算法原理

既然 SSM 和注意力机制两种对偶等价，结合起来进行计算效率显然更高，如同男女搭配干活不累，你中有我，我中有你。整体上是SSM，但是通过块分解把大矩阵拆解成小的子矩阵每个小问题特别是低秩块，再用注意力机制计算，利用矩阵乘法上的高效性和并行计算能力使得计算过程更加高效。如下图所示，一个大的M矩阵，分解成9块，其中蓝色块用矩阵乘法。

整个计算过程如下图所示。半可分矩阵 MMM 被分解成多个子矩阵块，包括对角块(Diagonal Block)和低秩块(Low-Rank Block)。前者表示输入到输出的计算，后者被进步分成三类:从输入到状态(Input-State)，从状态到状态(State- State)从状态到输出(State – Output)

图的下半部分展示了通过这种块分解方法进行计算的流程。输入序列 X 被分解成多个块，每个块对应图中的一个黑色虚线框。输入块通过低秩块(绿色箭头)和对角块(色箭头)进行计算，得到中间的状态块 H。状态块之间通过低秩块(黄色箭头)进行计算，表示状态间的传递。最终，状态块通过对角块(蓝色箭头)计算得到输出块Y。

通过这种块分解方法，可以将一个大规模矩阵运算问题分解成多个小规模的块级别运算问题，每个块可以独立进行计算。这种方法利用了半可分短阵的低秩特性，减少了计算复杂度，同时提高了并行计算能力，使得计算过程更加硬件友好。

6.2代码实现

https://github.com/state-spaces/mamba

segsum(x): 是一个辅助函数，用于计算分段累加和。ssd(X，A，B,C，block len=64,initial states=None): 这是主函数，用于计算 SSD 模型A，B，C:分别表示状态短阵、扩展短阵和收缩矩阵先对输入张量 X、A、B 和 C 进行重排，将它们重排成块的形式。
1.对每个块内的对角块(Diagonal Block)进行计算，使用 torch.einsum 计算块内的矩阵来法。
2.计算每个块内的低秩块(Low-Rank Block)，用于生成下一个块的输入状态。
3.生成块间的状态转移，确保在块边界处的状态正确。
4.对块内的低秩块进行计算，将状态转换为输出。最后将块内和块间的输出汇总，得到最终输出Y和最终状态final state。该代码的主要目的是通过块分解的方法，将一个大规模的状态空间模型问题分解成多个小规模的块级别运算问题。这种方法利用了半可分矩阵的特性，能够提高计算效率和并行性，适合硬件加速。

七、Mamba2 网络架构(KIDS)

7.1 多种设计

Mamba-1基于SSM(状态空间模型)设计，线性投影之后生成SSM参数 A,B,C。Mamba-2的两种块设计:顺序 Mamba块和并行 Mamba块。SSM 层从 A,X,B,C直接映射到输出Y，前者在序列变换中并行生成参数 A,B.C，后者在块开始时并行生成，适合更大规模的并行处理。这种方法类似于标准注意力架构中的并行生成 Q.K,V。这种设计减少参数数量，适合更大模型的张量并行计算。每个 Mamba 块中增加额外归一化层，改善模型稳定性，尤其是大模型。总体来说，Mamba-2模型通过并行化和增加归一化层来优化原始 Mamba 模型的计算效率和稳定性。

7.2 并行化处理方法

主要分为两种类型:张量并行(TensorParallelism)和序列/上下文并行(Sequence/ContextParallelism)。如下图所示，左边输入和输出投影矩阵分割，并在单个设备上处理。每个SSM头(即 A、B、C、X)到Y 的映射都在单个设备上进行。最终归一化层选择 GroupNorm，以避免额外的通信。右图将序列维度上的计算分配到多个设备上，每个设备负责一部分序列的计算，然后将结果传递给下一个设备。

八、实验验证

8.1合成记忆任务

上图展示了不同模型在多查询关联记忆(MQAR)任务中的表现。三张子图对应不同的序列长度(256、512、1024)。横轴代表模型的维度(32、64、128、256)纵轴代表准确率(从0到 1)Mamba-2 系列模型在较大的模型维度下表现优异，特别是当维度达到 128 和 256 时，其准确率接近 1.0。Mamba-2 模型明显优于 Mamba-1 和普通注意力模型，尤其在更大的状态规模(N=256)下表现尤为显著。

8.2语言模型预训练与评估

(缩放定律)在 The Pile 上进行训练的模型，Mamba-2的性能匹配或超过了 Mamba 和强大的“Transformer++”方案。与我们的 Transformer基线相比，Mamba-2 在性能(困惑度)、理论 FLOPs 和实际壁钟时间上都是帕累托占优的。
零样本评估:在每种模型规模中，Mamba-2 模型的表现普遍优于其他模型。特别是Mamba-2 在较大的模型规模下(2.78 参数)表现尤为突出，证明其在不同任务上的泛化能力更强。

不同数量的注意力层下的困惑度。大约10%的注意力层比例表现最佳。

适量的注意力层可以显著提高模型性能，超过了完全不使用注意力层或完全使用注意力层的情况。

(零样本评估)比较了 SSD、MLP 和注意力层的不同组合方式，在2.78规模上进行评估困惑度(ppl)和准确率(acc)

Mamba-2与注意力层的结合(后4个)在多个任务上的表现优于其他模型组合，显示出更强的泛化能力和任务适应性。

8.3 速度性能

左图不同方法在处理序列长度(从512到512k)时所需的时间(以毫秒为单位)。右图展示了在处理固定序列长度(4K)时，不同状态维度(从16到256)下所需的时间(以毫秒为单位)。SSD 方法在处理大状态扩展时表现优异，比Mamba的融合扫描快2到8倍(比如64k时紫色线1毫秒，Mamba为 10毫秒)，并且在序列长度超过2k时也比FlashAttention-2更快。

总体结论:
Mamba-2 模块在结合并行处理和额外归一化后，显著提升了模型性能，表现优于传统的Mamba-1 模块。

多头结构中，复杂的头组合和状态扩展通常可以提高性能，特别是当型规模增大时。

对于核近似，Swish和LayerNorm 方法通常效果较好，且适用于不同规模的模型·增加复杂度和头的数虽一般有助于提高模型性能，但需要权衡参数数呈的增加。

九、小结

1.统一的理论框架:将 SSM 和注意力机制在张量收缩视角下实现统一，并建立对偶性关联无疑是本文最大的贡献。这意味着注意力机制与 RNN两种网络在底层逻辑上被关联起来了打破了男人和女人的界限，实现了灵活的性别转换。
新型注意力机制:借助 SSM 时空建模，实现创新。从男人的视角研究女人，而线性代数要在注意力机制创新中起到越来越重要的关键性作用。
3.混合模型成为新的趋势。整体 SSM，局部注意力机制，实现灵活组合，提升整体性能。
如果今天的分享对你有所帮助，欢迎三连支持。我是直哥。学好AI不迷路。只说人话，专治好奇。

MambaOut-视觉领域的探索

https://arxiv.org/pdf/2405.07992
GitHub – yuweihao/MambaOut: MambaOut: Do We Really Need Mamba for Vision?

作者的主要观点可以概括如下：

  1. Mamba架构的适用性：作者认为Mamba架构，具有类似于RNN的token混合器状态空间模型(SSM)，最适合处理具有长序列和自回归特性的任务。
  2. Mamba在视觉任务中的表现：尽管Mamba被引入以解决注意力机制的二次复杂性问题，并应用于视觉任务，但在图像分类等任务中，其性能通常不如卷积神经网络和基于注意力的模型。
  3. Mamba在图像分类任务中的不必要性：作者提出，由于图像分类任务既不符合长序列也不符合自回归特性，因此引入Mamba是不必要的。
  4. Mamba在检测和分割任务中的潜力：尽管检测和分割任务不是自回归的，但它们符合长序列特性，因此作者认为探索Mamba在这些任务中的潜力是有价值的。
  5. MambaOut模型的构建与验证：为了验证上述假设，作者构建了一系列名为MambaOut的模型，这些模型在不使用Mamba核心token混合器SSM的情况下堆叠Mamba块。实验结果强烈支持作者的假设。
  6. MambaOut模型的性能：MambaOut模型在ImageNet图像分类任务上超越了所有视觉Mamba模型，表明Mamba对于图像分类任务确实不是必需的。然而，在检测和分割任务上，MambaOut未能达到最先进的视觉Mamba模型的性能，显示了Mamba在长序列视觉任务中的潜力。
  7. 未来研究方向：由于计算资源的限制，本文仅验证了Mamba在视觉任务上的概念。作者提出，将来可能会进一步探索Mamba和RNN概念，以及RNN和Transformers在大型语言模型(LLMs)和大型多模态模型(LMMs)中的集成。

结论：本文从概念上讨论了Mamba机制，并得出结论认为它非常适合具有长序列和自回归特性的任务。我们根据这些标准分析了常见的视觉任务，并认为在ImageNet图像分类中引入Mamba是不必要的，因为它不符合这两个特性。然而，对于与长序列特性相符合的视觉检测和分割任务，Mamba的潜力值得进一步探索。为了实证支持我们的观点，我们开发了MambaOut模型，这些模型采用了没有核心标记混合器SSM的Mamba块。MambaOut在ImageNet上超越了所有视觉Mamba模型，然而与最先进的视觉Mamba模型相比，它表现出明显的性能差距，从而验证了我们的主张。由于计算资源的限制，本文仅验证了视觉任务中的Mamba概念。将来，我们可能会进一步探索Mamba和RNN概念，以及将RNN和Transformers集成到大型语言模型（LLMs）和大型多模态模型（LMMs）中。

一、Mamba 到底 OUT 了没?


文章首页展示方式非常赞的:
首先标题开宗明义，强调讨论点其实是 Mamba对 Vision 的应用?NLP 排除了，因为那就是纯纯的序列问题，Mamba 还是非常值得继续深入研究，还有很大水文的空间哈。其次，非常显著的给出了 github 代码连接，一句对科比的致敬也让技术型文章多了点人文色彩。它来自于科比 2016年4月 14日最后一场比赛后，为了感谢全场球迷有感而发脱口说的告别词。Mamba 原意是毒蛇，象征着科比在球场上的攻击性和坚韧不拔。后来几乎成了互联网上的一个梗。从 Transformer开始，AI界写论文都兴起玩梗了，既是为了宣传，也是为了突出与众不同，在万千文章中让人记住，用心良苦着实让人感动。但是不是Mamba 真的 OUT，咱们讲完就知道了。
第三，图1一目了然的给出了与 Mamba 模块的主要区别，就是干脆做减法去掉了 SSM 结构，右图体现了性能上的差别，注意这仅在ImageNet的分类任务上。没有 NLP 数据集，没有其他视觉任务，仅仅图像分类!

整个摘要的重点，也是结论性的东西，作者其实用斜体给你标出来了
1.long-sequence and autoregressive 这方面 Mamba 依然擅长，承认优点。
2.图像分类不是 autoregressive 自回归任务，也不是long-sequence，因此用不着 Mamba所以 MambaOut。比如在ImageNet 分类任务上
3还有第三个结论也很有意思，即使是视觉领域，目标检测和实例分割任务上 Mamba还OUT不了，依然有潜力。明白了吗?

二、如今该爱谁:Transformer、Mamba和MambaOUT

虽然标题大胆而耸人听闻，但引言部分还是很旗帜鲜明的给足了Mamba Credit。简单的说就Transformer 有硬伤，面对长序列时自注意力机制计算的复杂度会出现随窗口长度二次方增加的问题。

Mamba 模型的出现引起了 A1 社区的广泛兴趣，因为具有可并行训练和高效长序列推理的能力。除了 Mamba 外，很类似的还有 RWKV 模型大家也可以关注一下。最近这半年出来了一批模型。简单的说都是“RNN+注意力机制”相结合的产物，区别在于适用任务和架构设计上的差异，有的更专注于 NLP 任务，有的尝试用在视觉上。
整篇文章的研究重点其实就是前言中几行斜体字:

Do we really need Mamba for Vision? 视觉问题真得需要Mamba 模型吗Hypothesis 1:SSM 对于图像分类没有必要，因为该任务既不具有长序列特征也不具有自回归特征。
Hypothesis 2:sSM 可能对对象检测和实例分割有潜在好处，因为这些任务具有长序列特征，但不具有自回归特征。
重要的是三个问题:怎么分析的，模型怎么实现的，以及怎么用实验证明的。

第二部分相关工作简要小结了 Transformer 典型模型 BERT和 GPT系列，以及 ViT 强调了Transformer 中的注意力模块会随序列长度增加而扩展，带来显著的计算挑战。许多研究探索了各种策略来缓解这一问题，如低秩方法、内核化、token 混合范围限制和历史记忆压缩。这都是水文章的号方向。最近，RNN-like方法(特别是 RWKV和Mamba)因其在大规模语言模型中的出色表现而受到关注，这点到目前为止还是毋庸置疑的。

对于Transformer 的改进或者说平替，现在学界的一种典型思路就是回归传统模型，从故纸堆里找灵感。这篇文章的作者显然也认同这种观点，而且直接露骨的把它们称作 RNN-like 方法，其实最新的还有 xLSTM。但这种视角还是浅了，仅仅是从模型结构视角来看，做一种时序回归而已。第二段小结了 Mamba 最新的各种变体，包括 Vision Mamba 整合了 SSM 来开发类似ViT 的等向性视觉模型;VMamba 则利用 Mamba 构建类似 AlexNet和 ResNet 的分层视觉模型;LocalMamba 通过引入局部归纳偏置来增强视觉 Mamba 模型;

PlainMamba 旨在进一步提升等向性 Mamba 模型的性能，还有 EfficientVMamba等等。你看事实上大家这半年来以及像吸血鬼一样迅速扑上去搞 Mamba 了，把它作为Transformer 的平替。而这篇文章试图把自己打扮成“半血猎人“来拯救世界。你说它是Mamba吧，它说自己不是，你说它就是CNN吧，它非要把自己和Mamba比，还起了这么个名。有意思，也很拧巴。

三、核心原理

论文第三部分正式开始分析 Mamba优缺点，适合什么任务。直接看公式容易迷迷瞪瞪，不明觉厉:

1.Mamba 的本质回顾

文章中提到 Mamba 是个 token 混合器 mixer，这和我上期给大家讲的如出一辙，咱们当时是说“掺和”，看下图，B掺和了三次，C掺和了两次。

其实用流体力学视角 看 Mamba 更透彻，本质上就是当成一个记忆流淌的管道系统而 selective SSM 就是个带着总开关 delta + 两个阀门 BC + 主管道A的系统。因为A 与时间无关，因此隐藏状态 h可以视为固定大小的记忆，存储所有历史信息。固定大小意味着记忆不可避免地丢失，但保证了与当前输入集成的计算复杂性保持不变而通过总开关 delta + 两个阀门 BC 门控机制实现了一种选择性注意力机制。这种设计更加的高效，从更抽象的数学角度理解，是用李指数隐射拟合数据，替换了原有的牛顿力学运动方程。

2.自注意力机制的类别

相比之下，Transformer 中的自注意力机制更加复杂，如下图有两种:一种叫因果模式，其实就是只能看过去，不能看未来，只有记忆没有未卜先知;另一种是全可见模式，左右都知道。Transformer 本质上两种都可以，因果模式的比如 GPT，全可见的比如 BERT，前者适合自回归用来生成和预测，以史为鉴，后者适合理解，左顾右看瞻前顾后。

按照这种分类，Mamba的选择性机制算那种呢?显然不是全可见模式，看公式就知道是因果模式，但和 Transformer 的有什么不同呢?

下图展示了 Transformer 因果注意力与 Mamba 中因果注意力的区别，前者是组合(叠加)之前所有的记忆，记忆无损但复杂度增加，越累越长，计算复杂度同样为0(L^2):后者融合之前的记忆到新的隐藏状态，记忆有损但复杂度恒定

基于 Mamba 的这种特性，显然它适用于以下特征的任务

·特征 1:任务涉及处理长序列，因为复杂度低，更高效

·特征 2:任务需要因果 token 混合模式。

但这样以来还怎么 OUT 呀!于是他们反向思考:首先，什么时候不需要长序列呢?视觉作为空间数据，那种最不需要呢?你说是鸡蛋里挑骨头也好，逆向思维也好。既然逻辑上它擅长长序列，那就说明短序列一般，那咱们就摁着短序列搞不就成了。
其次，什么时候不需要因果注意力呢?什么问题需要全局可见注意力呢?着这个方向搞，不也能证明 Mamba不行吗?这种创新的思维方式确实聪明，典型的田忌赛马思路，你打你的，我打我的，拉到我擅长的地方打，你还打得过吗?

3.视觉任务的特点分析

在视觉识别任务中，感觉上图像分类就不属于长序列任务，因为主要关注整体特征空间特征就够了，目标也只是粗犷的类别标号，因此不涉及什么序列信息，而且需要全局信息。但是目标检测和语义分割则不一定，比如要考虑边缘的连贯性，因此可能有序列问题。但是，这种假设或者感觉怎么证明呢?首先，文章针对图像分类任务，做了全可见模式和因果模式性能的分析实验。如图所示:

左图是全可见模式，横纵轴互相都能看，BERT和ViT 的自注意力机制都是这种。中间图是因果模式，GPT的自注意力机制和 Mamba的 SSM 是这种，比如y3 只能看到x1-x3，看不见 x4-x5。右图显示以 ViT 为例，将自注意力机制从全可见模式切换到因果模式后，性能有所下降，说明对于图像分类问题，用因果模式没必要。
既然注意力机制的类型明确了，在图像分类这一亩三分地上干掉 Mamba 的可能性暴增。但老问题又回来了，怎么确定它是不是长序列任务呢?整篇文章最有点数学理论含量，也是最有看点的就是32关于图像处理任务是否属于长序列问题的分析。

分析的切入点选择了 Transformer 的浮点运算次数公式，也就是一个Transformer 块的
计算量:
FLOPs = 24D2L + 4DL2
其中 L是 token 长度(即输入序列的长度)，D 是通道维度(即特征维度)，加号前后分别代表线性复杂度和二次复杂度。为什么要看这个，因为Transformer的硬伤不就是长序列运算量随着窗口长度暴涨吗?针对具体任务，如果我们能知道它们的计算量是不是对L敏感，那不就知道它是不是需要长序列建模了吗?
这个公式可能没几个人熟悉，也不知道怎么来的呢?我们来拆解下加深理解，因为它对理解这篇文章的核心思想非常关键。
在 Transformer 模型中，自注意力机制是计算量最大的部分。为了估算 Transformer 块的计算量(即浮点运算次数，FLOPS)，需要考虑自注意力机制和前馈神经网络(FFN)的计算。

在 ViT 中图像首先被分割成多个固定大小的 patches，每个的大小通常为 16×16 像素
Token 数:假设输入图像大小为 224 x 224，则生成的 token 数为(器)=14×14 =196.
每个这样的 patch 通道被展平成一个长向量，RGB 三通道就是 16163=768，然后通过一个线性投影层(粉色的)映射到高维空间，也就是通道维度D，它是个指定的超参数。

对于 ViT-S，常见的通道维度 D为 384。对图像分类任务L=196，远小于6D=6384=2304，因此不涉及长序列建模。

目标检测和实例分割问题:在COCO 数据集上推理图像大小为800×1280，生成的token 数约为 4000，大于 6D=6384=2304，因此涉及长序列建模。

这个结论和我们先前的直觉分析是一致的:图像分类模型不需要处理非常长的序列来捕捉远距离的依赖关系，序列长度L相对较短，模型的注意力窗口不需要很大。

在实例分割和目标检测任务中，虽然图像同样被分割成 patches，并作为序列输入到模型中，但不仅需要识别图像中的对象，还需要确定对象的位置和边界。由于输入图像通常更大，生成的 tokens 数量(序列长度L)也更多。需要捕捉远距离的依赖关系，例如物体的边缘和不同部分之间的关系。模型需要处理较长的序列，自注意力机制的窗口需要更大，以捕捉这些复杂的依赖关系。

3.3 和 3.4 进一步讨论了视觉识别任务是否需要因果注意力以及 SSM 机制的必要性。其实结论已经很明显了，既然它和长序列没有关系，那就是理解任务，当然需要全可见型注意力机制，不需要时序记忆，而需要空间全局可见的高屋建瓴。

因此本文主要 IDEA 在于验证了两个假设假设 1:在 ImageNet 上的图像分类任务中引入 SSM 没有必要，因为这个任务不需要长序列建模或自回归特性。
假设 2:尽管目标检测和分割任务不需要自回归特性，但由于这些任务涉及长序列建模，因此值得探索 SSM 在这些任务中的应用潜力。
明白了分析的过程，咱们看看模型架构。

  1. 模型架构
    下图展示了 MambaOut 模型的总体框架以及 Gated CNN 块的具体结构。整体框架类似于 ResNet，通过降采样逐步减少特征图的尺寸，同时增加特征的抽象层次。

输入图像大小为 HxWx3，表示图像的高度、宽度和 RGB 三个颜色通道。采用了分层架构，共有四个阶段，每个阶段进行特征提取和降采样。每个阶段包含若干个 GatedCNN 块，用于特征提取。每个阶段之间有降采样操作，将特征图的大小逐渐减小，从而增加特征的抽象层次。通道维度为D1,D2,D3,D4。

右侧是基本组件，Gated CNN块包含两个线性层、中间夹一个卷积层和归一化层，通过残差连接实现输入和输出的融合。和 Mamba块的区别在于前者没有 SSM(状态空间模型)。

MambaOut 的架构与 Swin Transformer 和 DenseNet 在分层结构和降采样方面有相似之处，但在特征提取和信息混合机制上有所不同。MambaOut使用 GatedCNN块而 Swin Transformer 使用窗口注意力机制的 Transformer块，DenseNet 则使用密集连接的卷积层。这些差异决定了它们在处理不同任务时的特性和优势。

这么看，MambaOut 实际上就是在 Gated CNN 基础上的优化版本，通过结构简化和实验验证。更准确的说主要就是和 Mamba 做针对性的对比而已，在视觉识别任务中进行了优化和验证。
结论:如果说 Mamba是回归RNN+新型注意力机制，那 Mamba0ut 其实是回归CNN+新型注意力机制。
既然如此，读到这里时其实产生了很大的困惑，这不就是纯纯的CNN吗?不就是 ResNet 吗?它怎么还好意思叫 MambaOUT呢?这个 Gated CNN 神奇到哪里了呢?确实，网络结构上的改进比较小，但人家起作用了啊。魔鬼在细节:

对比左边的 ResNet，两大微小的区别:

一是使用线性层进行升维操作，使得 Gated CNN 块能够在特征空间中进行更灵活的变换，这与传统的 ResNet 中主要使用卷积操作进行特征提取有所不同。

二是跳线增加了非线性激活函数可以被看作一种简单的门控机制，根据输入值调整输出信息量。增加了模型的非线性能力，使得模型能够学习更复杂的特征。

5.代码实现

第 4.1 节更侧重于解释模型设计和架构上的区别，为后续章节的实验结果分析提供背景和依据。
来看代码实现，Gated CNN块通过线性变换、卷积操作和残差连接，实现了对输入特征的扩展、局部特征提取和信息保留。结合了深度卷积网络和残差网络的优点，同时通过门控机制(如激活函数)来控制信息流。

外部结构是个四级堆叠，具体看 Github。重点看这段代码，整体比较简单，因为去掉了 SSM。需要注意的事只对部分通道进行深度卷积，看看是怎么实现的。这里的conv_channels 定义了要进行深度卷积的通道数，conv_ratio 是一个控制参与卷积的通道比例的参数。这意味着卷积操作只在部分通道上进行，而不是所有通道。

四、 实验效果


1、图像分类比较
4.2 汇报了在 ImageNet 上图像分类的比较。太细节实现的我们跳过，可以看原文。着重结果分析，比较了MambaOut，VMamba及其他基于卷积和注意力机制的模型在ImageNet 上的表现如表1所示。

这个表看着很吓人，比较了几十种模型及其变体的性能，但其实结论并不复杂:

1.SSM 有没有对图像分类意义不大，因为时序关系不重要。
2.不如最新的 CAFormer-M36 使用简单的可分离卷积和原始注意力机制，比所有同等大小的视觉 Mamba 模型高出超过1%的准确率85.2%。人家才是纯种的CNNtransformer 啊。

2.目标检测和实例分割

使用标准的 COCO 数据集，Mamba0ut 作为 Mask R-CNN 的主千网络使用，结果尽管 MambaOut 在 COCO 上的目标检测和实例分割任务中可以超越一些视觉 Mamba模型，但它仍然落后于最先进的视觉 Mamba模型，例如 VMamba 和LocalVMamba。这种性能差距强调了在长序列视觉任务中整合 Mamba 的好处。当然，与最先进的卷积-注意力混合模型 TransNeXt相比51.7%%，视觉 Mamba 仍表现出显著的性能差距49.2%。仍然需要努力!这个合理也不合理，两点:

1.Transformer优化了多少年了，Mamba 才多久

2.即使是实例分割问题，所谓的长序列建模，但序列长度并没有 NLP那么长，因此效果有限正常。

3.语义分割的比较
结论与实例分割类似，SSM 模块在这些任务中的重要性，同时也验证了Mamba0ut在某些情况下的有效性。视觉 Mamba 需要进一步展示其在长序列建模任务中的强大性能，以在语义分割任务中实现更强的性能。

五、小结与探讨:What canlsay!

本文主要的贡献在于:
1.定量分析论证了图像分类任务不是长序列建模问题，而目标检测和实例分割是。前者不需要 RNN 这种机制，因此MambaOut，后者 OUT不了。
2.借鉴 Mamba的 GatedCNN 结构微调了 ResNet，实现了一种新型全局可见注意力机制下的改进版模型。