← 返回博客列表

# LLM

FOUND 9 POST(S)

Attention Mask——看不见是为了更好地看见

Attention Mask——看不见是为了更好地看见

在LLM训练中，有时候看到的太多反而不是好事，因此通过Mask掩码机制去遮住模型的眼睛

#笔记 #LLM
RAG入门：基本流程概述

RAG入门：基本流程概述

初入RAG，梳理从离线索引到在线检索的最小可行RAG架构

#笔记 #LLM
RAG引用一致性保障：局部映射模式的设计与实践

RAG引用一致性保障：局部映射模式的设计与实践

从RAG构建过程中长Chunk ID导致的LLM幻觉与注意力偏移问题出发，探讨局部映射模式的应用以及保持服务端可确认性的设计思想

#笔记 #LLM
FFN、残差连接与LayerNorm——如何构成Transformer Block

FFN、残差连接与LayerNorm——如何构成Transformer Block

意识到Attention机制的局限性，引入Transformer Block及相关构成，充作Transformer架构的基石

#笔记 #LLM
Multi-Head Attention——从多角度思考

Multi-Head Attention——从多角度思考

脱离单套注意力分布的局限性，让模型在多个独立子空间中并行注意不同角度的语义分析

#笔记 #LLM
位置编码——让大模型分清东西南北

位置编码——让大模型分清东西南北

如何让LLM区分“我爱你”和“你爱我”，从Sinusoidal到RoPE

#笔记 #LLM
Query, Key, Value——Token职责的分化

Query, Key, Value——Token职责的分化

解析单一Token向量在多重职责下的局限性，梳理注意力分数计算的流程

#笔记 #LLM
Self-Attention——让我们抓住要点

Self-Attention——让我们抓住要点

从RNN时代开始，浅淡Attention到Self-Attention的演进

#笔记 #LLM
Tokenizer and Embedding——从人类到LLM

Tokenizer and Embedding——从人类到LLM

迈出第一步，如何把人类交流媒介转化为LLM看得懂的语言

#笔记 #LLM