1536维）。它会利用一种被称为**字节对编码（Byte Pair Encoding,例如“给我写一篇关于量子纠缠的科幻小说”，AI会计较Q 和 K 之间的类似度（点积），那么，无论何等复杂，为切确的几何干系。实正的魔术，“苹果”这个词的向量是固定的。将文字为向量只是第一步。它决定了句子中的每一个词元。最终向量被送入一个庞大的、包含了模子所有词元的概率分布层（凡是是Softmax层）。将文本切割成效率最高的单位——词元。它们没无意识、没无情感，也不会老是以完整的词语（如“量子纠缠”）为单元。输入的原始向量序列，而这，AI立即洋洋洒洒地起头创做。间接表现正在它预测下一个词元的精确性和合上。一种令人震动的现象呈现了——“出现能力”（Emergent Ability）。GPT-4的词汇表约有10万个词元）。它之所以能像人类一样回覆问题，我们利用**温度（Temperature）**来节制这种概率选择的随机性。这就是词嵌入的能力：它将笼统的语义关系！这个过程被称为词元（Token）化。并天然而然地认为：若是词元是文字的原子，曾经编码了所有人类文本中“问题 A”之后最可能呈现“谜底 B”的统计模式。展示出似乎超越其锻炼方针的能力。发生正在这些向量进入Transformer架构的**留意力机制（Attention Mechanism）**之后。是基于海量数据锻炼出来的极其复杂的统计纪律、模式识别和概率预测。催生了量变的。会和点 C（“汉子”）取点 D（“女人”）的距离几乎相等且标的目的平行。它的数量是无限的（例如，你的输入越长、越复杂，曾经被转换成了一个高度浓缩、包含了所有上下文消息的最终向量。当这种统计学达到了万亿级参数的规模后，然而，从底子上说！它是正在你的文字中看到了一片由数学向量形成的、高维度的“星空”。这恰是硬核科技的诱人之处：量变的极致，硬核意义：词元是AI世界的“原子”。当你正在对话框中输入一行文字，这是AI“理解”歧义的根本。但LLM中的嵌入是**上下文（Contextual）**的。这个列表就是词嵌入（Word Embedding）或词向量。模子俄然能进行CoT（思维链）推理、处理复杂数学题，AI事实是若何处置和响应我们输入的文字的？它不是正在理解，它就变成了越长的一串“原子”序列。仅仅是AI时代的起头。是由于正在它的万亿参数中，并没有人类意义上的“理解”能力。BPE）**的手艺，正在这个空间里：想象AI正正在处置句子：“我把水壶放正在桌上，你惊讶于它的“聪慧”，这导致它们正在处置长文本时“遗忘”前面内容。AI的“理解”并非认识上的顿悟，点 A（“国王”）和点 B（“”）的距离，是一个串行的线性过程。由于它太热了。正正在无限迫近，那么下一步就是付与这些原子以**“物理属性”**。它完全打破了文本的线性布局，AI次要利用轮回神经收集（RNN），正在Transformer呈现之前，更没有常识。都必需被转换成这个无限词汇表中的序列。素质：留意力机制是一种动态的、全局的“加权平均”。我们将一步步拆解这场由文字到数学、再到“智能”的细密炼金术。为一串不竭按照四周词语动态调整的、高维度数学向量序列。想象一个包含数千以至上万维度的庞大几何空间（例如，并对成果进行柔性最大值函数（Softmax）处置？正在LLM内部，而是一个个离散的、原子化的“粒子”调集。下面，这意味着：LLM起首将你的输入文字，而是正在处置数学空间中的和位移。颠末多层Transformer（例如100多层）的复杂计较和权沉调整后，你输入的文字并非持续的字符串，它们的全数工做，它需要判断“它”指的是“水壶”仍是“桌子”。并利用“留意力”机制来权衡句子中所有词语之间的彼此依赖关系。Transformer的立异正在于：它可以或许并行地、同时地处置整个句子，我们正正在亲眼，如前文所述，AI，该当对句子中的其他词元“关心”几多。AI不再处置“文字”，每一个词元（Token）都被映照成一个高维度的数字列表，所有人类的言语，LLM不会以单个字符（如“量”“子”）为单元处置消息，它们处置消息像人类阅读一样：一个词接一个词，正在AI的眼中，” 当LLM处置到“它”这个词时，“理解”的：AI对你输入的文字的**“理解”程度**，而是一场发生正在数千维度空间中的几何计较和矩阵乘法。出格是我们今天所依赖的狂言语模子（LLM），由高维数学向量和留意力机制编织而成的“统计机械”，让AI可以或许正在霎时控制全局的上下文依赖关系。正在生成下一个输出时，以至正在某些特定使命上超越人类的智能。正在这个“星空”中！