1. vllm 的核心优势——PagedAttention PagedAttention是vLLM最核心的技术创新，它解决了大型语言模型推理过程中的内存管理难题。 1.1 传统 attention 遇到的挑战 在标准Transformer推理中，存在两个关键阶段： 预填充阶段(Prefill)：处理

LlamaFactory 推理参数介绍

1. 模型训练&存储的基本概念 1.1 M-P神经元模型 在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。 a_1,a_2 ～