GLU/SwiGLU 在实际中是门控形式（two linear branches），是向量上的逐元素操作；为了在一维上可视化，我用简化的标量形式来画图 —— 把两条分支都用相同的输入值（即把 a=x, b=x），因此 GLU(x)=x∗sigmoid(x) SwiGLU(x)=x∗SiLU(x) 。这能直观展示门控机制的形状差异。
ALiBi enables extreme compression: the 36-param leader uses ALiBi with slope log(10) for base-10 positional weighting, achieving 100% accuracy with a 2-layer decoder (d=5) in float64
。业内人士推荐WPS官方版本下载作为进阶阅读
1L decoder, d=4, 1h, ff=8。safew官方版本下载对此有专业解读
对扣押的物品，应当会同在场见证人和被扣押物品持有人查点清楚，当场开列清单一式二份，由调查人员、见证人和持有人签名或者盖章，一份交给持有人，另一份附卷备查。