François Fleuret 发明 Transformer 注意力运算新记法
francoisfleuret · x · 2026-10-31
François Fleuret（日内瓦大学教授）发明了一套紧凑记法，用一行符号表示注意力机制加前馈层的完整张量运算：
((Wq | Wk) < QK | Wv) < AV < Wo < (W1 | W2) < W3
用 | 表示权重并列拼接、< 表示与后续矩阵/算子（QK 打分、AV 加权）的结合，把整个 transformer block 压缩成一条管道式表达式，引发围观讨论。
「Fun」频道最新
- 半夜用 bot 抢网球场成新内卷：别人还在睡觉场已被订光 — chrisfleck · 2026-11-01
- 用 AI 做 PCB 设计反被拖慢：修 AI 的错比画原理图还费时 — cneuralnetwork · 2026-11-01
- 用 Claude Code 网络遥控示波器：自动配置、采集并分析波形 — cneuralnetwork · 2026-11-01
- 脑洞：把 WebAI 徽章改造成随身国际象棋谜题机 — jason_mayes · 2026-11-01
- 洛克希德·马丁发「你看不见什么在来临」,网友让 ChatGPT 解读引出诡异回答 — VoidStateKate · 2026-11-01
- Tibot 也太毒舌了：逗机器人反被怼 — petergyang · 2026-11-01