用 abs() 当激活函数,单隐层 MLP 竟也能正常训练

burny_tech · x · 2026-09-27

一位开发者分享了一个反直觉实验：在普通 MLP（仅一个隐藏层、10 个神经元）里用 abs() 替代 ReLU 作为激活函数，训练照常收敛，还附带视频演示。

作者称 abs() 比 ReLU 计算更快，且表达能力更强，调侃这玩意儿“在 ESP32 上都能实时训练”。业内有人对此表示惊叹，属于低成本的非常规激活函数探索。

原文链接 →

「Fun」频道最新

• BrushArena 直播 RL 训练全程,绘画模型实时进化可围观 — xeophon · 2026-09-27
• X 平台 AI 机器人已逼真到聪明人会当真与其互动 — iScienceLuvr · 2026-09-27
• Opus 一镜生成利登弗罗斯特效应手绘白板讲解视频 — Scobleizer · 2026-09-27
• 网友用 FlovaAI 让伏地魔施禁咒修食堂午饭 — HeyNayeem · 2026-09-27
• 开源复刻 GTA4 加载画面,做 AI 行业版 Grand Theft Alignment 梗 — jwt0625 · 2026-09-27
• AI 圈怀旧吐槽：生成式 AI 本该造梦，如今却只产出小卖部糊菜单 — andrey_kurenkov · 2026-09-27

更多「Fun」频道 AI 资讯 →