RHEA：能在 RTX 5070 笔记本上训练的 1B 事件驱动架构
zemondza · reddit · 2026-08-24
作者作为独立开发者，分享了一种名为 RHEA 的新型神经网络架构实验。
核心特点：
- 事件驱动：基于事件驱动响应，而非传统的 Transformer 堆栈。
- 非标准结构：不依赖标准的 Attention/MLP 模块，尝试不同的内部处理方法。
- 消费级硬件友好：目前的优化使得可以在 RTX 5070 Laptop GPU (8GB VRAM) 上训练约 10 亿参数 的模型。
实验目标：
- 探索在没有大算力集群的情况下，此类架构能走多远。
- 研究训练行为、效率和扩展特性。
目前处于研究阶段，旨在观察模型变大时事件驱动方法的表现。
所属事件:新架构 RHEA：8GB 显存可训练 10 亿参数模型(2 条相关)→
「Infra」频道最新
- Apple 与 Meta 七年来首次公开合作：Mac Studio 串联跑 Muse Spark 模型 — pdamodaran · 2026-10-16
- NVIDIA 开发者生态达 1100 万，四 年多增长近 3.7 倍 — Beth_Kindig · 2026-10-16
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- Meta 发布开源模型 Muse Spark Open,联手 Apple 可跑在 M5 Ultra Mac Studio — The Verge AI · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16