从专家系统到基础模型：一条长推讲清 PEFT 为何成为必选项
anshulkundaje · x · 2026-11-02
Ofirlin 发布了一条关于参数高效微调（PEFT）的科普长线程，指出机器学习正走向「基础模型就是一切」，但连微调都开始需要不合常理的 GPU 显存。
- 配图梳理了 ML 四个时代：1950–1980 专家系统（规则驱动）、1980–2010 机器学习（特征工程 + LR/SVM/k-NN）、2012+ 深度学习（数据/GPU/优化器，CNN/RNN/Transformer）、2021+ 基础模型（规模、自监督、attention）。
- 引用的两张关键图表：模型规模约每 6 个月翻倍；模型参数增长速度远超 GPU 显存增长（以 Switch Transformer、GPT-4 级模型与历代 GPU 显存对比）。
- 线程主线是解释 PEFT 如何在不全量微调的前提下适配大模型，被 Stanford 教授 Anshul Kundaje 转发。
「研究」频道最新
- Hinton 忆 Inman：少年时代的记忆分布设想影响其 60 年研究 — DoctorJosh · 2026-11-03
- WhatIf：万余个 LLM 智能体搭建可操控的「政策飞行模拟器」 — scyrusk · 2026-11-03
- 斯坦福启动数字大脑项目，目标构建可用的人类大脑模型 — dyamins · 2026-11-03
- 从五词标题论文说起：ChatGPT 的 T 如何改变机器阅读 — caolonghua · 2026-11-03
- Specula 收集破千：发现 1059 个 bug，610 个获开发者确认 — tianyin_xu · 2026-11-03
- 自爬数据微调翻车复盘:样板污染与去重顺序才是隐形杀手 — Symeoon · 2026-11-03