动态注意力与个性化注意力

0摘要:五个关键结论

1. "注意力固定"需要先拆解。Transformer 的注意力权重本来就随输入动态计算;真正固定的是三样东西——计算模式(所有 token 花同样算力)、参数(对所有人用同一套"注意力习惯")、可塑性(推理时冻结,不随交互成长)。这三层对应三条完全不同的技术路线。
2. "动态分配注意力"已是 2024–2026 年最活跃的架构方向之一,不是设想而是现实。MoE 动态选参数、MoD 动态选层、NSA / MoBA / DSA 动态选 token、Titans / TTT 在测试时边用边学。DeepSeek V3.2 的稀疏注意力已让 API 价格减半,MoBA 已在 Kimi 生产环境运行。^[1–5]
3. 专人专属注意力 ≠ 一人一个微调模型。正确的单位不是"模型"而是"增量":LoRA 补丁只占约 0.1%–1% 参数,基座共享、补丁热插拔;把低秩增量挂在注意力投影矩阵(W_Q/W_K/W_V)上,就是字面意义上的"每个人有不同的注意力变换"。逐人训练太贵的问题,已被超网络路线破解——用户画像一次前向直接生成该用户的参数。^[15–19]
4. 架构完全不动,也有四级过渡方案。内容层(记忆/RAG)→ 表征层(steering 向量、PASTA 注意力重加权,免训练)→ 参数层(per-user LoRA + 多租户服务)→ 架构层(测试时学习)。每一级都有已发表方法和可用工程,可以渐进上量。
5. "一个领域一个注意力模型"不仅可行,而且已有工业先例(Branch-Train-Merge/MiX 的领域专家、遍地的领域 LoRA、LoraHub 组合、Text-to-LoRA 按描述生成)。500 个领域 × 每个 20–40 MB ≈ 10–20 GB 总存储,一台推理服务器即可承载;真正的难点在路由(该用哪个)与基座升级时的批量重训。合理顺序:领域级 → 群体级 → 个人级。

v1.1 修订新增:第 8 节(Claude / OpenAI / Gemini 商用机制对照、Text-to-LoRA 命令行级用法与边界)、第 9 节(GLM-5.2 / Kimi K3 落地手册:分档架构、五步自动化流水线、六个场景的价值账)。

1问题澄清:注意力到底"固定"在哪里

"当前注意力机制是固定的"——这句话对一半。先把"固定"拆开,后面的所有方案才有落点。

1.1 注意力权重本身是动态的

标准自注意力 softmax(QKT/√d)·V 中,每个 token 对其他 token 的注意力权重完全由当前输入内容决定——换一句话,权重分布就完全不同。所以严格地说,Transformer 的注意力从诞生起就是"内容驱动的动态加权"。它和人类注意力的差距不在"权重会不会变",而在下面三个层面。

1.2 真正固定的三个层面

• ① 计算模式固定(算力平均主义)。每一层、每个头,都要对所有 token 两两算一遍相关性:一个"的"字和一个关键论点花的算力一模一样。人类恰恰相反——注意力的本质是放弃:视网膜只有中央凹是高清的,大脑只精细加工被选中的一小部分。模型"看哪里"是动态的,"花多少算力看"却是静态的。
• ② 参数固定(千人一面)。决定"什么值得关注"的投影矩阵 W_Q/W_K/W_V 训练后冻结。放射科医生看 X 光片的眼动模式是多年训练"刻"出来的,和实习生完全不同;而同一个基座模型给医生和给诗人用的是同一套注意力参数,个体差异只能靠输入内容(提示词、记忆)间接注入。
• ③ 可塑性缺失(不随使用成长)。人类注意力系统会因经验持续重塑;模型在推理时不发生任何学习,今天教会它"重点看合同的违约条款",明天的会话里这个"注意力习惯"荡然无存——除非写进记忆再靠内容提醒它。

1.3 与人类注意力的逐项对照

认知科学通常把人类注意力概括为:容量有限所以必须选择(Kahneman 的资源分配理论),由自下而上的显著性与自上而下的目标共同驱动(偏向竞争理论,Desimone & Duncan 1995),并且高度可塑。对照如下:

2动态注意力:已有的尝试

这个方向不但被想过,而且是当下架构研究竞争最激烈的赛道。按"动态化的对象"可以分成四条路线。

2.1 路线一:动态决定"看多远、想多久"

最早的尝试直接冲着"算力平均主义"去。Adaptive Attention Span(FAIR,2019)让每个注意力头自己学习需要回看多长的历史——结果发现底层头只需要很短的窗口,只有少数高层头需要长程注意力,这本身就证明了"均匀分配是浪费"。^[6]更早的 Adaptive Computation Time(Graves,2016)及后来的 Universal Transformer、PonderNet 则让模型动态决定对每个位置"思考几步"——今天推理模型(o1/R1 类)按题目难度决定"想多久",是这条线在 test-time compute 上的延续。^[7]

2.2 路线二:动态决定"看哪里"——稀疏注意力的复兴(2025 年爆发)

早期稀疏注意力(Sparse Transformer、Longformer、BigBird)大多用预先固定的模式(滑窗+全局 token),不算真正动态;Reformer、Routing Transformer 用哈希/聚类做内容驱动的动态稀疏,但硬件效率差,一直没成为主流。转折发生在 2025 年——三个工业级方案同时证明:可学习的动态稀疏注意力能同时做到更快和不掉点。

• NSA(DeepSeek,2025.2):每个 query 通过三条并行分支看上下文——压缩(把历史聚合成块级摘要,粗看全局)、选择(挑出最相关的 token 块精读)、滑窗(保住局部细节),再用可学习的门控加权融合。三条分支像人的"扫一眼全局 + 盯住重点 + 顺带看邻近",且端到端可训练、按 GPU 特性对齐设计。64k 序列上解码加速 11.6×、前向 9×、反向 6×,通用与长文benchmark 追平或超过全量注意力,获 ACL 2025 最佳论文奖。^[1]
• MoBA(月之暗面,2025.2):把 MoE 思想搬进注意力——上下文切块,每个 query 经门控只路由到 top-k 个最相关的块,"该看哪里"完全由模型自主决定(论文强调 less structure 原则:不预设人为模式)。可在全量/稀疏注意力间无缝切换,已部署在 Kimi 的长上下文生产服务中。^[2]
• DSA(DeepSeek V3.2,2025.9):用一个轻量"闪电索引器"(lightning indexer)为每个 query 快速打分,只对 top-k(2048)个历史 token 做真注意力,把主注意力从 O(L²) 降到 O(L·k)。直接结果:官方 API 长上下文价格砍半——动态注意力第一次以"账单"的形式被用户感知。^[3]

2.3 路线三:动态决定"用哪部分脑子"——条件计算

• MoE(混合专家):每个 token 经路由器动态选择激活哪几个专家(如 DeepSeek-V3:671B 总参数,每 token 只激活约 37B;Mixtral:8 选 2)。这是"动态分配参数"——不同输入用模型的不同部分处理,已是旗舰模型标配。
• Mixture-of-Depths(DeepMind,2024.4):每层动态决定哪些 token 值得算,其余走残差直通——重要的词多算几层,虚词少算几层,同等算力下追平稠密基线。这是对"算力平均主义"最直接的否定。^[4]
• MoDA(字节 Seed,2026.3):让注意力头跨层访问历史 KV(深度维度的注意力),缓解深层信息稀释,仅 3.7% FLOPs 开销带来下游任务 +2.11%——说明"注意力在哪一层看"也可以动态化。^[5]

2.4 路线四:动态到参数层——测试时学习(最接近"人"的一条)

• TTT layers(2024.7):把 RNN 的隐状态本身做成一个小模型,推理时用梯度下降持续更新它——"读上下文"这个动作变成了"就地学习"。^[9]
• Titans(Google,2025.1,NeurIPS 2025):引入神经长期记忆模块,按"惊讶度"(梯度大小)决定记住什么、按时间衰减决定忘掉什么,在测试时持续写入。这已经非常接近人类"注意力↔记忆"的耦合机制:出乎意料的东西自动获得更多加工。^[10]
• Differential Transformer(微软,2024.10):算两组注意力图相减,像降噪耳机一样消掉"注意力噪声",显著提高对关键信息的信噪比——解决的是长上下文中"注意力被无关内容稀释"的问题。^[8]

3面临的挑战

动态注意力喊了十年才落地,卡点不在想法,在下面五件事。

• ① 硬件天生偏爱"规则稠密"。GPU 靠大块矩阵乘吃满算力;动态稀疏意味着不规则访存、分支发散,理论省的算力常被访存开销吃回去。早期稀疏注意力"论文里快、卡上慢"就是败在这里。NSA 的最大贡献不是"更稀疏",而是按块选择、按 GPU 访存模式对齐——把动态性设计成硬件友好的形状。这一条也是未来所有动态化方案的第一道关。
• ② 离散选择不可微。"选哪些 token / 块 / 专家"是离散决策,梯度传不过去,只能靠软化近似、直通估计或辅助损失,训练稳定性差;MoE 的负载均衡(防止路由塌缩到少数专家)至今仍要精细调教。
• ③ 训练-推理不一致。很多方案在训练时用全量注意力、推理时才裁剪(事后稀疏),模型没学过"在稀疏视野下工作",长链条推理时误差累积。NSA 用"原生可训练"直接回应这一点:预训练阶段就让模型习得自己的稀疏习惯。
• ④ "分配得好不好"难以度量。人类注意力有眼动仪可测,模型的注意力分配质量缺乏直接指标——注意力权重与模型行为解释之间的关系本身在学界就有争议("attention is not explanation" 之争)。最终只能靠端到端任务表现回推,调试反馈链条很长。
• ⑤ 动态性放大行为方差,个性化再叠加一层风险。路由决策让相同输入可能走不同计算路径,复现、评测、对齐都更难;到"专人注意力"层面,还要加上隐私(个性化参数即用户画像)、回音室(越来越只关注用户爱看的)、对齐漂移(个性化补丁可能削弱安全训练)三重治理问题。

4未来会如何发展

• 短期(1–2 年):动态稀疏成为长上下文标配。NSA / MoBA / DSA 三条线正在合流,"全量注意力"将像当年的"全精度推理"一样退为特例;算力从"想多久"(test-time compute)进一步细化到"看哪里"(token 级)、"用哪层"(深度级)的三维动态分配。
• 中期(2–4 年):记忆与注意力融合,测试时学习进入主流架构。Titans / TTT 类混合架构(注意力做短程精确检索 + 神经记忆做长程压缩存储)有望成为下一代基础架构;上下文不再是"平铺的 token",而是分层的、按惊讶度写入的记忆。这一步落地之日,"模型在与你交互中就地重塑注意力"就从比喻变成机制。
• 长期(4 年+):持续学习/终身个性化。最后一块拼图是让这种就地学习跨会话持久化而不产生灾难性遗忘与对齐漂移——技术上(参数隔离、记忆巩固)和治理上(个性化参数的隐私归属)都是硬问题。谁先解决,谁就拥有真正意义上"越用越懂你"的模型,而不是"记事本越来越厚"的模型。

5专人专属注意力:从"不同记忆"到"不同注意力"

现在的个性化(历史聊天提取、记忆、RAG)都在改变模型看到什么;你问的是怎么改变模型怎么看。这是两条不同的轴,后者有一个从免费到昂贵的完整干预谱系。

5.1 先划清两条轴

记忆轴(改内容):把用户相关信息注入上下文——模型的注意力参数没变,只是被喂了不同的东西。便宜、可解释,但它改变不了模型的"加工习惯":一个对法律条文不敏感的模型,你把合同贴给它,它依然按通用方式分配注意力。

注意力轴(改加工):让"什么值得关注"这个函数本身因人而异——同样一份合同,给律师用户的模型自动重仓违约与管辖条款,给财务用户的模型自动重仓付款与税务条款,即使提示词完全相同。实现它不需要重训模型,下面按成本从低到高给出五级手段。

5.2 干预谱系:五个层级

5.3 "需要微调吗?一人一个模型?"——算一笔账

不需要"一人一个模型"。个性化的正确单位是增量(Δ)而不是副本:

6架构不动的过渡方案(工程路线图)

假设基座架构与权重都不能动(用 API 或不想维护训练管线),依然存在一条能渐进上量的路径。

阶段 0 · 现在就能做:把"内容层"做到极致

• 结构化用户画像(职业、目标、偏好的关注点)+ 记忆提取,注入系统提示;明确写出"本用户优先关注 X、忽略 Y"——这是在用内容模拟注意力先验。
• 让应用层显式标注重点(高亮、加权重述关键段落、把关键信息放在上下文首尾以对抗 lost-in-the-middle)。
• 指标:建立每用户的"关注命中率"评测(模型的回应是否覆盖了该用户真正关心的维度)——没有这个指标,后面所有阶段都无法验证收益。

阶段 1 · 数周级:表征层干预(免训练/极轻训练,自部署模型可用)

• 集成 PASTA 式注意力重加权:对部署的模型做一次头部画像,之后每个用户一份"重加权配置"(哪些类型的内容片段上调),推理时生效,零训练。
• 从用户点赞/修改行为中学 per-user steering 向量(几十 KB/人),挂在推理管线上。
• 这一阶段的本质:注意力配置成为用户资料的一部分,像头像一样跟着用户走。

阶段 2 · 数月级:参数层平台化(个性化的"正餐")

• 推理侧接入 multi-LoRA 服务(vLLM / S-LoRA / Punica,均开源):基座常驻显存,用户补丁按请求换入换出,统一分页内存管理。
• 冷启动走 超网络生成(P2P 路线):新用户注册即得个性化参数,0 训练等待;高价值/高数据用户再升级为 OPPU 式精调补丁。
• 隐私设计:个性化增量即用户画像的浓缩,应按用户数据对待(加密存储、可删除、可导出;敏感场景考虑本地/联邦训练)。
• 安全回归:每个补丁上线前跑对齐回归测试,防止个性化削弱安全行为。

阶段 3 · 跟随架构演进:测试时学习

• 当 Titans / TTT 类架构商用化,前三阶段积累的用户画像、评测体系、隐私框架全部直接复用——迁移的只是"个性化载体"(从静态补丁变成持续更新的记忆模块)。
• 提前布局的判断依据:该类架构是否出现在主流开源基座中(信号:Qwen/Llama 级别的模型采用混合记忆架构)。

7"一个领域一个注意力模型"可行性分析

你的直觉是对的,而且这条路比"一人一个"更先走通——它已经有名字、有先例、有成本账。

7.1 先例:这件事已经被做过三遍

• MoE 隐式做过:混合专家模型里,不同专家确实会形成分工,但专家的"领域"是训练中自发涌现的,与人类领域划分并不对齐,也无法单独管理。它证明了"分而治之"有效,但不可控。
• Branch-Train-Merge / Branch-Train-MiX 显式做过:BTM(2022)按语料领域分支训练专家模型再组合;Meta 的 BTX(2024)进一步把各领域专家合并回一个 MoE,路由器学会按输入选领域专家——这就是"一个领域一个模型"的字面工业实现。^[21]
• 开源社区每天在做:医疗、法律、金融、代码领域的 LoRA 已是事实标准;LoraHub(COLM 2024)证明多个领域 LoRA 可以动态加权组合去应对没见过的任务;Text-to-LoRA(Sakana AI)更进一步——一句领域描述直接生成对应 adapter。^[18][20]

7.2 成本账:数百个领域完全在工程舒适区内

7.3 真正要设计的三个问题

• ① 路由:谁来决定用哪个领域?四种机制按可控性排序:(a) 用户/应用显式选择(最可控,适合 To B);(b) 轻量分类器按输入路由(毫秒级,需置信度阈值,低置信回退通用基座);(c) LLM 自路由(灵活但引入额外延迟);(d) LoraHub 式软组合(多个领域按权重叠加,应对交叉任务)。建议 a+b 混合起步。
• ② 边界:领域是模糊的。"医疗合同纠纷"该用医疗还是法律补丁?两个可行答案:补丁可加权叠加(LoRA 天然支持线性组合,但需评测组合后是否互相干扰);或参照 BTX,把领域专家合并成显式 MoE,让路由在 token 级完成。
• ③ 版本与回归:一个领域一份考卷。每个领域补丁需要独立评测集与安全回归;500 个领域的 CI 矩阵是真实的维护负担——这是"数百个领域"从可行到可持续的分水岭,建议领域按使用量分级维护。

7.4 与相邻方案的对照

8商用现状:三大厂商机制与 Text-to-LoRA 实操

把前面的 L0–L4 谱系拿来当标尺,逐一对照 Claude / OpenAI / Gemini 实际在卖什么,再把 Text-to-LoRA 拆到命令行级。

8.1 三大厂商逐一对照(截至 2026 年中)

8.2 Text-to-LoRA:命令行级的真实用法与商用边界

Text-to-LoRA(Sakana AI,ICML 2025,Apache-2.0 开源)是一个已训练好的超网络:输入一句任务描述,一次前向直接输出一个 LoRA。实际操作四步:

# ① 装环境(需一张 >16GB 显存的 GPU)
git clone https://github.com/SakanaAI/text-to-lora && cd text-to-lora
uv venv --python 3.10 --seed && uv sync

# ② 下载官方超网络 checkpoint(基于 HuggingFace)
uv run huggingface-cli download SakanaAI/text-to-lora --local-dir .

# ③ 用一句话生成 LoRA —— 核心只有这一步
uv run python scripts/generate_lora.py <checkpoint路径> \
  "从中文财报与合同文本中识别风险条款,给出条款位置与风险等级"

# ④ 挂载服务:生成的 LoRA 目录直接给 PEFT 加载,或 vLLM --enable-lora 热挂

商用边界,三条都很硬:

• 基座绑定。官方 checkpoint 只覆盖 Mistral-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-2-2b-it 三个基座;LoRA 与基座一一对应,不能拿去挂 GLM / Kimi。想在自己的底座上用这条路线,要"自训超网络":先在你的基座上训几百个领域/任务 LoRA 作训练集,再训超网络(P2P 论文就是这条路的 per-user 版,约 1,450 个用户后摊平成本)。
• 质量定位。生成式 adapter ≈"体面的零样本增益",在高价值头部任务上仍低于实训 LoRA。2026 年的正确用法:长尾领域与新用户冷启动用"生成",头部领域用"实训",两者共用同一套 multi-LoRA 服务。
• 成熟度。它是研究级开源(演示、原型没问题),没有 SLA;生产化要自己补评测门与回退机制(见 9.3)。

9开源底座落地手册:GLM-5.2 / Kimi K3

两个底座都在 2026 年开源了 1M 上下文的动态注意力架构——但"给用户提供自动化个性化"的正确姿势,取决于你的算力档位,而且个性化不一定要发生在最大的那个模型上。

9.1 先看清两个底座的硬约束

9.2 参考架构:按算力分三档

• 档位 A · 只有 API / 纯推理算力:做 L0 到极致 + 轻量 L1。记忆画像、显式重点标注进系统提示;若自托管了任一开源模型,可加 per-user steering 向量(挂 forward hook 即可,不受 MoE/稀疏注意力影响,几百条偏好样本就能学)。注意:在 IndexShare/KDA 这类非标准注意力上做 PASTA 式权重干预,内核改造成本高,优先做 steering,别先碰注意力内核。
• 档位 B · 单机 8 卡级(多数创业团队):两级架构——旗舰(GLM-5.2 或 K3,API 或托管)当"通用大脑";小杯开源模型(GLM-4.5-Air / Kimi Linear 48B-A3B)当"个性化外壳",承载领域 + 个人 LoRA,负责按该用户视角做改写、重点标注、预处理与后处理。个性化的全部训练与服务成本都落在小杯上,单机可闭环。
• 档位 C · 多机集群(企业/平台):直接在 GLM-5.2 上做租户/领域级 LoRA(挂注意力矩阵,MIT 协议无障碍),vLLM 多补丁服务;个人级依然建议超网络生成而非逐人训练——753B 上逐人训练在经济上重演"一人一个模型"的错误。

9.3 自动化流水线:五步,可直接照抄

1. 数据飞轮:埋点收集采纳/修改/高亮行为 → 整理成偏好对与示范样本,按用户/租户分桶;冷启动用画像问卷 + 用户历史文档。
2. 训练作业:LLaMA-Factory 或 ms-swift 定时批量跑 LoRA(rank 8–16;target = q/k/v/o 注意力投影——MoE 底座避开专家 FFN,补丁更小、不扰动路由,也最贴合"个性化注意力"本意)。数据少的用户先学 steering 向量,数据够了再升级 LoRA。
3. 评测门(没有它一切都是玩具):每个补丁过三关——领域任务集、通用回归集(防能力退化)、安全回归集(防对齐漂移);任一不过,自动回退上一版补丁。
4. 热加载服务:vLLM --enable-lora 启动,运行时经 /v1/load_lora_adapter 动态挂载/卸载;请求按 model=租户或用户补丁名 路由,未命中回退基座。注意:单请求只挂一个 adapter,"领域 + 个人"两层叠加需离线合并(PEFT add_weighted_adapter)后作为一个补丁挂载。
5. 升级预案(立项时就写进预算):基座升版 → 全量补丁批量重训(脚本化);若维护了超网络,则重训超网络 → 一键重生成全部补丁。这是"数百领域 + 海量用户"方案最大的隐性成本,见 7.2。

9.4 六个实际场景与价值账

10结论与建议

三句话总结:

1. 模型注意力的"固定"固定在计算模式、参数、可塑性三层;其中前两层的动态化(NSA/MoBA/DSA、MoE/MoD)已在 2024–2026 年进入生产,第三层(测试时学习)是明确的下一站——方向本身没有悬念,悬念只在硬件对齐与训练稳定性的工程节奏。
2. "专人专属注意力"不需要一人一个微调模型:基座共享 + 热插拔小增量 + 超网络即时生成把每用户成本从"14 GB + 数小时"压到"几十 MB + 0.57 秒",且把增量挂在 W_Q/W_K/W_V 上就是字面意义的个性化注意力。
3. 架构升级不了不是阻碍:内容层→表征层→参数层→架构层四级过渡方案每级都有已发表方法与开源工程;"一个领域一个注意力补丁"是其中性价比最高的第一步,数百个领域今天就能落地。

如果要行动,按这个顺序:①建立"关注命中率"的个性化评测(没有度量,一切优化都是盲飞);②接入 multi-LoRA 推理框架;③先做 10–20 个高频领域补丁验证收益;④用超网络路线解决个人级冷启动;⑤持续跟踪 Titans/TTT 类架构进入主流开源基座的信号。自托管 GLM-5.2 / Kimi 路线的分档架构与五步流水线,直接照第 9 节执行;三大厂商现状与 Text-to-LoRA 边界见第 8 节。

本报告基于公开论文与工程资料整理;具体数字(加速比、耗时、参数量)均出自对应论文的实验设置,迁移到不同基座/硬件时量级可参考、精确值需实测。以下为主要参考文献。