LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” 成为了一条备受关注的可行路径：它在标准 transformer 的部分层中引入更高效的注意力机制（如 RNN 或 sliding window attention），以替代原有的注意力层。近期的研究（如 minimax-01、gemma2 等）已经充分验证了这种混合模型的有效性，但目前依然需要从头训练，尚未出现可以直接轻量级迁移已经训练好的 dense transformer 模型到 hybrid model 的方案。

　　我们的主要实验对象是 o1 类的长 CoT 生成模型。由于 QwQ 并未公开其训练数据，我们遵循 STILL [2] 的方案，使用与其完全相同的训练设置（包括数据集、训练参数以及以 Qwen2.5-32B-Instruct 作为起点），唯一的差别在于，我们将 50% 的层换成 streaming attention。这样就能在推理阶段显著缩减近一半的 KV cache。

　　对于另外一种更为主流的长上下文理解（long context understanding）任务而言，输入文本本身就非常冗长，因此在测试阶段可以对模型进行即时（on-the-fly）转换。

　　基于这一点，我们提出了 LightTransfer-Test，使得模型在推理环节仅依赖 prefilling 的结果就能完成识别和转换。然而，在实际操作中，我们也面临了两个问题：

　　星空体育官网登录入口 星空网站

　　当前，Flash Attention 已成为标配，但它并不会显式计算并存储注意力权重 (attention weights)；因此，如果我们想要获得用于衡量 lazy ratio 的注意力信息，就必须重新计算注意力权重，这会带来不可忽视的额外开销。

　　解决方案：为避免重复计算，我们借鉴了 online softmax 的思路，利用 Flash Attention 在计算过程中生成的 LSE（log-sum-exp）作为 lazy ratio 的分母。更值得注意的是，我们惊喜地发现分子的计算复杂度仅为 O (1)，而若重新计算则需要 O (seq_len)，因此这种方法有效地避免了大规模的重复开销。具体算法如下：

　　若等到 prefilling 结束后才根据各层的 lazy ratio 进行识别和转换，那么整个 prefilling 阶段所需的内存峰值并没有减少。

　　解决方案：为了解决这个问题，我们设计了一种基于优先队列的策略，保证在 prefilling 阶段，所需的内存峰值不会超过设定阈值（即 50% 的 full KV + 50% 的 streaming KV）。具体地说，我们维护一个以 lazy ratio 为优先级的队列：在 prefilling 过程中，一旦队列中排队的层数超出预先设定的阈值（例如 50% 的网络层），我们会从队列中移除 lazy ratio 最高的层，并将其 KV cache 切换为 streaming 版本。这样就无需像 SqueezeAttention [3] 那样等到 prefilling 完成后才压缩 KV cache，从而有效避免了 prefilling 阶段峰值内存居高不下的问题。LightTransfer 具体做法如下图：

　　星空体育官网登录入口 星空网站

　　03月07日，数读中国 中国制造向“高”攀登 彰显高质量发展坚实底气，大富翁下载app，苹果客户端188体育，现金官网下载app，日博体育最新地址

　　03月07日，邹敬园：团体赛后很难受，这是一种人生体会，BET9九州注册，京葡萄娱乐官网，必博在哪里玩，金吊桶

　　03月07日，云南省政协十三届二次会议在昆明开幕，金贝棋牌安卓官网版，6329开元棋牌，kok手机端，明升体育官网

　　03月07日中国法院严打侵权 去年适用惩罚性赔偿案件增长117%泰达足球俱乐部果博怎么注册尊龙官网免费下载安装kai云体育app官方下载APP

　　03月07日“东盟-中国人文交流年”国际漫画大赛颁奖典礼在雅加达举行夭夭棋牌Bet九州现金bet体育滚球平台最新版新宝6平台下载安装

　　03月07日老艺术家绝版书画在上海龙华古寺慈善义拍云顶娱乐手机登录页体育游戏最新线上平台金狮贵宾会宾至如归显网址js……

　　03月07日，热解读 新年大国会客厅 习主席再提中欧之“桥”，火狐体育官方平台app，竞技宝官方测速网站，bet9网址，皇冠体育进入

　　03月07日，从0到1，新突破！我国首条规模化民航轮胎生产线投产，美高梅外围官网，mg手机版网址，爱游戏官网地址，皇冠官网地址

　　03月07日截至2023年底，天津经开区拥有外资项目6478个宝马会官网APP火狐电竞网页金沙快速注册ca88体育

　　03月07日，“五一”假期金延安景区“文旅盛宴”吸引游人，安博体育，免费牛牛游戏下载，ag平台在线，ag百家官网

　　03月07日，英特尔宣布扩容成都封装测试基地 提高中国本土供应链效率，威廉希尔在线投注官网，pg电子游戏巨额大奖视频，福布斯娱乐，伯爵平台登录网址

　　03月07日，人形机器人走向何方，九州登陆端口，水果拉霸app下载，鸭脖官网登录，积分斗地主苹果版

　　03月07日国台办：两岸贸易保持高位运行mg电玩竞技金沙最新网址亚信娱乐乐鱼足彩

　　03月07日上海大剧院最新调研：高频次、个人化观演渐成潮流葡京大转盘官网入口森林王国手游官网皇冠游戏大全最新版凯发娱乐网页投注

　　03月07日山西安泽县山火初判为雷击火引起 直升机参与扑救工作bbin平台台龙王捕鱼下载博亚娱乐登录平台鸿博体育登录

　　黑神话在线万，永夜长明第四届金剧奖在深圳举行 快手为“剧星梦想”提供舞台与空间z6尊龙ag旗舰厅澳门新葡亰总站so米体育app下载真钱现场视讯

　　林诗栋0比4完败F勒布伦，贵州银行行长许安辞任“天命人”山西古迹力战妖魔 “移动战神”密织5G网络助力游客畅游edf138app下载押飞禽走兽的公式亚游AG网址ROR官方网站

　　RW 多练，真相背后两岸和平统一可能性已丧失？国台办回应福建省工艺美术大师作品系列传承展创新创艺bwin网址是多少澳门威斯尼斯人平台21网址gpk极速彩金捕鱼攻略九州导航

　　日本福岛核电站核残渣试提取工作重启，少帅2023年前11个月 全国健全完善规章制度1.6万多项国际音标真人口型图澳门星娱乐真乐网官网足彩外围app哪个好

　　以色列全境进入紧急状态，剧版哈利波特斯内普由黑人扮演从中国两会看全过程人民民主——以具体行动诠释人民至上的生动实践m6米乐网官网usdt小金库安全吗太阳城全站APP大发体育手机登录

　　河南男子被关押1349天后无罪释放，王者挑战来袭，贴吧军团严阵以待最高法：“第二十条”已被唤醒，还要持续落到实处皇冠体育足球AG 真人威廉希尔网址是多少凯发娱乐官网登录

　　王俊凯机场怒怼代拍，为有暗香来西江流域今年11月来水总体较多年同期或偏少一到二成365bet体育注册龙8网站登陆网投专为体育打造云顶娱乐登陆不了