长按上方二维码3秒识别二维码

字节跳动开源2B级扩散语言模型ColaDLM

2026-05-16 10:07:36 87

币界网报道:币界网消息,字节跳动Seed团队开源了名为Cola DLM的2B级连续潜在扩散语言模型。该模型试图绕开传统大语言模型按token从左到右逐个生成的固定路径,改为先组织高层语义,再落回具体文字。Cola DLM的核心是text VAE和block-causal DIT,前者将离散文本映射到连续潜在空间,后者通过flow matching学习潜在先验,最终由条件解码器将潜在变量还原为文本。该模型包含约23亿参数,其中核心DIT为18亿参数,VAE为5亿参数。在多个评测中,论文称其在统一生成式评测协议下已具备与同规模AR / LLADA基线竞争的表现,并在最终平均分上达到最好结果。当前版本仍为研究型checkpoint,未经过指令微调和RLHF,主要用于研究连续潜在扩散如何用于文本生成。

最新快讯

  • 06月10日1分钟前

    俄罗斯弗拉基米尔州两处工业设施在无人机袭击后起火

    币界网消息,据国际文传电讯社引述州长消息称,俄罗斯弗拉基米尔州两处工业设施在无人机袭击后起火。

  • 06月10日17分钟前

    阿富汗塔利班发言人:巴基斯坦空袭造成至少13人死亡

    币界网消息,阿富汗塔利班发言人:巴基斯坦空袭造成至少13人死亡,14人受伤。

  • 06月10日23分钟前

    几乎所有伊朗发射的导弹和无人机均已被拦截

    币界网消息,美国官员表示,初步评估显示,几乎所有伊朗发射的导弹和无人机均已被拦截。目前未获悉有关美军人员受伤或已知美军设施受损的任何报告。

  • 06月10日24分钟前

    孙宇晨从Poloniex提取1.2万枚ETH,价值约1950万美元

    币界网消息,孙宇晨从Poloniex交易所提取1.2万枚ETH,按当前价格计算,价值约1950万美元。

  • 06月10日29分钟前

    拦截并击落了五枚从伊朗发射、飞向阿兹拉克的导弹

    币界网消息,据约旦国家电视台:约旦武装部队称,拦截并击落了五枚从伊朗发射、飞向阿兹拉克的导弹。拦截导弹后有残骸坠落,未报告人员伤亡或损失。

  • 06月10日30分钟前

    ClaudeCode之父:Fable5涌现自主工程理性,已蜕变为设计伙伴

    币界网消息,Claude Code之父Boris Cherny对Anthropic全新发布的Claude Fable 5给出极高评价。他表示,Fable 5是自2025年11月Claude Opus 4.5发布以来,Anthropic在模型能力上实现的最大跨越。在Opus 4.5发布后,Cherny曾因习惯完全在终端编程而卸载了IDE。在使用Fable 5后,他认为Claude已从单纯的代码智能体蜕变为产品构建中的「思考与设计伙伴」。Cherny指出,他在使用Fable 5调试程序时发现,新模型在解决问题时表现得非常系统和精确,不仅会主动进行测量并添加日志,还会在声明成功前验证是否真正修复了问题。模型在调试中的验证行为并非来自Claude Code的系统提示词引导,而是模型自身表现出的性格特质,Cherny称之带有一种前所未有的「大模型味」。

  • 06月10日49分钟前

    某地址从Gate提取800万枚STG后价格上涨超40%

    币界网消息,据链上分析师余烬监测,某地址从Gate提取800万枚STG(约220万美元)后,STG价格上涨超过40%。STG被ZRO收购后只能单向兑换为ZRO,固定比例为1 STG = 0.08634 ZRO。当前ZRO价格为0.84美元,按此比例,STG对应价格应在0.07美元左右,而目前STG价格为0.36美元。

  • 06月10日49分钟前

    OpenAI洽谈租赁俄亥俄10吉瓦超级数据中心,英伟达拟提供财务担保

    币界网消息,OpenAI正与软银旗下的SB Energy谈判,计划长期租用位于俄亥俄州南部派克县的一个拟建10吉瓦级AI数据中心园区。该园区若完全建成,总投资额将达到至少5000亿美元。交易的关键部分在于,英伟达正讨论利用其庞大的资产负债表,为OpenAI的租赁合同以及SB Energy的未来项目融资提供信用担保。如果达成协议,这将成为OpenAI迄今为止最大规模的基础设施承诺,同时也是英伟达首次在如此体量级的项目上扮演基础设施金融担保方。该项目的选址原为美国能源部下属的前铀浓缩核武器材料制造基地。SB Energy成立于2019年,由软银集团控股,OpenAI也是其股东之一。该项目的第一阶段800兆瓦预计将于2028年投入运营。

正在加载