12月30日，字节豆包大模型对外披露2024全领域技术进展。距5月15日首次亮相仅7个月，豆包大模型在通用语言、视频生成、语音对话、视觉理解等方面模型能力均已跨入国际第一梯队。豆包大模型团队表示，“从孩童般学语，到懵懂看世界，到为创作者绘出想象中的奇幻梦境，一切依然处于最早期。” 截至2024年12月，最新版豆包通用模型Doubao-pro-1215，综合能力较5月提升32%，已全面对齐GPT-4o，在数学、专业知识等部分复杂场景任务中，效果表现甚至更好。通过海量数据优化、提升模型稀疏度、引入强化学习、系统性工程优化等方式，团队大幅提升了Doubao-Pro理解精度和生成质量，并实现了性能与效率的平衡，推理服务价格仅为GPT-4o的八分之一。 ▲Doubao-pro在主流评测集上能力全面对齐GPT-4o. 图像与视频能力方面，团队于9月推出两款豆包视频生成模型PixelDance与Seaweed，主打复杂提示词精准理解、镜头一致、多交互主体和镜头灵活控制。豆包文生图模型不断迭代，还推出了通用图像编辑能力，让“一句话P图”和“一键海报生成”成为现实。此外，12月发布的豆包视觉理解模型Doubao-vision，可融合视觉与语言多感官深度思考和创作，目前模型能力在十多个主流数据集上比肩Gemini 2.0与GPT-4o。 ▲Doubao-vision在主流评测集上能力比肩Gemini 2.0、GPT-4o. 语音大模型赋予机器“听”与“说”的能力，豆包大模型团队今年推出了全新的语音识别模型Seed-ASR和语音生成基座模型Seed-TTS，通过引入多样、广泛的数据，融合推理链，赋予模型极强的泛化性。据悉，豆包语音模型可听懂20种以上方言夹杂的对话，也能边听边思考，并在会话中表达情感，保留吞音、口音等人类习惯，甚至在交互中可随时被打断。 较语音更进一步，豆包大模型已拥有高品质的“唱作”能力，从词曲编辑、演奏生成到人声演唱，“一个AI也可以是一个乐队”已经成为现实。其背后依托的音乐生成模型框架Seed-Music，结合了语言模型与扩散模型的优势，实现了音乐生成的通用框架，拥有极高的编辑可控性。 团队还首次对外披露了豆包大模型300万字窗口的长文本能力，可一次轻松阅读上百篇学术报告，每百万tokens处理延迟仅需15秒。这一上下文窗口长度和时延水平达到目前业界极限。背靠STRING等上下文关联数据算法和模型加速优化，团队大幅提升了LLM利用海量外部知识的能力，并通过稀疏化及分布式方案将时延降到十秒级。 代码能力方面，豆包代码大模型Doubao-coder编程能力达到专业级，深度支持超16种编程语言、11类真实应用场景，可满足前后端开发、机器学习等全栈编程开发需求。 成立极短时间内，豆包大模型团队还对AI基础研究深入布局。过去几个月，团队57篇论文中选ICLR、CVPR、NeurIPS等顶会，研究成果包括下载量超百万的开源项目及GitHub万星爆款。 ▲豆包大模型团队披露2024研究关键词 同时，豆包大模型团队与近20所高校深入合作，支持超过40位顶尖学者参与关键AI技术攻坚，并与清华AIR、北大分别成立联合实验室。为储备最具潜力的研究人才，豆包大模型团队启动了“Top Seed人才计划”，在全球范围招募顶尖博士毕业生加入，共同挑战世界级AI课题。 根据披露，豆包大模型相关技术能力目前支撑了包括豆包、即梦、豆包MarsCode等50多个C端应用场景，其中，豆包APP已成为国内最受欢迎的AI产品。通过火山引擎，豆包大模型服务了30多个行业，日均tokens调用量超4万亿，较5月发布时增长33倍。
