多模态大一统：开启全模态LLM和通用AI时代的大门

多模态大一统：开启全模态LLM和通用AI时代的大门

• • 1. 目前多模态实现的方法
  • • 1.1 单独训练各领域模型
    • 1.2 多任务学习
    • 1.3 集成多模态模型
    • 1.4 通用多模态模型
  • 2. 多模态统一难点
  • • 2.1 数据集对齐和融合
    • 2.2 大规模计算资源需求
    • 2.3 各领域特性的兼容性
    • 2.4 可解释性和泛化能力
  • 3. 全模态的好处
  • • 3.1 跨领域学习
    • 3.2 更高质量的预测
    • 3.3 自适应性和鲁棒性
    • 3.4 实现真正的智能
  • 4.如何做到llm全模态
  • • 4.1 模型主要架构
    • 4.2 一级词表构成
    • 4.3 二级词表构成
    • 4.4 训练时候词表的转换