对话悟道·文澜&#x56E

众多高性能模型中，后来居上的文澜为何成了世界级“领跑者”？
如上，给定一张“生日蛋糕”的图片，强相关模型可能会输出 生日蛋糕的蜡烛在燃烧，本文内容基本与图片保持一致，而弱相关则可能输出 今天的减肥计划又泡汤了，它尝试从更高的内涵层次上理解图像信息。
换言之，弱相关使文澜模型对文本/图像信息的理解不仅局限于“等价”关联，而是进一步扩展到了“场景”关联、“因果”关联等。
事实上，多模态之间的语义融合问题一直是人工智能领域一项极具挑战性的工作。2005年，《Nature》期刊曾发表一篇文章，表明人类对同一实体的图像和文字两种模态的认知是在同一神经元上激活的，二者会被映射到同一个空间。
类似地，为了模仿人脑的建模过程，AI模型在预训练过程中，通常会事先把数据集中的图像编码成一个高维向量，当用户输入文字时，再将文字向量映射到同一个空间，最后通过向量检索，获取相应的图片。
该过程的关键在于，文本和图像的语义信息是否实现对齐、融合。
第二，文澜2.0所使用的训练图文数据集从3000万升级到了6.5亿，且数据全部抓取自互联网。
第三、文澜支持整个句子的理解，而非关键词。这是它与浏览器搜索最显著的区别。比如，在《布灵的想象世界》中输入“忧郁的蛋糕”，它会呈现一个以黑色调为背景的蛋糕图片。宋睿华教授介绍称，文澜能够通过抽象性文字呈现出一种氛围，而不是仅focus一个关键词。
基于以上核心能力，文澜已经具备文检索图、文生成图、图检索文、图生成文四种功能。目前研发团队利用图检索文、文检索图两项核心功能开发了应用小程序《AI心情电台》和《布灵的想象世界》，首次实现了高效的跨模态检索。
此外，中科院计算所团队还在文澜多模态的基础上开发了应用《只言片语》，考察文澜模型的语言理解能力与人类玩家的相似度。这个应用包括“默契大考验”和“看看谁懂我”两种模式，是首个AI加持的在线桌游，也是一种新模式的图灵测试。
在游戏的过程中，一名玩家随机挑选一张图片，并给出与之相关的文字描述。另一位玩家根据出题人玩家的描述从文澜给出的干扰项中挑选出正确的图片。如果两位玩家的图片不一致，说明文澜对文本的精准理解对人类产生了干扰，即通过了图灵测试。
以往的图灵测试都是以数据标注的形式进行，过程通常枯燥乏味；“只言片语“采用小游戏的形式，在给玩家带来乐趣的同时，通过测试模型检索到的图片是否能够迷惑人类，从而评估了图文匹配模型的能力。
3