机器之心报道编辑：陈萍、小舟人类似乎对不同的学习模式有着相似的认知，机器也应该如此！自监督学习能在各种任务中学习到分层特征，并以现实生活中可使用的海量数据作为资源，因此是走向更通用人工智能的一种途径，也是深度学习三巨头之一、图灵奖得主YannLeCun一直推崇的研究方向。LeCun认为：相比于强化学习，自监督学习（SSL）可以产生大量反馈，能够预测其输入的任何一部分（如预测视频的未来画面），从而具有广泛的应用前景。自监督学习通过直接观察环境来进行学习，而非通过有标签的图像、文本、音频和其他数据源进行学习。然而从不同模态（例如图像、文本、音频）中学习的方式存在很大差异。这种差异限制了自监督学习的广泛应用，例如为理解图像而设计的强大算法不能直接应用于文本，因此很难以相同的速度推动多种模态的进展。现在，MetaAI（原FacebookAI）提出了一种名为data2vec的自监督学习新架构，在多种模态的基准测试中超越了现有SOTA方法。data2vec是首个适用于多模态的高性能自监督算法。MetaAI将data2vec分别应用于语音、图像和文本，在计算机视觉、语音任务上优于最佳单一用途算法，并且在NLP任务也能取得具有竞争力的结果。此外，data2vec还代表了一种新的、全面的自监督学习范式，其提高了多种模态的进步，而不仅仅是一种模态。data2vec不依赖对比学习或重建输入示例，除了帮助加速AI的进步，data2vec让我们更接近于制造能够无缝地了解周围世界不同方面的机器。data2vec使研究者能够开发出适应性更强的AI，MetaAI相信其能够在多种任务上超越已有系统。
论文
本文编辑：佚名
转载请注明出地址 http://www.xungufenga.com/xgfsy/10844.html
