最新公告
  • 本站一直秉承服务宗旨:履行“站长”责任,销售只是起点 服务永无止境!”的经营理念立即加入
  • AI模仿人脑记忆模式,游戏成绩大涨29.9%

    克雷西 发自 凹非寺

    量子位 | 公众号 QbitAI

    我们常常被教育的做事“三思而后行”,充分运用积累过的经验,现在这句话对AI也有所启发了。

    传统的决策AI模型由于遗忘效应的存在不能有效积累经验,但一项由华人主导的研究改变了AI的记忆方式。

    新的记忆方式模仿了人类大脑,有效地提高了AI积累经验的效率,从而将AI打游戏的成绩提高了29.9%

    AI模仿人脑记忆模式,游戏成绩大涨29.9%插图

    研究团队由六人组成,分别来自米拉-*AI研究院和微软蒙特利尔研究所,其中有四名是华人。

    他们将成果命名为的带有记忆的决策Transformer(DT-Mem)。

    相比传统的决策模型,DT-Mem适用广泛性更强,模型运算的效率也更高。

    除了应用效果,DT-Mem的训练时间也从短200小时缩短至50小时。

    同时,团队还提出了一种微调方式,让DT-Mem能够适应未训练过的新场景。

    微调后的模型,面对没有学习过的游戏,也能拥有不错的表现。

    工作机制受到人类启发

    传统的决策模型基于LLM进行设计,采用隐性记忆,其性能依赖于数据和计算。

    隐性记忆是无意识产生而非刻意记住的,因而也无法有意识地进行调用。

    说得通俗一些,就是明明有关内容就存储在那里,但是模型却并不知道它的存在。

    隐性记忆的这一特点决定了传统模型存在遗忘现象,导致其工作效率往往不高。

    遗忘现象表现为,在学了新的问题解决方式之后,模型可能会将旧的内容忘记,哪怕新旧问题是同一类型。

    而人脑采用分布式记忆存储方式,记忆的内容被分散存储在大脑中的多个不同区域。

    这种方式有助于有效地管理和组织多种技能,从而减轻遗忘现象。

    受此启发,研究团队提出了一个内部工作记忆模块来存储、混合和检索不同下游任务的信息。

    具体而言,DT-Mem由Transformer、记忆模块和多层感知(MLP)模块三部分组成。

    AI模仿人脑记忆模式,游戏成绩大涨29.9%插图1

    DT-Mem的Transformer模仿了GPT-2的架构,但删去了注意力机制后的前馈层。

    同时,GPT-2中的MLP模块被拆分成了独立组件,作为DT-Mem的一部分。

    在二者之间,研究团队引入了一个工作记忆模块,用于存储和处理中间信息。

    这一结构是受到神经图灵机的启发,其中的记忆被用于推断多种算法。

    记忆模块分析Transformer输出的信息,并决定其存储位置以及与已有信息的整合方式。

    此外,该模块还要考虑这些信息在今后做出决策的过程当中如何使用。

    AI模仿人脑记忆模式,游戏成绩大涨29.9%插图2

    这些任务大概通过五个步骤来完成,记忆模块首先被初始化为一个随机矩阵。

    然后是对输入信息的整理,这一步并不是将信息传给Transformer,而是以元组形式存入同一空间。

    之后就要确定存储位置。人类通常会将相关的信息存储到同一位置,DT-Mem也是基于这一原理。

    后两步——记忆更新和检索是记忆模块的核心,也是整个DT-Mem中重要的环节。

    记忆更新,即对已有信息进行编辑替换,以确保信息能根据任务需要及时更新。

    这一步中DT-Mem会计算擦除和写入两个向量,进而判断如何与已有数据混合。

    记忆检索则是对已有信息的访问和恢复,在需要做出决策时及时调取相关有用信息。

    投入实际使用之前,DT-Mem还要经历预训练过程。

    AI模仿人脑记忆模式,游戏成绩大涨29.9%插图3

    而对于DT-Mem的微调,团队也提出了一种新的方式。

    由于使用的是基于任务进行标记的数据,这种微调能够帮助DT-Mem适应新的任务。

    这一过程基于低秩适应(LoRA)进行,在已有的矩阵中加入低秩元素。

    AI模仿人脑记忆模式,游戏成绩大涨29.9%插图4

    训练时间多缩短32倍

    为了测试DT-Mem的决策能力,研究团队让它玩了几款游戏。

    游戏一共有5款,全部来自Atari公司。

    同时,团队还测试了传统模型M[ulti-game]DT的表现作为参照。

    结果,DT-Mem在其中4款游戏里的好成绩均胜过MDT。

    具体而言,DT-Mem比MDT的DQN标准化分数提高了29.9%。

    AI模仿人脑记忆模式,游戏成绩大涨29.9%插图5

    但是,DT-Mem的参数量只有20M,仅是MDT(200M参数)的10%。

    这样的表现,说是四两拨千斤一点也不过分。

    除了表现优异,DT-Mem的训练效率也完爆MDT。

    13M参数量版本的MDT需要200小时进行训练,而20M的DT-Mem却只需要50个小时。

    如果和200M的版本相比,训练时间足足缩短了32倍,表现却更优异。

    AI模仿人脑记忆模式,游戏成绩大涨29.9%插图6

    而针对团队提出的微调方式的测试结果也表明,这种微调增强了DT-Mem适应未知情景的能力。

    需要说明的是,下表中用来测试的游戏对于MDT来说是已知的,因此MDT的表现在这一轮当中不作为衡量依据。

    AI模仿人脑记忆模式,游戏成绩大涨29.9%插图7

    除了玩游戏,团队还使用了Meta-World ML45基准对DT-Mem进行了测试。

    这次用作参照的是H[yper]DT和P[romot]DT。

    结果显示,未经微调的模型当中,DT-Mem成绩比HDT高出8个百分点。

    需要说明的是,这里测试的HDT本身参数量虽然只有69K,但需依赖于2.3M参数量的预训练模型,因此实际的参数量是DT-Mem(147K)的10余倍。

    AI模仿人脑记忆模式,游戏成绩大涨29.9%插图8

    论文地址:

    https://arxiv.org/abs/2305.16338

    — 完 —

    量子位 QbitAI · 头条号签约

    1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
    2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
    3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
    4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
    5. 如有链接无法下载、失效或广告,请联系管理员处理!
    6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
    7. 如有侵权麻烦联系邮箱2697381891@qq.com删除文章!

    源码库 » AI模仿人脑记忆模式,游戏成绩大涨29.9%
    • 3028会员总数(位)
    • 37594资源总数(个)
    • 507本周发布(个)
    • 191 今日发布(个)
    • 1170稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情