生活万事通

有这样一些情况，80GB显存的GPU没办法装下1750亿参数的GPT - 3模型，在经过多轮对话之后，AI因为缓存溢出而出现卡顿，这些都属于“内存焦虑”，而这些“内存焦虑”，都能够依靠内存卸载也就是Memory Offloading来破解，它是通过把GPU显存中暂时不需要用到的数据“转移”到CPU内存、SSD等次级存储当中，以此来为大模型留出核心算力空间，进而成为突破“内存墙”的关键技...