2023.12.10-StripedHyena：Transformer的替代品

1、StripedHyena：Transformer的替代品 现在基本所有LLM都基于Transformer，TogetherAI推出了StripedHyena，可以替代LLM训练和推理过程中的Transformer，而且在长上下文的情况下速度更快。 同时推出了对应的LLM：StripedHyena-Nous-7B 官方新闻：https://www.together.ai/blog/stripedhyena-7b 模型：https://huggingface.co/togethercomputer/StripedHyena-Nous-7B

训练代码：https://github.com/NousResearch/StripedHyenaTrainer 在线使用：https://api.together.xyz/playground/chat/togethercomputer/StripedHyena-Nous-7B

2、QuIP#：目前最佳的 LLM 压缩方法

可以实现在 24G GPU 上运行 LLaMA 2 70B。

项目地址：https://cornell-relaxml.github.io/quip-sharp/

压缩后的 LLaMa 系列模型：https://huggingface.co/relaxml