从0开始搭建Alpaca

男娘i 2023-10-09 21:52 16阅读 0赞

## 前言 ##

接上篇，由于公司业务调整，老板让所有的开发开始学python，并一人分配了一个语言模型，要求进行自己尝试搭建部署，而分到我的是Alpaca。  
于是Java还没写明白，python才刚刚安装好的我，又要开始从无到有搭建大语言模型了，(这个B班真是一天都不想上了)奶思！

### 了解Alpaca ###

Alpaca建立在 Meta 的 LLaMA 之上，其唯一目标是使 LLM 更便宜。基于斯坦福大学研究中心所做的先前研究和基准。羊驼模型可以低至 600 美元进行再训练，考虑到由此带来的好处，这很便宜。

它们也是另外两个羊驼变种模型Alpaca.cpp和Alpaca-LoRA。使用 cpp 变体，您可以使用具有 4GB 权重的 M2 Macbook Air 在笔记本电脑上本地运行类似 Fast ChatGPT 的模型，当今大多数笔记本电脑都应该能够处理。CPP 变体结合了 Facebook 的 LLaMA、Stanford Alpaca、alpaca-Lora 以及相应的权重。您可以在此处找到有关如何进行微调的数据。

**资源**：  
[博客：斯坦福大学CRFM][CRFM]  
[GitHub：tatsu-lab/stanford\_alpaca][GitHub_tatsu-lab_stanford_alpaca]  
[Alpaca体验地址（官方演示已经丢失，这是Alpaca模型的再现）][Alpaca_Alpaca]

### 附录 ###

以下是本文借鉴参考的原文章，感谢各位大佬的文章分享：  
[开箱即用的ChatGPT替代模型，还可训练自己数据][ChatGPT]  
[从0到1复现斯坦福羊驼（Stanford Alpaca 7B）][0_1_Stanford Alpaca 7B]

[CRFM]: https://crfm.stanford.edu/2023/03/13/alpaca.html
[GitHub_tatsu-lab_stanford_alpaca]: https://github.com/tatsu-lab/stanford_alpaca
[Alpaca_Alpaca]: https://huggingface.co/spaces/tloen/alpaca-lora
[ChatGPT]: https://blog.csdn.net/weixin_46211269/article/details/130313338
[0_1_Stanford Alpaca 7B]: https://zhuanlan.zhihu.com/p/618321077