Firefly多轮对话微调书生·浦语InternLM-7B实践

忘是亡心i 2024-02-19 10:25 140阅读 0赞

本篇文章主要介绍使用Firefly项目对书生·浦语InternLM-7B进行微调的工作。

图片

Firefly项目链接：

https://github.com/yangjianxin1/Firefly

firefly-internlm-7b模型权重：

https://huggingface.co/YeungNLP/firefly-internlm-7b

01

书生·浦语InternLM

InternLM ，即书生·浦语大模型，是由上海人工智能实验室开发的，包含面向实用场景的70亿参数基础模型与对话模型 （InternLM-7B）。模型具有以下特点：

  • 使用上万亿高质量语料，建立模型超强知识体系；
  • 支持8k语境窗口长度，实现更长输入与更强推理体验；
  • 通用工具调用能力，支持用户灵活自助搭建流程；

该团队还开源了大模型评测工具OpenCompass，并且有OpenCompass大模型排行榜，可以从学科综合能力、语言能力、知识能力、推理能力、理解能力五大能力维度对模型进行评测。

对于InternLM模型，官方提供的评测结果如下图所示，就该评测结果而言，InternLM-7B相比Baichuan-7B存在一定的优势。

发表评论

表情：
评论列表 （有 0 条评论，140人围观）

还没有评论，来说两句吧...

相关阅读

    相关 NLP多轮对话研究

    NLP学习 今天都在学习NLP的内容，现将今天学习和阅读过的一些不错的文章整理如下，以备后续参考阅读。 NLP Baidu 多轮对话实现 [https://a

    以你之姓@以你之姓@/ 0 赞/ 299 阅读