大语言模型工程化服务系列之二--------MOSS微调数据清洗转换脚本

我不是女神ヾ 2024-03-16 13:27 67阅读 0赞

## MOSS微调数据清洗转换脚本 ##

目前市面上的大模型微调开源项目 数据格式都是三段式的，但是不适用于MOSS模型微调，今天给大家分享一个转换脚本

--------------------

#### 文章目录 ####

*  MOSS微调数据清洗转换脚本
 *  一、原始的数据格式
 *  二、转换后的数据格式
 *  三、数据转换脚本
 *  总结

--------------------

## 一、原始的数据格式 ##

![在这里插入图片描述][2f988c22960c4b638b852a9cd3a12101.png]

## 二、转换后的数据格式 ##

![在这里插入图片描述][967e6cc8e87b434aa9648835ec14e671.png]

## 三、数据转换脚本 ##

代码如下（示例）：

import json
    
    # 读取原始JSON文件（使用UTF-8编码）
    with open('原始.json', 'r', encoding='utf-8') as source_file:
        data = json.load(source_file)
    
    # 初始化新的JSON数据列表 
    new_data_list = []
    
    # 遍历原始数据并将instruction和output值分别存储到新的JSON数据结构中
    for i, item in enumerate(data):
        new_data = {
        
            "conversation_id": str(i + 1),
            "meta_instruction": "You are an AI assistant...",
            "num_turns": 1,
            "chat": {
        
                f"turn_1": {
        
                    "Human": item["instruction"] + "<eoh>\n",
                    "Inner Thoughts": "<|Inner Thoughts|>: None<eot>\n",
                    "Commands": "<|Commands|>: None<eoc>\n",
                    "Tool Responses": "<|Results|>: None<eor>\n",
                    "MOSS": item["output"] + "<eom>\n"
                }
            },
            "category": "advice"
        }
        new_data_list.append(new_data)
    
    # 将新的JSON数据结构写入到新的JSON文件中（使用UTF-8编码）
    with open('moss格式的.json', 'w', encoding='utf-8') as new_file:
        json.dump(new_data_list, new_file, ensure_ascii=False, indent=2)

--------------------

## 总结 ##

想进入大模型微调，虚拟数字人，声音克隆等最新aigc生成技术讨论群的请私信我，拉你进群，帮助你快速掌握最新的技术，为找工作添砖加瓦

加我微信：Lh1141755859 获取chatgpt类对话大模型交流群  
关注微信公众号：CV算法小屋 获取更多最新大语言模型论文和代码

[2f988c22960c4b638b852a9cd3a12101.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/32cdde61415c4f83ae3e1626d1858c99.png
[967e6cc8e87b434aa9648835ec14e671.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/182f6ca8e0d5473cb000ad5b0e291aa5.png