MOSS模型结构

川长思鸟来 2023-09-27 19:07 144阅读 0赞

MOSS模型结构

""" PyTorch Moss model."""
    
    from typing import Optional, Tuple, Union
    
    import torch
    import torch.utils.checkpoint
    from torch import nn
    from torch.nn import CrossEntropyLoss
    import transformers
    from transformers.activations import ACT2FN
    from transformers.modeling_utils import PreTrainedModel
    from transformers.modeling_outputs import BaseModelOutputWithPast, CausalLMOutputWithPast
    from transformers.utils import (
        add_code_sample_docstrings, 
        add_start_docstrings, 
        add_start_docstrings_to_model_forward, 
        logging
    )
    
    from .configuration_moss import MossConfig
    
    logger = logging.get_logger(__name__)
    
    _CHECKPOINT_FOR_DOC = "fnlp/moss-moon-003-base"
    _CONFIG_FOR_DOC = "MossConfig"
    
    
    MOSS_PRETRAINED_MODEL_ARCHIVE_LIST = [
        "fnlp/moss-moon-003-base",
        "fnlp/moss-moon-003-sft",
        "fnlp/moss-moon-003-sft-plugin",
        "fnlp/moss-moon-003-sft-

发表评论取消回复

表情：

评论列表（有 0 条评论，144人围观）

还没有评论，来说两句吧...

相关阅读

相关大语言模型工程化服务系列之五-------复旦MOSS大模型fastapi接口服务

复旦MOSS大模型fastapi接口服务文章目录复旦MOSS大模型fastapi接口服务一、环境安装二、复旦MOSS大模型fastapi接

谁践踏了优雅/ 2024年03月16日 20:41/ 0 赞/ 44 阅读

相关大语言模型工程化服务系列之二--------MOSS微调数据清洗转换脚本

MOSS微调数据清洗转换脚本目前市面上的大模型微调开源项目数据格式都是三段式的，但是不适用于MOSS模型微调，今天给大家分享一个转换脚本 -------------

我不是女神ヾ/ 2024年03月16日 13:27/ 0 赞/ 67 阅读

相关 MOSS模型结构

MOSS模型结构 """ PyTorch Moss model.""" from typing import Optional, Tuple, Un

川长思鸟来/ 2023年09月27日 19:07/ 0 赞/ 145 阅读

相关 MOSS量化模型部署记录

一、MOSS仓库代码下载及环境准备下载本仓库内容至本地/远程服务器 `git clone https://github.com/OpenLMLab/MOSS.g

怼烎@/ 2023年09月27日 19:02/ 0 赞/ 31 阅读

相关领域模型的模型结构

common层通用工具层 domain层定义抽象的领域模型，抽象领域的能力和entity， resource层提供具体的领域层的实现类，外部接口、表

心已赠人/ 2022年09月07日 05:56/ 0 赞/ 227 阅读

相关 MOSS同步AD账户(三)

假如您的公司新入职了员工，部门经理或管理员向AD中加入了新员工的信息，那么怎么把新员工的账户同步到MOSS中呢？方法有2种，第一种方法是直接用代码开发实现，这种方法对于了解MO

￡神魔★判官ぃ/ 2022年04月03日 04:40/ 0 赞/ 268 阅读

相关 MOSS SDK学习笔记系列文章

MOSS是微软的一个门户等的产品，提供了很多SDK供调用在此记录我学习的过程，作为自己的一个总结。(本系列会不断更新) 1、[MOSS SDK学习(1)：Wi

落日映苍穹つ/ 2022年02月02日 07:29/ 0 赞/ 193 阅读

相关小心MOSS日志文件膨胀

最近为了项目的需要，在我本已不堪重负的本本上装了个AD和MOSS。MOSS装的是2007 SP1，然后打上了好几百兆的补丁，用了一下还勉强可以使用，就只有把本本作为MOSS的开

迷南。/ 2022年01月26日 12:23/ 0 赞/ 223 阅读

相关 WebPart of MOSS 2007

new project location and new name(EWAPlus) Solution\\Property\\Application assembl

以你之姓@/ 2021年11月29日 13:26/ 0 赞/ 239 阅读

相关 MOSS 工作流无法工作

　　这段时间一直在学习MOSS，上次公司打算搞一套协同办公司的系统，为此我就推荐了MOSS，说干就干，在WIN2008 X64上装了MOSS，刚开始还是可以，后来在学习到

た入场券/ 2021年11月02日 04:16/ 0 赞/ 382 阅读