MOSS模型结构

川长思鸟来 2023-09-27 19:07 105阅读 0赞

MOSS模型结构

""" PyTorch Moss model."""
    
    from typing import Optional, Tuple, Union
    
    import torch
    import torch.utils.checkpoint
    from torch import nn
    from torch.nn import CrossEntropyLoss
    import transformers
    from transformers.activations import ACT2FN
    from transformers.modeling_utils import PreTrainedModel
    from transformers.modeling_outputs import BaseModelOutputWithPast, CausalLMOutputWithPast
    from transformers.utils import (
        add_code_sample_docstrings, 
        add_start_docstrings, 
        add_start_docstrings_to_model_forward, 
        logging
    )
    
    from .configuration_moss import MossConfig
    
    logger = logging.get_logger(__name__)
    
    _CHECKPOINT_FOR_DOC = "fnlp/moss-moon-003-base"
    _CONFIG_FOR_DOC = "MossConfig"
    
    
    MOSS_PRETRAINED_MODEL_ARCHIVE_LIST = [
        "fnlp/moss-moon-003-base",
        "fnlp/moss-moon-003-sft",
        "fnlp/moss-moon-003-sft-plugin",
        "fnlp/moss-moon-003-sft-

发表评论取消回复

表情：

评论列表（有 0 条评论，105人围观）

还没有评论，来说两句吧...

相关阅读

相关大语言模型工程化服务系列之五-------复旦MOSS大模型fastapi接口服务

复旦MOSS大模型fastapi接口服务文章目录复旦MOSS大模型fastapi接口服务一、环境安装二、复旦MOSS大模型fastapi接

谁践踏了优雅/ 2024年03月16日 20:41/ 0 赞/ 24 阅读

相关大语言模型工程化服务系列之二--------MOSS微调数据清洗转换脚本

MOSS微调数据清洗转换脚本目前市面上的大模型微调开源项目数据格式都是三段式的，但是不适用于MOSS模型微调，今天给大家分享一个转换脚本 -------------

我不是女神ヾ/ 2024年03月16日 13:27/ 0 赞/ 39 阅读

相关 MOSS模型结构

MOSS模型结构 """ PyTorch Moss model.""" from typing import Optional, Tuple, Un

川长思鸟来/ 2023年09月27日 19:07/ 0 赞/ 106 阅读

相关领域模型的模型结构

common层通用工具层 domain层定义抽象的领域模型，抽象领域的能力和entity， resource层提供具体的领域层的实现类，外部接口、表

心已赠人/ 2022年09月07日 05:56/ 0 赞/ 204 阅读

相关 MOSS同步AD账户(三)

假如您的公司新入职了员工，部门经理或管理员向AD中加入了新员工的信息，那么怎么把新员工的账户同步到MOSS中呢？方法有2种，第一种方法是直接用代码开发实现，这种方法对于了解MO

￡神魔★判官ぃ/ 2022年04月03日 04:40/ 0 赞/ 247 阅读

相关小心MOSS日志文件膨胀

最近为了项目的需要，在我本已不堪重负的本本上装了个AD和MOSS。MOSS装的是2007 SP1，然后打上了好几百兆的补丁，用了一下还勉强可以使用，就只有把本本作为MOSS的开

迷南。/ 2022年01月26日 12:23/ 0 赞/ 196 阅读

相关创建MOSS网站下的新闻

MOSS新闻中心的原理，跟普通的通知列表是不同的，MOSS新闻中每一条新闻即为一张页面，页面存储在站点的Pages文档库中。手工创建新闻网站操作，下选创建页面

迷南。/ 2022年01月09日 13:23/ 0 赞/ 196 阅读

相关 WebPart of MOSS 2007

new project location and new name(EWAPlus) Solution\\Property\\Application assembl

以你之姓@/ 2021年11月29日 13:26/ 0 赞/ 207 阅读

相关 MOSS 2007 性能及容量规划

Plan for software boundaries (MOSS 2007) 原文链接：[http://technet2.microsoft.com/Office/

分手后的思念是犯贱/ 2021年11月02日 05:10/ 0 赞/ 265 阅读

相关 MOSS 工作流无法工作

　　这段时间一直在学习MOSS，上次公司打算搞一套协同办公司的系统，为此我就推荐了MOSS，说干就干，在WIN2008 X64上装了MOSS，刚开始还是可以，后来在学习到

た入场券/ 2021年11月02日 04:16/ 0 赞/ 342 阅读