相关阅读
相关 MySQL：数据丢失并恢复的实践案例
在MySQL数据库管理中，数据丢失和恢复是一个常见但关键的问题。以下是一些实际案例： 1. **备份恢复**： - 案例一：开发人员在执行SQL操作时失误，导致部分数据
深藏阁楼爱情的钟相关 1、分布式锁实现原理与最佳实践（一）
在单体的应用开发场景中涉及并发同步时，大家往往采用Synchronized（同步）或同一个JVM内Lock机制来解决多线程间的同步问题。而在分布式集群工作的开发场景中，就需要一
电玩女神相关 分布式训练-流水线并行
通常来讲，训练更大规模的网络模型可以在多种任务上取得更好的效果，如提升图像分类任务的准确率。然而，随着参数规模的扩大，AI 加速卡存储（如 GPU 显存）容量问题和卡的协同计算
相关 分布式训练-张量模型并行
通常来讲，训练更大规模的网络模型可以在多种任务上取得更好的效果，如自然语言处理类任务的准确率。然而，训练更大规模的网络模型会消耗更多的显存资源，甚至是超过单个设备的显存容量，从
相关 分布式训练-数据并行（4）：Gradient Merge
一、简介[¶][Link 1] 为了提升模型的性能，人们开始追求：更大规模的数据集、更深的网络层、更庞大的参数规模。但是随之而来的就是给模型训练带来了巨大的压力，因此分布
相关 分布式训练-数据并行（2）：前向重计算
一、原理介绍[¶][Link 1] 反向计算： 运行反向算子来计算参数(Parameter)的梯度。 优化： 应用优化算法以更新参数值 。 在前向计算过程中
相关 分布式训练-数据并行（3）：自动混合精度
传统上，深度学习训练通常使用 32 比特双精度浮点数`FP32` 作为参数、梯度和中间 Activation 等的数据存储格式。使用`FP32`作为数据存储格式，每个数据需要
相关 分布式训练-数据并行（1）：原理和实践案例
数据并行是深度学习领域最常用的并行方法。在此策略下数据集被平均分为多份，每个卡上保存完整的模型参数并独立处理一份子数据集，以加速模型训练过程。 一、原理介绍[¶][Link
相关 Zookeeper 与 Kafka (1) : 分布式一致性原理与实践
http://www.jianshu.com/p/fcc28b195fa9 多线程的最大副作用: `并发`. 如果多个逻辑控制流在时间上发生了重
相关 分布式系统原理 之1 数据分布方式
分布式系统原理 数据分布方式 1. 哈希方式 哈希方式是最常见的数据分布方式，其方法是按照数据的某一特征计算哈希值，并将哈希值与机器中的机器建立映射关系，从而
小鱼儿
还没有评论，来说两句吧...