博客
分类
标签
归档
友链
关于
Dark Mode
博客
分类
标签
归档
友链
关于
Dark Mode
Mens et Manus
如何将梯度下降算法变成分布式的梯度下降算法
如何将梯度下降算法变成分布式的梯度下降算法 Scaling Distributed Machine Learning with the Parameter Server scheduler 通知所有worker加载数据, LoadData() 通知worker启动并分批处理小批量的数据, WorkerIteration(t) worker LoadData 读取对应块的数据 从ser...
2023-05-09
Read More
大模型训练优化
大模型训练优化大模型现状处理大模型的主要办法是数据切分,然后做数据并行, 模型并行和张量并行。原理略 总结一下数据并行和模型并行存在的资源利用率问题: 数据并行 多个GPU上需要存储相同的模型,导致模型资源占用放大 每次迭代最后都有不小的模型同步开销 模型并行: 流水线并行 + 张量并行 大模型训练的流水线需要等待执行结果,无法多发射,导致资源闲置和利用率低 流水线各个阶段的负载不均匀...
2023-04-14
Read More
Tensorflow
基本操作图片读取展示1234import cv2 # 引入OpenCVimg = cv2.imread('path',1) # 读取图片,0是灰图,1是彩图cv2.imshow('image',img) # 'image'打开的窗体的标题,img展示的内容cv2.waitKey(0) # 暂停 cv.imread 过程:1文件读取 2封装格式解析 3数据解码 4数据加载 读写操作...
2019-09-19
Read More
Previous
2 / 2