抱歉，您的浏览器无法访问本站

Megatron TEP 小白帮小白, 从我一个小白的视角记录我想要知道的东西, 希望能”模式匹配”帮助下一个小白 Megatron源码解析(overview版) 所谓简单三步就是: 数据并行, 流水并行, 张量并行 这里将简单理清Megatron实现数据并行, 流水并行, 张量并行的整体逻辑, 但talk is cheap, 更详细的代码细节可以看完本文后分模块再去深究。 数据并行: ...

如何将梯度下降算法变成分布式的梯度下降算法 Scaling Distributed Machine Learning with the Parameter Server scheduler 通知所有worker加载数据, LoadData() 通知worker启动并分批处理小批量的数据, WorkerIteration(t) worker LoadData 读取对应块的数据 从ser...

The Hapdoop Distributed File System论文笔记三类分布式存储系统的区别有三类存储系统：块存储系统, 对象存储系统, 文件存储系统。块存储面向的用户是软件系统，文件存储面向的用户的人，对象存储面向的用户是其他计算机软件 文件存储 数据存储在文件系统上，用户通过文件路径索引获取到文件，底层文件系统会解析文件系统会以目录树的方式解析文件系统 优点：用户可以以”目录...

MIT6.824 lab 2 记录与bug总结两个主要问题：乱序RPC和”Figure 8问题”(小论文Figure 8, 大论文Figure 3.7) 两阶段写中间有gap，你以为的原子也许不那么原子不那么livenss 论文Figure 8中描述的问题Figure8问题：leader的日志被另一个leader的日志覆盖 根源: 两阶段写, 而中间gap时没”互斥” 举个例子： 123...

MIT6.824 lab 3B bug总结记录 到目前lab3为止，可以导致状态变更的，有潜在是不一致风险的事件有：状态变更，日志追加，日志恢复 这些事件在我看来是类似操作系统中”中断”的存在，但我目前还无法用我的语言来抽象概括，大概是要防止mock的序列被破坏吧，总之需要多加小心 bug总结概括：引入”Snapshot中断”后，对整个raft集群状态的控制大失败。TODO：抽象 lab2...

MIT6.824 lab 3A 记录与bug总结debug真的很搞心态，不过对理解很有帮助(我觉得，当然看别经验贴可能效率会更高)。anyway如果一次都没跌倒过，我也许永远都注意不到这些bug呢 所以这里 严重剧透警告， 严重剧透警告 ， 严重剧透警告 欢迎批评指正，欢迎讨论补充，欢迎分享自己遇到的corner case 3Afuck the lab 出问题时不要害怕再次重头阅读你写的代...

Abstract分布式数据处理的设计存在很多挑战，如：大数据如何分割、如何设计并行计算、如何处理故障、负载均衡等。MapReduce是一种变成模型，使用MR来隐藏这些繁琐的细节，用户端使用MR的库，只需要考虑Map函数和Reduce函数的设计，就可以方便高效得做一些分布式的数据处理。 MapReduce的本质上也是一种分治(Divide and Conquer)思想。 Preface基本模型...

Abstract传统的：租用多台云主机，每台云主机安装OS，在使用一些分布式框架实现在这些OS的相互配合。这么做存在诸多问题，一方面分布式框架的使用和设计会增加开发者的门槛，另一方面，在超大规模的分布式环境下分布式的复杂性、操作难度都会进一步增加。 于是为了克服分布式系统带来的问题，隐藏分布式系统的复杂性，人们首先提出了SSI(Single System Image)，意图实现操作多个分布式...

Abstract一个网页为了应对高并发的情景，常常会使用多台后台服务器还处理用户的响应，这种增加节点个数的扩展方式就称为”水平扩展”。而即使后台使用了成百上千台服务器，用户可以不需要跟每个服务器沟通的细节，不需要知道每个服务器的ip地址。这是正是因为在用户与服务器之间存在一个代理(proxy)，代理用户跟服务器通信。代理服务器中记录和保存了后台服务器的信息，怎么跟后台服务器通信、跟哪个后台服...