My Love

I will be stronger


  • 主页

  • 关于我

  • 标签

  • 分类

  • 归档

Docker技术的优缺点

发表于 2019-01-26 | 分类于 翻译
字数统计: 3.2k | 阅读时长 ≈ 14
信息来源:阮一峰每周分享 文章来源:Discussing Docker. Pros and Cons. Discussing Docker. Pros and Cons. 讨论一下Docker的优缺点Docker allows us to easily create reproducible environments for our application. We automate the setup of the environment and eliminate manual error- ...
阅读全文 »

MapReduce源码分析3-ReduceTask

发表于 2019-01-26 | 分类于 大数据
字数统计: 2.7k | 阅读时长 ≈ 13

之前介绍了 MapReduce 的原理、 MapReduce 任务的提交与切片以及Map 任务的执行者MapTask相关的源码,知道了 MapReduce 的原理并了解了部分 Map 任务源码的实现,这里分析一下具体执行 Reduce 任务的 ReduceTask 的源码,看一下 Reduce 任务的具体源码实现。

这是 MapReduce 源码分析系列的第三篇文章,有关 MapReduce 相关的所有内容可以到这里查看。


之前看到了 MapTask 任务的具体执行流程,Map 任务执行的输出的一个或多个结果最终会交给 Reduce 端,由 Reduce 汇聚处理之后输出。现在就看一下 ReduceTask 的具体源码,看一下 Reduce 端都做了些什么事。这里有关 Shuffle 的代码先不分析,主要看 Reduce 端的实现。

阅读全文 »

Codeabbey网站-涉及算法相关的题

发表于 2019-01-25 | 分类于 算法
字数统计: 1.3k | 阅读时长 ≈ 6

网站:Codeabbey

声明:这是算法相关的题,难度开始增加了。

补充:从这里开始全部是Java来写,以后的工作肯定是写Java多一些,所以也先练习一下Java。


阅读全文 »

Codeabbey网站-一些简单的题

发表于 2019-01-21 | 分类于 算法
字数统计: 4.9k | 阅读时长 ≈ 27

网站:Codeabbey

声明:这里仅仅是自娱自乐刷的一些题,很简单,基本是使用Python,后期准备转用java。

补充:这里前面的题目都比较简单,还没有碰到需要特别高深算法的题目,偶尔做一下主要是为了熟悉一些Java中复杂数据类型的使用方法。

补充2019-01-18:题目前面序号是题目对应的编号,这里没有按编号顺序是因为每道题的难度分值不同,这里是按难度分值进行排序的。


阅读全文 »

MapReduce源码分析2-MapTask

发表于 2019-01-20 | 分类于 大数据
字数统计: 4.3k | 阅读时长 ≈ 20

之前介绍了 MapReduce 的原理和 MapReduce 任务的提交与切片相关的源码,知道了MapReduce的原理,这里分析一下具体执行Map任务的MapTask的源码,看一下Map任务的具体源码实现。

这是 MapReduce 源码分析系列的第二篇文章,有关 MapReduce 相关的所有内容可以到这里查看。


在MapReduce 任务的提交与切片这篇文章中,从源码角度看了一遍 MapReduce 任务从创建到提交,然后分片的整个流程,了解了分片机制的具体实现。有关资源调度的内容非常复杂,这里先不展开,回头有时间再好好研究一下,下面介绍一下节点 Container 中执行 Map 任务的 MapTask 的源码实现。

阅读全文 »
1…456…17
Jony Chiao

Jony Chiao

bulabula

84 日志
12 分类
22 标签
GitHub E-Mail
© 2017 — 2022 Jony Chiao
访问人数 访问总量 次