在之前的例子中,完成了一个单机版的 Hadoop + HDFS + YARN 的搭建过程,并成功执行测试成功。
本例中将尝试搭建一个完全分布式的 Hadoop 集群,并验证测试。
Hadoop(4)
Hadoop(3)
yarn、history server、logs server
在上例中,测试了 HDFS 以及在 HDFS 下执行 MapReduce 示例。本例中,测试启动 YARN,并在 YARN 中执行 MapReduce 程序、并查看历史执行信息和执行日志信息
Hadoop(2)
伪分布式
配置伪分布式集群,需要注意修改对应的 hdfs 配置文件、JAVA_HOME、副本备份个数等信息。另外在启动集群之前,需要格式化 NameNode(只有第一次启动需要格式化)
Hadoop 学习(1)
基础概念、基础环境搭建安装、官方示例
RocketMQ(3) Rocket 集群
RocketMQ 集群模式分为四种:单 master
、多 master
、多 master 多 slave 异步复制
、多 master 多 slave 同步双写
RocketMQ(2) 顺序消息、事务消息
RocketMQ 顺序消息:消息有序是指可以按照消息发送顺序来消费。RocketMQ 可以严格的保证消息有序,但是这个顺序逼格不是全局顺序,只是分区(queue)顺序。要保证群居顺序,只能有一个分区。
RocketMQ(1) 环境搭建、基础运行
MQ 全称为 Message Queue
,是一种应用程序程序对应用程序的通信方式,应用程序通过读写出入队列的消息来通信,而无需专用连接来连接它们。消息传递指的是程序之间通过在消息中发送数据来进行通信,而不是通过直接调用来通信,直接调用通常用于诸如远程过程调用的技术。
Spring Cloud 微服务(34) --- APM(三)
Pinpoint
Pinpoint
是韩国人编写的 APM 系统,是一个分析大规模分布式系统的平台,并提供处理大量跟踪数据的解决方案。
Spring Cloud 微服务(33) --- APM(二)
SkyWalking
SkyWalking 是有个完整的 APM 系统,被用于追踪、监控、诊断分布式系统。
SkyWalking 整体由 4 个部分组成:collector
、agent
、web
、storage
。
应用级别的接入,可以使用 SDK 形式接入,也可以使用非侵入式的 Agent
形式接入。agent
将数据转化为 SkyWalking Trace 数据协议,通过 HTTP、gRPC 发送到 collector
,collector
对收集到的数据进行分析、整合,最后存储到 es 或 H2 中,一般情况下,H2 用于测试。
Spring Cloud 微服务(32) --- APM(一)
Sleuth
在微服务架构下,服务按照不同的纬度进行拆分,一次请求可能会涉及到多个服务,并且有可能是由不同的团队开发,可能使用不同的编程语言实现,有可能部署在几百台、几千台服务器上,横跨多个不同的数据中心。因此,需要一些可以帮助理解系统行为、分析性能问题的工具,以便在发生故障时,快速定位、解决问题。此类工具称为 APM