Apache Phoenix 二级索引因为没有建立索引，组合条件查询效率较低，而通过使用Phoenix，我们可以非常方便地创建二级索引。Phoenix中的索引，其实底层还是表现为HBase中的表结构。这些索引表专门用来加快查询速度。一、索引分类全局索引本地索引覆盖索引函数索引二、索引分类_全局索引全局索引适用于读多写少业务全局索引绝大多数负载都发生在写入时，
......
402
0
0
2022-10-09
人工智能 (AI) 技术正在飞速发展。随着企业向自动化过渡，对AI技术的需求正在上升。AI在各个行业的垂直领域提供了前所未有的进步，包括广告、医疗、物流、运输等。由于人工智能技术的迅速采用，对训练数据集的需求呈指数级增长。为了使AI的预测更加通用和准确，许多公司正在通过发布跨各种模型运行的各种数据集来训练机器学习 (ML) 算法来进入市场。这些因素极大地促进
......
380
0
0
2022-10-08
前言2021大数据领域优质创作博客，带你从入门到精通，该博客每天更新，逐渐完善大数据各个知识体系的文章，帮助大家更高效学习。大数据常见端口汇总一、Hadoop50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： Journa
......
349
0
0
2022-10-08
HBase读取和存储数据的流程一、HBase读取数据的流程1、由客户端发起读取数据的请求, 首先先连接 zookeeper , 从zookeeper获取hbase:meta表被哪个regionServer所管理meta表中主要记录了 hbase中各个表有那些region,以及每个region被哪个regionServer所管理hbase中非常特殊的元数据存储
......
345
0
0
2022-10-08
HBase的原理及其相关的工作机制一、HBase的flush刷新机制(溢写合并机制)hbase2.0: flush溢写的流程说明flush溢写流程: hbase 2.0版本后的流程 随着客户端不断写入数据到达memStore中, memStore内存就会被写满(128M), 当memStore内存达到一定的阈值后,
......
332
0
0
2022-10-08
HBase的Bulk Load批量加载操作一、Bulk Load 基本介绍 很多时候，我们需要将外部的数据导入到HBase集群中，例如：将一些历史的数据导入到HBase做备份。我们之前已经学习了HBase的Java API，通过put方式可以将数据写入到HBase中
......
386
0
0
2022-10-08
HBase的协处理器(Coprocessor)一、起源Hbase 作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”难以执 行求和、计数、排序等操作比如，在旧版本的(<0.92)Hbase 中，统计数据表的总行数，需要使用 Counter 方法，执行一次 MapReduce Job 才能得到。虽然 HBase 在数据存储层中集成了 Map
......
358
0
0
2022-10-08
三.postman快捷功能在这一个部分中，我将介绍几个非常便捷的功能，只要你使用了它，你将能感受到这些功能所带给我们效率上的提升。 具体的功能如下 ：快速填写查询参数快速填写请求头快速实现添加一个请求如何继承集合认证批量断言快速查询和替换1. 快速填写查询参数查询参数在上面已经介绍过，在这里我们只说明postman填写查询参数的地方就是Params。&nbs
......
372
0
0
2022-10-08
🐇HBase的360度全面调优🐇一、⚡️通用调优⚡️1) NameNode的元数据备份使用SSD2) 定时备份NameNode上的元数据 每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。3)为NameNode指定多个元数据目录 使用dfs.name.dir或者dfs.namenode.
......
344
0
0
2022-10-08
消息队列和Kafka的基本介绍一、什么是消息队列 消息队列，英文名：Message Queue，经常缩写为MQ。从字面上来理解，消息队列是一种用来存储消息的队列 。来看一下下面的代码 上述代码，创建了一个队列，先往队列中添加了一个消息，然后又从队列中取出了一个消息。这说明了队列是可以用来存取消息的 总结: 消息队列指的就是将数据放置到一个队列中, 从队列一
......
463
0
0
2022-10-08
一、Kafka特点总结kafka是大数据中一款消息队列的中间件产品, 最早是有领英开发的, 后期将其贡献给了apache 成为apache的顶级项目kafka是采用Scala语言编写 kafka并不是对JMS规范完整实现 仅实现一部分 , kafka集群依赖于zookeeperkafka可以对接离线业务或者实时业务, 可以很好的和apache其他的软件进行集
......
309
0
0
2022-10-08
Kafka的集群搭建以及shell启动命令脚本编写一、搭建Kafka集群1、 将Kafka的安装包上传到虚拟机，并解压cd /export/software/
tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/
cd /export/server/kafka_2.12-2.4.1/
2、修改 server.prop
......
403
0
0
2022-10-08
弃用 MVC 之后怎么走？此时，我决定“让这一切见鬼去吧”。我构建了一个 Web 应用，没有使用 React、没有使用 Angular 也没有使用任何其他的 MVC 框架，通过这种方式，我看一下是否能够找到一种在 View 和底层 API 之间进行更好协作的方式。就 React 来讲，我最喜欢的一点在于 Model 和 View 之间的关联关系。React
......
390
0
0
2022-10-06
Kafka的shell命令使用一、创建topic创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。# 创建名为test的主题
bin/kafka-topics.sh --create --bootstrap-server node1:9092 --topic test
# 查看目前Ka
......
397
0
0
2022-10-06
安装Kafka-Eagle一、Kafka-eagle基本介绍 在开发工作中，当业务前提不复杂时，可以使用Kafka 命令来进行一些集群的管理工作。但如果业务变得复杂，例如 ：我们需要增加group、topic分区 ，此时，我们再使用命令行就感觉很不方便，此时，如果
......
370
0
0
2022-10-05