本文目录一览：
在Linux中进行Hbase搭建
1、在Linux中进行Hbase搭建，需要按照以下步骤进行：准备工作：创建工作目录：在Linux系统中创建统一的工作目录，用于存放Hadoop、Zookeeper和Hbase的安装包及配置文件。下载必要软件包：下载serverjre、zookeeper和hbase的安装包。配置环境变量：Java环境：安装Java并配置JAVA_HOME环境变量，确保Java环境正确配置。
2、UbuntuLinux环境。hbase实验环境采用带桌面的UbuntuLinux环境，然后使用XfceTerminal命令行环境进行编译运行，查看运行结果，运行后可以截图并分享自己的实验成果。hbase实验好处：海量存储，hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。
3、日常无论测试环境还是生产环境，在进行多台服务器（集群）安装配置的时候，经常需要对集群内服务器SSH访问做免密码设置。比如Hadoop、HBase等集群的安装配置，或者多台服务器为便于后续运维也需要做SSH免密配置。结合近期搭建测试环境的过程，对如何快速给多台服务器做相互SSH访问免密配置做一个说明。
4、从Apache下载镜像中选择一个稳定的HBase版本，下载后缀为.tar.gz的二进制文件。将下载的文件解压到本地文件系统。设置环境变量：设置JAVA_HOME环境变量，指向包含JDK可执行文件的目录。这通常在conf/hbaseenv.sh文件中进行配置。配置HBase：编辑conf/hbasesite.xml文件，指定HBase的数据存储目录。
Hadoop安装-超详细
1、卸载系统自带的OpenJDK，以避免与Hadoop所需的Java版本冲突。安装Java 0_151版本，确保与Hadoop4版本的兼容性。传输安装包：使用WinSCP等工具将Hadoop安装包从Windows本机传输到CentOS虚拟机上。确保Hadoop安装包正确放置在指定目录下。
2、在单机模式下，Hadoop将在一个JVM中运行所有守护进程。无需额外配置，直接运行Hadoop命令即可。伪分布式模式：如果希望在Windows上模拟Hadoop集群环境，可以配置伪分布式模式。需要修改core-site.xml、hdfs-site.xml和mapred-site.xml等配置文件，设置集群的相关参数。启动HDFS和YARN等Hadoop服务。
3、Hadoop集群安装主要包括以下步骤：准备环境：选择一台机器作为Master节点，并创建hadoop用户。在Master和Slave节点上安装SSH服务和Java环境。Master节点安装Hadoop：在Master节点上下载并安装Hadoop。配置Hadoop的相关文件，如coresite.xml、hdfssite.xml等，以设置集群的基本信息和HDFS的配置。
Yarn集群搭建
在集群搭建过程中，遇到Hive on YARN任务执行问题。通过搜索发现，YARN节点选择依赖/etc/hosts文件。删除主机名相关配置，问题得以解决。同时，针对YARN并发度低的问题，在capacity-scheduler.xml文件中调整yarn.scheduler.capacity.maximum-am-resource-percent参数，重启集群后并发度提升，任务执行效率显著提高。
Spark安装——Standalone模式和YARN模式集群的步骤如下：Standalone模式安装步骤： 环境与版本准备： 从Linux浏览器下载spark0安装包，并将其移动至/opt目录后解压。配置Spark环境变量：在配置文件中添加Spark路径至环境变量，并确保其在Hadoop路径前。
单节点部署和standalone集群搭建为Flink提供了基本部署方式。单节点集群简化了部署流程，而standalone集群则更加灵活，支持资源管理。在搭建standalone集群时，需要准备三台Linux机器，并完成Flink的安装、配置文件修改、任务部署等步骤。Flink集群可实现高可用（HA）部署，通过配置和策略确保作业在集群中稳定运行。
yarn采用master/slave集群(主从架构)，ResourceManager(RM)为主，NodeManager(NM)为从。通常是一主多从集群，也可搭建RM的HA高可用集群。RM决定系统中所有应用程序之间资源分配的最终权限，NM负责管理本机器上的计算资源，并向RM汇报资源使用情况。
求助,在windows下安装hadoop遇到的一个问题
1、在安装Hadoop时，启动start-all.cmd可能会遇到被弃用的问题。在Linux中，如果命令被启用，只会提示，但不会导致问题，但在Windows中，可能会直接失效。因此，建议不要使用start-all命令启动Hadoop集群，因为这不利于理解整个集群的工作模式。
2、原因：节点间连通性不足。解决方法：检查并更新/etc/hosts文件，确保本机IP对应服务器名，并包含所有服务器的IP+服务器名。检查.ssh/authorized_keys文件，确保包含所有服务器的public key。reduce处理速度特别慢：解决方法：调整conf/hadoopenv.sh文件中的export HADOOP_HEAPSIZE值为4000。
3、首先，确保安装了JDK8版本并配置了环境变量。然后，从以下地址下载Hadoop的稳定版本：mirrors.tuna.tsinghua.edu.cn...进入stable目录，下载名为hadoop-0.tar.gz的文件，注意后续版本更新时需替换为最新版本号。接着，由于Hadoop在Windows上需要额外工具支持，下载Winutils。
4、在开发过程中，可能会遇到连接失败或部署不成功的问题。这时，可以检查网络连接是否正常，确保服务器和本地机器之间的网络畅通无阻。如果仍然无法解决问题，可以尝试重新输入用户名和密码，或者检查防火墙设置，确保允许SFTP连接。
5、先尝试点击开始运行中输入regsvr32 shimgvw.dll注入一下，看能不能打开。如果不能的话，在其他的电脑上打开C：/windows/system32目录，找到shimgvw.dll文件，把它复制到电脑相同目录下，再运行regsvr32 shimgvw.dll命令。
Centos7搭建伪分布
1、在 CentOS 7 上搭建伪分布环境的步骤包括：安装 CentOS 7：选择合适的镜像并设置路径完成安装。网络配置：切换至 root 用户，设置静态 IP 地址。若使用 VMware 平台，通过“编辑虚拟网络编辑器VMnet8NAT设置”进行配置。修改 IP 后，重启网络服务或计算机确保配置生效。
2、伪分布模式搭建：配置免密登录，修改hdfs配置文件并格式化HDFS，配置YARN，启动Hadoop集群并访问Web端。全分布模式搭建：环境准备包括网络和节点规划，使用XShell同步操作修改基本配置。配置Java、Hadoop环境变量及分布式集群，添加配置文件内容，格式化NameNode节点，启动集群并验证。