在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

虛擬機:Hadoop集群的配置

如意 ? 來源:百家號 ? 作者:程序員陌然 ? 2020-07-01 14:14 ? 次閱讀

一、配置Hadoop集群主節點

修改hadoop-env.sh文件

先進入到主節點hadoop01解壓包etc/hadoop/目錄,使用vihadoop-env.sh指令打開hadoop-env.sh文件,找到JAVA_HOME參數位置,進入如下修改:

exportJAVA_HOME=/export/servers/jdk

修改core-site.xml文件

該文件是Hadoop核心配置文件,其目的是配置HDFS地址、端口號,以及臨時文件目錄。使用vicore-site.xml打開文件,配置內容如下

《configuration》

《property》

《name》fs.defaultFS《/name》《value》hdfs://hadoop01:9000《/value》

《/property》《property》《name》hadoop.tmp.dir《/name》《value》/export/servers/hadoop-2.9.1/tmp《/value》《/property》《/configuration》

修改hdfs-site.xml文件

主要是設置namenode和datanode進程,使用vihdfs-site.xml指令打開該配置文件,配置內容如下:

《configuration》《property》《name》dfs.replication《/name》《value》3《/value》《/property》《property》《name》dfs.namenode.secondary.http-address《/name》《value》hadoop02:50090《/value》《/property》《/configuration》

修改mapred-site.xml文件

該文件是MapReduce的核心配置文件,用于指定MapReduce運行時的框架,需要先通過cpmapred-site.xml.templatemapred-site.xml命令將文件復制并重命名為mapred-site.xml。接著,使用vimapred-site.xml指令打開mapred-site.xml文件進行修改,添加如下配置內容:

《configuration》《property》《name》mapreduce.framework.name《/name》《value》yarn《/value》《/property》《/configuration》

編寫yarn-site.xml文件

本文件是YARN框架的核心配置文件,需要指定YARN集群管理者,使用viyarn-site.xml指令打開該配置文件進行修改,添加如下配置內容:

《configuration》《property》《name》yarn.resourcemanager.hostname《/name》《value》hadoop01《/value》《/property》《property》《name》yarn.nodemanager.aux-services《/name》《value》mapreduce_shuffle《/value》《/property》《/configuration》

修改slaves文件

該文件用于記錄Hadoop集群所有從節點的主機名使用vislaves指令打開該配置文件進行修改,添加如下配置內容:

hadoop01hadoop02hadoop03

將配置文件發往各子節點,用scp命令如下:

scp/etc/profilehadoop02:/etc/profilescp/etc/profilehadoop03:/etc/profilescp-r/export/hadoop02:/scp-r/export/hadoop03:/

發送完配置文件后,要去相應的子節點進行更新,指令如下:

source/etc/profile

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 虛擬機
    +關注

    關注

    1

    文章

    917

    瀏覽量

    28196
  • 配置
    +關注

    關注

    1

    文章

    188

    瀏覽量

    18382
  • Hadoop
    +關注

    關注

    1

    文章

    90

    瀏覽量

    15984
收藏 人收藏

    評論

    相關推薦

    hadoop需要什么基礎

    :⑦ 需要掌握虛擬機;⑧ 需要安裝linux操作系統⑨ 需要配置虛擬機網絡除了上述這幾個方面,我們還需要了解hadoop的單機模式、偽分布模式和分布式模式的搭建方式。了解MapRedu
    發表于 09-20 16:00

    Hadoop集群環境部署說明

    Hadoop集群環境搭建是很多學習hadoop學習者或者是使用者都必然要面對的一個問題,網上關于hadoop集群環境搭建的博文教程也蠻多的。
    發表于 10-12 15:51

    超詳細Dkhadoop虛擬機圖文安裝步驟

    時經驗為基礎,給大家整理分享虛擬機的安裝、操作系統安裝、服務器操作系統配置、DKH系統安裝等相關內容。文章篇幅可能會比較長,所以每篇就只分享一到兩個點。本篇給大家分享DKHadoop虛擬機的環境安裝
    發表于 01-07 15:57

    超詳細hadoop集群服務器安裝配置教程

    虛擬機以及Linux系統安裝在之前的兩篇分享中已經詳細的介紹了方法,并且每一步的都配圖了。如果有朋友還是看不懂,那我也愛莫能助了。本篇主要就hadoop服務器操作系統配置進行詳細說明,hado
    發表于 01-23 15:22

    hadoop集群配置方法

    hadoop集群配置
    發表于 09-30 14:16

    求一種基于集群的技術和基于虛擬機重啟的技術

    什么是IBM Power Systems的地理分散彈性?災難恢復和高可用性(HA)解決方案主要基于兩種技術:基于集群的技術和基于虛擬機重啟的技術。 群集高可用性和災難恢復解決方案通常會部署冗余的硬件
    發表于 12-29 06:23

    基于Ubuntu的Hadoop集群安裝與配置

    基于Ubuntu的Hadoop集群安裝與配置
    發表于 09-08 14:20 ?8次下載
    基于Ubuntu的<b class='flag-5'>Hadoop</b><b class='flag-5'>集群</b>安裝與<b class='flag-5'>配置</b>

    如何搭建hadoop平臺_hadoop平臺搭建步驟

    如何搭建hadoop平臺如下所示,一、虛擬機及系統安裝二、在虛擬機配置JAVA環境三、修改hosts...
    發表于 01-02 09:29 ?9176次閱讀

    你會用VMware虛擬機安裝Linux系統?

    由于要搭建Oracle RAC集群需要模擬環境,所以需要利用VMware虛擬機安裝集群節點環境,本章節介紹如何利用VWware虛擬機安裝centos系統(Linux)。
    發表于 05-13 10:27 ?2675次閱讀
    你會用VMware<b class='flag-5'>虛擬機</b>安裝Linux系統?

    虛擬機:Ubuntu配置Android Studio的步驟

    虛擬機:Ubuntu配置Android Studio的步驟
    的頭像 發表于 06-22 09:43 ?2831次閱讀

    虛擬機:Ubuntu配置gitweb的步驟

    虛擬機:Ubuntu配置gitweb的步驟
    的頭像 發表于 06-22 16:30 ?2615次閱讀
    <b class='flag-5'>虛擬機</b>:Ubuntu<b class='flag-5'>配置</b>gitweb的步驟

    虛擬機:Ubuntu的基本配置

    虛擬機:Ubuntu的基本配置的基本配置
    的頭像 發表于 06-22 16:52 ?3097次閱讀

    虛擬機:為icescrum 配置MySQL

    虛擬機:為icescrum 配置MySQL
    的頭像 發表于 06-22 16:57 ?2146次閱讀
    <b class='flag-5'>虛擬機</b>:為icescrum <b class='flag-5'>配置</b>MySQL

    虛擬機Hadoop集群的測試

    通過前面的學習,此時還不能直接啟動集群,因為在初次啟動HDFS集群時,編寫對主節點進行格式化處理
    的頭像 發表于 07-01 13:03 ?2531次閱讀

    虛擬機Hadoop集群的搭建

    虛擬機Hadoop集群的搭建
    的頭像 發表于 07-01 13:03 ?3202次閱讀
    <b class='flag-5'>虛擬機</b>:<b class='flag-5'>Hadoop</b><b class='flag-5'>集群</b>的搭建
    主站蜘蛛池模板: 色老头免费视频| 皇帝受h啪肉np文| 高清一区二区| 日韩精品网址| bt 电影天堂| www.九色视频| 国产伦精一区二区三区| 在线黄网| 婷婷丁香综合| 男人你懂的网站| 天天爽天天色| 双性人皇上被c到哭| 欧美黄色片免费看| 国产毛片农村妇女系列| 国产大毛片| 亚欧美色| luxu259在线中文字幕| 欧美操穴| 欧美一区二区高清| 手机看片1024在线观看| xxⅹ丰满妇女与善交| 色综合一区二区三区| 玖玖在线免费视频| 黄色三级免费网站| 亚洲成人国产| 91极品视频在线观看| 一区二区三区四区视频在线观看| 精品国产第一国产综合精品gif| 国产精品视频久久久久| 在线成人欧美| 欧美成人精品一区二区| 天天摸天天操天天爽| 精品一区二区三区视频| 韩国黄色三级视频| 日日干夜夜操视频| 亚洲香蕉影院| 黄色免费三级| 视频在线高清完整免费观看| 色综合视频在线观看| 色干干| 午夜两性色视频免费网站|