HBase-installasjon på Ubuntu

Innholdsfortegnelse:

Anonim

I denne opplæringen - vil du lære,

  • Apache HBase installasjonsmodus
  • Hvordan laste ned stabil filversjon av Hbase tar
  • Hbase - Installasjon av frittstående modus
  • Hbase - Pseudo Distribuert installasjonsmodus
  • Hbase - Fullt distribuert modusinstallasjon
  • HBase feilsøking for installasjon

Apache HBase installasjonsmodus

Apache HBase kan installeres i tre moduser. Funksjonene i disse modusene er nevnt nedenfor.

1) Installasjon av frittstående modus (ingen avhengighet av Hadoop-systemet)

  • Dette er standardmodus for HBase
  • Den kjører mot lokalt filsystem
  • Den bruker ikke Hadoop HDFS
  • Bare HMaster-demonen kan kjøre
  • Anbefales ikke for produksjonsmiljø
  • Kjører i enkelt JVM

2) Installasjon av pseudodistribuert modus (Single node Hadoop-system + HBase-installasjon)

  • Den kjører på Hadoop HDFS
  • Alle Daemons kjøres i en enkelt node
  • Anbefal for produksjonsmiljø

3) Fullt distribuert modusinstallasjon (MultinodeHadoop-miljø + HBase-installasjon)

  • Den kjører på Hadoop HDFS
  • Alle demoner kommer til å løpe over alle noder i klyngen
  • Sterkt anbefalt for produksjonsmiljø

For Hadoop-installasjon Se denne URLen her

Hvordan laste ned stabil filversjon av Hbase tar

Trinn 1) Gå til lenken her for å laste ned HBase. Det åpner en webside som vist nedenfor.

Trinn 2) Velg stabil versjon som vist nedenfor 1.1.2 versjon

Trinn 3) Klikk på hbase-1.1.2-bin.tar.gz. Den vil laste ned tar-fil. Kopier tarfilen til et installasjonssted.

Hbase - Installasjon av frittstående modus:

Installasjonen utføres på Ubuntu med Hadoop allerede installert.

Trinn 1) Plasser hbase-1.1.2-bin.tar.gz i / home / hduser

Trinn 2) Pakk den ut ved å utføre kommandoen $ tar -xvf hbase-1.1.2-bin.tar.gz . Det vil pakke ut innholdet, og det vil opprette hbase-1.1.2 på stedet / hjemme / hduser

Trinn 3) Åpne hbase-env.sh som nedenfor og nevn JAVA_HOME-banen på stedet.

Trinn 4) Åpne ~ / .bashrc-filen og nevn HBASE_HOME-banen som vist nedenfor

eksportere HBASE_HOME = / home / hduser / hbase-1.1.1 eksporter PATH = $ PATH: $ HBASE_HOME / bin

Trinn 5) Åpne hbase-site.xml og plasser følgende egenskaper i filen

hduser @ ubuntu $ gedit hbase-site.xml (kode som nedenfor)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Her plasserer vi to eiendommer

  • En for HBase rotkatalog og
  • Andre for datakatalog tilsvarer ZooKeeper.

Alle HMaster og ZooKeeper-aktiviteter peker på denne hbase-site.xml.

Trinn 6) Åpne vertsfilen til stede i / etc. plassering og nevn IP-ene som vist nedenfor.

Trinn 7) Kjør nå Start-hbase.sh i hbase-1.1.1 / bin plassering som vist nedenfor.

Og vi kan sjekke med jps-kommandoen for å se HMaster kjører eller ikke.

Trinn 8) HBase-skall kan starte med å bruke "hbase shell", og det vil gå inn i interaktiv skallmodus som vist på skjermbildet nedenfor. Når den er i shell-modus, kan vi utføre alle typer kommandoer.

Den frittstående modusen krever ikke at Hadoop-demoner starter. HBase kan kjøre uavhengig.

Hbase - Pseudo Distribuert installasjonsmodus:

Dette er en annen metode for installasjon av Apache Hbase, kjent som Pseudo Distribuert installasjonsmodus. Nedenfor er trinnene for å installere HBase gjennom denne metoden.

Trinn 1) Plasser hbase-1.1.2-bin.tar.gz i / home / hduser

Trinn 2) Pakk den ut ved å utføre kommandoen $ tar -xvf hbase-1.1.2-bin.tar.gz . Det vil pakke ut innholdet, og det vil opprette hbase-1.1.2 på stedet / hjemme / hduser

Trinn 3) Åpne hbase-env.sh som følger nedenfor, og nevn JAVA_HOME-banen og områdeserverbanen på stedet og eksporter kommandoen som vist

Trinn 4) I dette trinnet skal vi åpne ~ / .bashrc-filen og nevne HBASE_HOME-banen som vist på skjermbilde.

Trinn 5) Åpne HBase-site.xml og nevn egenskapene nedenfor i filen. (Kode som nedenfor) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Sette opp Hbase-rotkatalog i denne egenskapen
  2. For distribuert oppsett må vi sette denne eiendommen
  3. ZooKeeper quorum-eiendom bør settes opp her
  4. Replikering satt opp gjort i denne egenskapen. Som standard plasserer vi replikering som 1.

    I fullt distribuert modus er det flere datanoder til stede slik at vi kan øke replikasjonen ved å plassere mer enn 1 verdi i dfs.replication-egenskapen

  5. Klientporten bør nevnes i denne eiendommen
  6. ZooKeeper datakatalog kan nevnes i denne eiendommen

Trinn 6) Start Hadoop-demoner først, og start deretter HBase-demoner som vist nedenfor

Her må du først starte Hadoop-demoner ved å bruke kommandoen "./start-all.sh" som vist nedenfor.

Etter å ha startet Hbase-demoner av hbase-start.sh

Sjekk nå jps

Hbase - Fullt distribuert modusinstallasjon: -

  • Denne konfigurasjonen vil fungere i Hadoop-klyngemodus der flere noder gyter over klyngen og kjører.
  • Installasjonen er den samme som pseudodistribuert modus; den eneste forskjellen er at den vil gyte over flere noder.
  • Konfigurasjonsfilene nevnt i HBase-site.xml og hbase-env.sh er de samme som nevnt i pseudomodus.

HBase feilsøking for installasjon

1) Problemerklæring: Hovedserver initialiseres, men regionserver initialiseres ikke

Kommunikasjonen mellom hoved- og regionservere gjennom IP-adressene. Som måten Master skal lytte til at regionserverne kjører eller har IP-adressen 127.0.0.1. IP-adressen 127.0.0.1 som er den lokale verten og løser til hovedserverens egen lokale vert.

Årsaken:

I dobbel kommunikasjon mellom regionservere og master informerer regionserver kontinuerlig Master-serveren om deres IP-adresser er 127.0.0.1.

Løsning:

  • Må fjerne hovedservernavnoden fra lokal vert som er tilstede i vertsfilen
  • Vertsfilplassering / etc / hosts

Hva du skal endre:

Åpne /etc./hosts og gå til dette stedet

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Endre konfigurasjonen ovenfor som nedenfor (fjern regionens servernavn som fremhevet ovenfor)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Problemstilling: Fant ikke adressen min: XYZ i listen over Zookeeper quorum-servere

Årsaken:

  • ZooKeeper-serveren kunne ikke starte, og den vil kaste en feil som .xyz i navnet på serveren.
  • HBase prøver å starte en ZooKeeper-server på noen maskiner, men samtidig kan ikke maskinen finne seg selv kvorumkonfigurasjonen, dvs. til stede i konfigurasjonsfilen HBase.zookeeper.quorum .

Løsning:-

  • Må erstatte vertsnavnet med et vertsnavn som presenteres i feilmeldingen
  • Anta at vi har DNS-server, så kan vi sette konfigurasjonene nedenfor i HBase-site.xml.
    • HBase.zookeeper.dns.grensesnitt
    • HBase.zookeeper.dns.nameserver

3) Problemstilling: Opprettet rotkatalog for HBase gjennom Hadoop DFS

  • Master sier at du må kjøre HBase-migrasjonsskriptet.
  • Når du kjører det , svarer HBase-migrasjonsskriptet som ingen filer i rotkatalogen .

Årsaken:

  • Oppretting av ny katalog for HBase ved hjelp av Hadoop Distribuert filsystem
  • Her forventer HBase to muligheter

1) Rotkatalogen eksisterer ikke

2) HBase forrige kjører forekomst initialisert før

Løsning:

  • Gjør samsvar HBase-rotkatalogen ikke eksisterer for øyeblikket eller har blitt initialisert av en tidligere kjøring av HBase-forekomst.
  • Som en del av løsningen må vi følge trinnene

Trinn 1) Bruk Hadoop dfs til å slette HBase-rotkatalogen

Trinn 2) HBase oppretter og initialiserer katalogen av seg selv

4) Problemstilling: Zookeeper-sesjonen utløpte hendelser

Årsaken:

  • HMaster- eller HRegion-servere stenger ved å kaste unntak
  • Hvis vi observerer logger, kan vi finne ut de faktiske unntakene som kastet

Følgende viser unntaket som ble kastet på grunn av Zookeeper utløpt hendelse. De uthevede hendelsene er noen av unntakene som oppstod i loggfilen

Loggfiler koden som vist nedenfor:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Løsning:

  • Standard RAM-størrelse er 1 GB. For å gjøre langvarig import har vi opprettholdt RAM-kapasitet på mer enn 1 GB.
  • Må øke øktens tidsavbrudd for Zookeeper.
  • For å øke økt tid ut av Zookeeper, må vi endre følgende egenskap i "hbase-site.xml" som finnes i hbase / conf mappebane.
  • Standard tidsavbrudd for økt er 60 sekunder. Vi kan endre det til 120 sekunder som nevnt nedenfor
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000