Need help with bigdata_docker?
Click the “chat” button below for chat support from the developer who created it, or find similar developers for support.

About the developer

fabiogjardim
154 Stars 68 Forks 78 Commits 0 Opened issues

Description

Big Data Ecosystem Docker

Services available

!
?

Need anything else?

Contributors list

BIG DATA ECOSYSTEM COM DOCKER

Ambiente para estudo dos principais frameworks big data em docker.
Esse setup vai criar dockers com os frameworks HDFS, HBase, Hive, Presto, Spark, Jupyter, Hue, Mongodb, Metabase, Nifi, kafka, Mysql e Zookeeper com a seguinte arquitetura:

Ecossistema

SOFTWARES NECESSÁRIOS

Para a criação e uso do ambiente vamos utilizar git e docker

OBS: Existe um git na instação do Docker ToolBox, caso já tenha instalado não precisa instalar novamente

SETUP

OBS: Esse passo deve ser realizado apena uma vez. Após o ambiente criado, utilizar o docker-compose para iniciar os containers como mostrado no tópico INICIANDO O AMBIENTE

Criação do diretório docker:

OBS: A criação do diretório é importante para os mapeamentos necessários

  • No Windows:

    • Criar na raiz do seu drive o diretório docker ex: C:\docker
  • No Linux:

    • Criar o diretório na home do usuário ex: /home/user/docker

Em um terminal/DOS, dentro diretório docker, realizar o clone do projeto no github

      git clone https://github.com/fabiogjardim/bigdata_docker.git

No diretório bigdata_docker vai existir os seguintes objetos

ls

  • No Windows:

    Abrir o Docker Quickstart Terminal, isso fará com que a VM default seja criada no VirtualBox ls

    No DOS, dentro do diretório bigdatadocker, renomear o arquivo docker-composewindows.yml para docker-compose.yml

        move docker-compose_windows.yml docker-compose.yml
    

    Executar o arquivo virtualbox_config.bat
    O arquivo bat cria/reacria a VM default com disco de até 100GB, 8GB de memória, drive do repo compartilhado como /d e todas as portas necessárias mapeadas
    OBS: se o ser driver raiz for diferente de C:, alterar o arquivo virutalbox_config.bat na parte indicada no comentário. A memória também pode ser alterada no local indicado.
    ls

  • No Linux: Não é necessário alterar nem executar nada

INICIANDO O AMBIENTE

No Windows abrir o Docker Quickstart Terminal, do Linux um terminal

No terminal, no diretorio bigdata_docker, executar o docker-compose

      docker-compose up -d        

Verificar imagens e containers

     docker image ls

docker image ls

     docker container ls

docker container

SOLUCIONANDO PROBLEMAS

No Windows abrir o Docker Quickstart Terminal

Parar um containers

     docker stop [nome do container]      

Parar todos containers

     docker stop $(docker ps -a -q)

Remover um container

     docker rm [nome do container]

Remover todos containers

     docker rm $(docker ps -a -q)         

Dados do containers

     docker container inspect [nome do container]

Iniciar um container

     docker-compose up -d [nome do container]

Iniciar todos os containers

     docker-compose up -d 

Acessar log do container

     docker container logs [nome do container] 

Acesso WebUI dos Frameworks

  • HDFS http://localhost:50070
  • Presto http://localhost:8080
  • Hbase http://localhost:16010/master-status
  • Mongo Express http://localhost:8081
  • Kafka Manager http://localhost:9000
  • Metabase http://localhost:3000
  • Nifi http://localhost:9090
  • Jupyter Spark http://localhost:8889
  • Hue http://localhost:8888
  • Spark http://localhost:4040

Acesso por shell

##### HDFS

      docker exec -it datanode bash

##### HBase

      docker exec -it hbase-master bash

##### Sqoop

      docker exec -it datanode bash

##### Kafka

      docker exec -it kafka bash

Acesso JDBC

##### MySQL jdbc:mysql://database/employees

##### Hive

      jdbc:hive2://hive-server:10000/default

##### Presto

      jdbc:presto://presto:8080/hive/default

Usuários e senhas

##### Hue Usuário: admin Senha: admin

##### Metabase Usuário: [email protected] Senha: bigdata123

##### MySQL Usuário: root Senha: secret

##### MongoDB Usuário: root Senha: root Authentication Database: admin

Imagens

Docker Hub

Documentação Oficial

  • https://zookeeper.apache.org/
  • https://kafka.apache.org/
  • https://nifi.apache.org/
  • https://prestodb.io/
  • https://spark.apache.org/
  • https://www.mongodb.com/
  • https://www.metabase.com/
  • https://jupyter.org/
  • https://hbase.apache.org/
  • https://sqoop.apache.org/
  • https://hadoop.apache.org/
  • https://hive.apache.org/
  • https://gethue.com/
  • https://github.com/yahoo/CMAK
  • https://www.docker.com/

We use cookies. If you continue to browse the site, you agree to the use of cookies. For more information on our use of cookies please see our Privacy Policy.