Configuración de Kafka: 4 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:42

Introducción:

Apache Kafka es un sistema de mensajería de código abierto escalable y de alto rendimiento desarrollado por Apache Software Foundation escrito en Scala. Apache Kafka está especialmente diseñado para permitir que un solo clúster sirva como la columna vertebral de datos central para un gran entorno. Tiene un rendimiento mucho mayor en comparación con otros sistemas de agentes de mensajes como ActiveMQ y RabbitMQ. Es capaz de manejar grandes volúmenes de datos en tiempo real de manera eficiente. Puede implementar Kafka en un solo servidor Apache o en un entorno agrupado distribuido.

Características:

Las características generales de Kafka son las siguientes:

Mensaje persistente en el disco que proporciona un rendimiento constante en el tiempo.

Alto rendimiento con estructuras de disco que admiten cientos de miles de mensajes por segundo.

El sistema distribuido se escala fácilmente sin tiempo de inactividad.

Admite múltiples suscriptores y equilibra automáticamente a los consumidores durante la falla.

Este tutorial muestra cómo instalar y configurar Apache Kafka en un servidor Ubuntu 16.04.

Requisitos

Un servidor Ubuntu 16.04.

Cuenta de usuario no root con privilegios de superusuario configurada en su servidor.

Paso 1: Introducción e instalación de Java

1) Comencemos asegurándonos de que su servidor Ubuntu 16.04 esté completamente actualizado

Puede actualizar su servidor ejecutando los siguientes comandos: -

sudo apt-get update -y

sudo apt-get upgrade -y

2) Instalación de Java

Verifique si su máquina tiene Java que ya está instalado o tiene una versión predeterminada de Java con el siguiente comando: -

java -version

Incluso si tiene java pero una versión inferior, tendrá que actualizarlo.

Puede instalar Java de la siguiente manera: -

sudo apt-get install default-jdk

O

Puede instalar Oracle JDK 8 utilizando el repositorio de PPA del equipo de Webupd8.

Para agregar el repositorio, ejecute el siguiente comando: -

sudo add-apt-repository -y ppa: webupd8team / java

sudo apt-get install oracle-java8-installer -y

Paso 2: Instale Zookeeper

¿Qué es Zookeeper?

Zookeeper es un servicio centralizado para mantener la información de configuración, nombrar, proporcionar sincronización distribuida y proporcionar servicios grupales. Todos estos tipos de servicios son utilizados de una forma u otra por aplicaciones distribuidas. Cada vez que se implementan, hay mucho trabajo para corregir los errores y las condiciones de carrera que son inevitables. Debido a la dificultad de implementar este tipo de servicios, las aplicaciones inicialmente suelen escatimar en ellos, lo que los hace frágiles ante la presencia de cambios y difíciles de administrar. Incluso cuando se realizan correctamente, las diferentes implementaciones de estos servicios generan complejidad en la administración cuando se implementan las aplicaciones.

Antes de instalar Apache Kafka, deberá tener zookeeper disponible y en ejecución. ZooKeeper es un servicio de código abierto para mantener la información de configuración, proporcionar sincronización distribuida, nombrar y proporcionar servicios grupales.

1) Por defecto, el paquete Zookeeper está disponible en el repositorio predeterminado de Ubuntu

Puede instalarlo ejecutando el siguiente comando: -

sudo apt-get install zookeeperd

Una vez finalizada la instalación, se iniciará automáticamente como un demonio. Por defecto, Zookeeper se ejecutará en el puerto 2181.

Puede probarlo ejecutando el siguiente comando:

netstat -ant | grep: 2181

La salida debería mostrarle que se está escuchando el puerto 2181.

Paso 3: Instale e inicie Kafka Server

Ahora que Java y ZooKeeper están instalados, es hora de descargar y extraer Kafka del sitio web de Apache.

1) Puede usar curl o wget para descargar Kafka: (Kafka versión 0.10.1.1)

Ejecute el siguiente comando para descargar la configuración de kafka: -

curl -O

O

wget

2) Cree un directorio para Kafka

A continuación, cree un directorio para la instalación de Kafka:

sudo mkdir / opt / kafka

cd / opt / kafka

3) Descomprima la carpeta descargada

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C / opt / kafka /

* Cambiar el nombre de usuario según su nombre de usuario

4) Inicie el servidor kafka

El siguiente paso es iniciar el servidor Kafka, puede iniciarlo ejecutando el script kafka-server-start.sh ubicado en el directorio /opt/kafka/kafka_2.11-0.10.1.1/bin/ usando el siguiente comando: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Compruebe si el servidor Kafka funciona bien

Ahora tiene un servidor Kafka ejecutándose y escuchando en el puerto 9092.

Ahora, podemos verificar los puertos de escucha:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Paso 4: pruebe su servidor Kafka

Ahora es el momento de verificar que el servidor de Kafka esté funcionando correctamente.

1) Crea un tema nuevo

Para probar Kafka, cree un tema de muestra con el nombre "prueba" en Apache Kafka con el siguiente comando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Comprueba si tu tema se creó correctamente

Ahora, pida a Zookeeper que enumere los temas disponibles en Apache Kafka ejecutando el siguiente comando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Publica un mensaje usando el tema que creaste

echo "hola mundo" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 --prueba de tema

4) Recibe el mensaje sobre el tema creado

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic testing - desde el principio

5) Para enviar un archivo usando kafka sobre un tema

kafka-console-producer.sh --broker-list localhost: 9092 - pruebas de tema