Con un poco de retraso, os voy a contar lo que dio de si la conferencia de Hortonworks en Berlin, donde se hablo mucho del GDPR y de la nube.
Vuelo relampago y me plante en Berlin, 3 anos despues de irme de alli.
Recordar como era y todo lo vivido, fue una maravilla, amen de los 24 grados de temperatura! todo una delicia para poder moverse por ahi en bici.
Desgraciadamente, por otros motivos, me perdi casi la mitad del primer dia y pude llegar solo algunas confenrencias y keynotes que me fueran de interes. Las cosas de alto nivel las deje para mi colega de viaje, que para eso el es el arquitecto y yo solo me ocupo de hacer que sus cosas corran mejor y mas rapido en nuestras maquinas.
Replicating Kafkas between several DCs towards a centralized Data Lake? Easy peasy! Or so I thought. This is the story of the harsh reality :)
Semana santa y yo con nuevas batallas que contar.
Me hayaba yo en el trabajo, pensando en que iba a invertir la calma que acompa;a a los dias de vacaciones que libremente podemos elegir trabajar y pense: No seria bueno terminar esa sincronizacion entre los servidores de mariaDB y HIVE?
Ya habia buscado algo de info al respecto en Enero hasta tenia una PoC montada con unas VM que volvi a encender, pero estaba todo podrido: no arrancaba, no funcionba ni siquiera me acordaba como lo habia hecho y el history de la shell er un galimatias. Decidi que si lo rehacia todo desde cero iba a poder dejarlo escrito en un playbook y ademas, aprenderlo y automatizarlo hasta el limite de poder desplegar de forma automatica on Ansible.
Here’s a quick one to kick off this category, “the quick ones”! And it’s so quick that I’m writing it while I compile the KafkaMirror client from Uber, uReplicator :)
Here’s another quick one, or super quick one. Do you need to delete a bunch of Kafka topics? Don’t want to go one by one? And you also want to do grep?
Kafka con varias NICs, la receta perfecta para sufrir :)
Un dia! un dia entero!
Eso es el tiempo que tuve que dedicar a bucear entre la documentacion de HortonWorks para encontrar una forma de publicar diferentes IPs en diferentes NICs en los nodos del cluster de Kafka y conseguir tener la red de Datos y la de Clientes diferenciada.
Para mas INRI, como esta gestionado con Ambari, no vale cambiar los ficheros de configuracion del Kafka a pelo…hay que hacer cositas.
Dale al boton de ▼ y descubrelo!
Vamos a crear un cluster de 3 nodos para Hadoop.
Por donde empiezo? ah si, es domingo, el sol brilla despues de varios dias de lluvia horrible y yo estoy solo de rodriguez en casa…que hacemos? aprovechar las horas muertas
y ponerme a montar ese clustercillo de nada que tenemos que preparar en $HouseOfCaos, para ver si el concepto nos gusta y podemos meterlo para todos los entornos de produccion, asi les damos un juguete nuevo a los $Devilopers.
Desde hace tiempo que he querido tener un blog tecnico donde pueda poner lo que
hago cada dia para ayudar a otra gente.
Suelo apoyarme en muchos blogs de otra gente pero casi siempre en ingles y creo
que habra muchos que no entiendan ingles y se lien.
Hive con LDAP como sistema de autenticacion
Hive permite varios sistemas de autenticacion, normalmente se usa kerberos para
estos menesteres, aunque a mi no me gusta kerberos. Demasiado overhead de complejidad
cuando tenemos SSL y podemos fortificar todo el cluster usando KNOX.
Asi que ahi va mi receta para hacerlo de forma facil con LDAP, luego a eso le sumamos
RANGER para la autorizacion y lo tenemos listo.
Hive con LDAP como sistema de autenticacion
Hive permite varios sistemas de autenticacion, normalmente se usa kerberos para
estos menesteres, aunque a mi no me gusta kerberos. Demasiado overhead de complejidad
cuando tenemos SSL y podemos fortificar todo el cluster usando KNOX.
Asi que ahi va mi receta para hacerlo de forma facil con LDAP, luego a eso le sumamos
RANGER para la autorizacion y lo tenemos listo.