Sobre Spark, Impala, Tez y Hive

De esta entrevista con David Gruzman, el creador de ImpalaToGo se pueden extraer varios consejos sobre cuando aplicar estas tecnologías (evidentemente discutibles 🙂 )

· Spark es la opción más adecuada para procesamiento de datos interactivos y análisis a medida de data sets de tamaño moderado (que quedan en RAM).

· Impala es el único motor open-source SQL en la familia Hadoop. Es el más adecuado para consultas SQL sobre grandes volúmenes. Es también adecuado para consultas interactivas (online) con gran velocidad sobre grandes volúmenes

· Tez es adecuado como base para trabajar sobre Hive y Pig ya que optimiza el procesamiento de datos

· Hive es la plataforma más madura y la más lenta. Sigue siendo una buena opción para tareas ETL muy costosas donde la confiabilidad es importante.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: