Apache Parquet es un formato de almacenamiento en columnas de código abierto que se utiliza para almacenar, gestionar y analizar de forma eficiente grandes conjuntos de datos. Las organizaciones utilizan diferentes formatos de archivo para satisfacer otras necesidades de datos. Parquet adopta un enfoque fundamentalmente diferente. Agrupa tipos de datos similares en columnas. Por ejemplo, al analizar las transacciones de los clientes, una base de datos de venta minorista que utilice Parquet puede acceder a columnas específicas, como fechas e importes de compra, sin cargar todo el registro de clientes.
Formato de almacenamiento en columnas: mientras que los formatos de archivo tradicionales almacenan datos en filas de forma muy parecida a las entradas de una hoja de cálculo, Parquet utiliza un formato de almacenamiento en columnas. Organiza tipos de datos similares juntos en columnas, lo que permite a Parquet leer solo los valores de columna relevantes.
Gestión de esquemas, metadatos y evolución
Gestión de esquemas y metadatos: cada archivo de Parquet incluye un esquema autodescriptivo, en realidad un plan de su estructura de datos. Estos metadatos ayudan a realizar consultas eficientes y permiten que los modelos de datos evolucionen a medida que cambian las necesidades empresariales.
Metadatos y estructura: Parquet genera metadata en tres niveles: a nivel de archivo, a nivel de columna y a nivel de página. Aquí se describe la importancia de cada nivel para la interpretación y el procesamiento eficiente de los datos.
Codificación y compresión: Parquet aplica un proceso de optimización en dos etapas. En primer lugar, utiliza esquemas de codificación como la codificación de longitud de ejecución (RLE) para representar eficazmente valores repetidos, especialmente valiosos para columnas con muchas entradas duplicadas.
Almacenamiento y compresión eficientes
Compresión eficaz: Parquet optimiza automáticamente el almacenamiento de datos mediante sofisticadas técnicas de compresión, lo que significa que reduce el tamaño de los archivos al eliminar la información duplicada innecesaria y almacenar los datos en un formato más eficiente desde el punto de vista del espacio.
Compresión por columna: la compresión se realiza columna por columna y se puede realizar utilizando uno de los varios códecs disponibles. Esto facilita una mayor ratio de compresión y una lectura selectiva más rápida.
Estructura del archivo Parquet
Al escribir datos en un archivo Parquet, el formato divide primero los datos en grupos de filas. Cada grupo de filas representa una unidad independiente del conjunto de datos, lo que permite un procesamiento paralelo y una gestión eficaz de la memoria para operaciones a gran escala.
Dentro de cada grupo de filas, el algoritmo de ensamblaje de Parquet reorganiza los datos por columnas en lugar de por filas. Los tipos de datos similares se agrupan en fragmentos de columna, lo que permite una codificación especializada en función de las características de los datos.
El formato crea metadatos completos, incluidos el esquema de archivo y los tipos de datos, estadísticas para cada columna, ubicaciones de grupos de filas y estructura. Al leer datos de Parquet, los motores de consulta acuden primero a los metadatos para identificar las columnas relevantes, y la estructura de datos puede hacer que la ejecución de consultas analíticas sea mucho más rápida.
Lectura eficiente y evolución de esquemas
Lectura selectiva: cuando las aplicaciones necesitan datos específicos, sólo acceden a las columnas relevantes, reduciendo los tiempos de consulta de horas a minutos. A diferencia de los formatos más simples, Parquet puede administrar de manera eficiente estructuras de datos anidadas y matrices comunes en las aplicaciones modernas.
Integración con el ecosistema: la integración nativa de Parquet con Hadoop lo hace especialmente eficaz para el procesamiento de big data. Dado que Parquet fue creado para el sistema de archivos distribuidos Hadoop (HDFS), suele funcionar mejor que los formatos de archivos tradicionales en entornos Hadoop.
Parquet frente a otros formatos
Parquet y los marcos de proceso: Las arquitecturas de datos modernas a menudo requieren una integración perfecta de herramientas, que Parquet ofrece a través del soporte nativo para los principales marcos. La integración nativa de Parquet con Hadoop lo hace especialmente eficaz para el procesamiento de big data. Las canalizaciones de datos modernas con frecuencia utilizan Parquet como formato intermedio o de destino durante los procesos de extracción, transformación y carga (ETL).
Parquet frente a CSV y JSON: formatos tradicionales como CSV y JSON almacenan datos en filas, lo que los hace ideales para una transferencia de datos sencilla y una legibilidad humana. Sin embargo, Parquet ofrece ventajas significativas para analítica: lectura selectiva de columnas, compresión eficiente y mejor rendimiento en consultas analíticas al evitar leer datos irrelevantes.
Parquet y Delta Lake: Delta Lake es una capa de abstracción que agrega características transaccionales a Parquet, como ACID y evolución de esquemas, elevando la fiabilidad de data lakes y canalizaciones de datos.
Tipos de datos y metadata
Formato de datos y tipos soportados: Apache Parquet es un archivo binario de almacenamiento en columnas con tipos como BOOLEAN, INT32, INT64, INT96, FLOAT, DOUBLE y BYTE_ARRAY. Los metadatos de un archivo Parquet contienen información como la versión, el esquema, el tipo, entre otros puntos importantes, y siempre se graban después de los datos.
Detalle de metadata: Los metadatos se segmentan en tres partes: metadatos de archivo (FileMetaData), metadatos de columna (ColumnMetaData) y metadatos de encabezado de página (PageHeader). Se espera que la lectura de un archivo Parquet se realice inicialmente a través de los metadatos.
Codificación y ejecución eficiente
Codificación para páginas: Para representar los datos de manera más compacta dentro de las páginas de datos (data pages), Parquet utiliza tres piezas de información: los niveles de repetición, los niveles de anidación y los propios valores. Las codificaciones admitidas varían según el tipo de dato e incluyen PLAIN, Dictionary Encoding, Run Length / Bit Packing Hybrid, Delta Encoding, Delta-length byte array, Delta Strings y Byte Stream Split.
Desempeño de lectura: Parquet permite comprimir el bloque de datos de cada página y soporta varios algoritmos de compresión como Snappy, Gzip, LZO, BROTLI y ZSTD. Esta diversidad permite optimizar rendimiento y costo según el caso de uso.
Casos prácticos y consideraciones
Casos de lectura dirigida: Las consultas se pueden realizar directamente en columnas específicas, en lugar de realizar una búsqueda en todos los datos de los archivos. Esto se debe a que los archivos Parquet son autodescriptivos.
Ventajas en almacenamiento y procesamiento: Parquet es ideal para data lakes, pipelines de Spark y almacenamiento en Azure Databricks, donde Parquet es el formato subyacente para Delta Lake y facilita consultas analíticas rápidas.
Consideraciones de uso: Es importante considerar el tamaño del archivo, la compatibilidad de tipos complejos y la selección de códecs de compresión adecuados para optimizar tanto el almacenamiento como el rendimiento de las consultas.
Visores y herramientas relacionadas
Visores Parquet en línea y herramientas para inspeccionar: existen visores Parquet que permiten abrir archivos en el navegador, inspeccionar esquemas y previsualizar filas, sin necesidad de Python o Spark. Estos visores destacan por procesamiento local en el navegador para mantener la confidencialidad de datos.
Parquet en diferentes entornos: Parquet funciona bien con herramientas modernas de datos como Apache Spark, Delta Lake y plataformas de procesamiento en la nube. Su diseño columnar facilita la integración en canalizaciones de ETL y en flujos de trabajo de big data.
Resumen práctico
Apache Parquet es un formato de almacenamiento en columnas optimizado para cargas de trabajo analíticas. Permite a los motores de consulta leer solo las columnas necesarias y omitir los grupos de filas irrelevantes, lo que reduce significativamente los tiempos de ejecución y el costo de almacenamiento en discos. Su compatibilidad con esquemas evolutivos y su soporte para estructuras de datos anidadas lo convierten en una opción robusta para data lakes y entornos de big data.
Formato de archivo Parquet: ¡Explicado a un niño de 5 años!
Si este artículo ha sido útil, explore más sobre integraciones de Parquet con Delta Lake y marcos de procesamiento para ampliar su análisis de datos en entornos modernos.