Pipeline, término en inglés que puede traducirse como “tubería”, en el concepto de la arquitectura de la informática se utiliza para hacer referencia a una arquitectura de microprocesadores, tarjetas gráficas y software. Los cálculos que se realizan en el proceso de programación deben sincronizarse con un reloj para evitar los tramos más recargados que se detectan entre dos registros.
El pipeline en una la arquitectura informática (basada en filtros) consiste en ir transformando un flujo de datos en un proceso comprendido por varias fases secuenciales, siendo la entrada de cada una la salida del anterior proceso.
En arquitectura informática es muy común aplicar los pipelines informatica al desarrollar programas para el intérprete de comandos, ya que se pueden conectar comandos fácilmente con tuberías (pipe). Tambié esta orientado los pipelines a procesamiento de datos, es común que los pipelines permite gestionar y orquestar la ejecución de un conjunto de tareas y actividades relacionadas una carga de trabajo en lugar de ejecutar tareas individualmente y gestionar los resultados de ejecución por separado.
Tipos de pipelines orientado a datos.
Pipelines en tiempo real:
Se utiliza a menudo en sectores financiero o empresas que procesan datos directamente a través de servicios de streaming, como los de análisis y elaboración de informes meteorológicos, es decir, esté sistema procesa datos instantáneamente a través de una arquitectura con capacidad para procesar millones de eventos a escala y proporcionar información fiable en tiempo record.
Pipelines de código abierto:
Los pipelines de código abierto está orientado a un sistema económico que usualmente emplean las pequeñas, medianas empresas y el público general para mover el procesamiento y almacenamiento de datos. Las herramientas que se emplean para facilitar este tipo de pipeline resultan más asequibles que las que ofrecen sistemas de pipeline de datos en tiempo real o basados en la nube.
Pipelines en la nube:
Los pipelines en la nube, hace mención que su finalidad consiste en procesar, transformar y analizar datos basados en la nube, es decir, elimina la infraestructura de almacenamiento local (On Premise), las empresas pueden recopilar y analizar datos en una estructura basada en la nube. Hoy en día los pipelines nativos de la nube a menudo incluyen extensas ofertas de seguridad debido a la naturaleza de los servicios que ofrece el cloud computing.
Pipelines de procesamiento por lotes:
Los pipelines de procesamiento por lotes constituyen una de las opciones más populares de los sistemas de almacenamiento de pipelines de datos, es decir, para mover y almacenar cantidades masivas de datos de forma homogénea, las empresas utilizan los sistemas de pipeline de procesamiento por lotes para traducir y mover sus datos con el fin de analizarlos y almacenarlos de forma más lenta que con los sistemas en tiempo real debido a la gran volumetría de datos que se mueve.
Pipelines de transmisión:
Los pipelines de transmisión y pipelines de procesamiento por lotes, son las dos formas existentes más comunes de pipelines de datos, teniendo en cuenta, que los pipelines de transmisión permiten a los usuarios procesar datos tanto estructurados y no estructurados de diversos orígenes de datos.
0 Comentarios