INTRODUCCIÓN DATA WAREHOUSE EN BIGQUERY

Queremos acelerar el talento en data y analytics en LATAM. Si te gusta el artículo recuerda que todos los meses tenemos inicios de nuestros programas especializados de Data Engineering, Data Analyst, Cloud y Machine Learning Engineer. Puedes conocer más aquí.

Definición de un Data Warehouse
Es el lugar en el que se almacena toda la información que se obtiene de las diferentes fuentes de la empresa. Asimismo, un Data Warehouse es el lugar en el que se concentran todos los datos con un diseño especial de centralización para explotar la información para diferentes propósitos, por ejemplo, la generación de reportes, el análisis de data, tableros de control, minería de datos, etc.

Imagen 1: recueprada del sitio web; https://gurussolutions.com/solutions/data-toolkit/bi-netsuite/data-warehouse

Características Data Warehouse
La principal idea de implementar un Data Warehouse es que debe haber un solo registro de cliente a pesar de que este cliente esté en varios sistemas de la base de datos. Por ello, debe contar con una información integrada; es decir, todos los aplicativos e información externa estén centralizadas y disponible para que los usuarios puedan tomar decisiones con datos de calidad.
El modelo de datos debe estar orientado al contextos de información del negocio. En otras palabras, debe haber solo una identidad de cliente, producto, puntos de venta, locales, etc.

Imagen 2: Creación propia

Los registros se actualizan menos en comparación con los sistemas transaccionales, ya que en los sistemas OLTP se realiza constantemente sentencias como insert, update y dalete sobre pequeñas cantidades de registros de datos; en cambio, en un Data Warehouse, se realizan operaciones a grandes, miles y millones de volúmenes de datos. En otras palabras, es muy poco común usar aquellas sentencias sobre registros puntuales. Almacena historia sobre lo cambios o nuevas versiones de los registros en el tiempo, que depende del movimiento y evolución que realiza un cliente en los registros.

Uso de BigQuery como Data Warehouse
BigQuery es un Data Warehouse multi cloud de alta escalabilidad, rentable y sin servidor. Del mismo modo, facilita procesar grandes volúmenes de datos a un menor precio. Las principales características son las siguientes:

Imagen 3: Recuperada del sitio web; https://k21academy.com/google-cloud/google-bigquery-cloud-data-warehouse/

ELASTICIDAD DE PROYECTOS

Se puede crecer en función a la demanda del negocio.
Es fácil dimensionar toda la infraestructura como la integración, explotación de datos y otros servicios que se pueden incorporar conforme se avanza.

EFICIENCIA DE COSTOS

Los costos son menores por los recursos en la nube, ya que no se cubre el tema de gestión, mantenimiento y administración como en una solución Sofware Local.
Los pagos son mensuales en función al consumo y uso de los recursos.
Se puede monitorear lo que vas consumiendo desde el uso de cuotas que dependen de cada área de la organización.

USABILIDAD DE LOS DATOS

Se puede trabajar con los recursos de forma rápida y cuando se requiere; es decir, no se invierte tiempo en instalación. Facilidad para compartir datos a los usuarios finales de manera más ágil y centralizada.
Permite proteger los datos internos de la organización para solo compartir información específica.

PROCESAMIENTO DE LOS DATOS

Procesa billones de registros en petabytes en pocos segundos. Soporte de procesamiento en streaming. Soporte de funciones analíticas que facilitan y optimizan el uso de los recursos.
Analiza los datos en grandes volúmenes de información. Soporta modelos de aprendizaje automático como BigQuery ML.

Imagen 5: Tomada del sitio web; https://dataedo.com/blog/3-google-bigquery-tools-everyone-should-know