Databricks -- Caja negra?

Desde hace un tiempo para aca he interesado en conocer nuevas herramientas
un poco mas de las tipicas en el mundo de los datos, temas Cloud AWS, Azure y GCP y dentro de ellas soluciones orientadas a la ingenieria de datos.

Existen aplicaciones muy potentes que practicamente permiten realizar todo el proceso de ingesta, transformacion y servicio de datos, aplicando metodologias de arquitectura de datos, ya sea un DWH, una datalake o lake house.

Sin embargo exite una que en los ultimos meses me ha intrigado bastante, esta es databricks, sinceramente no sabia lo que era, entonces me puse hacer la tarea.