Archivo de la etiqueta: data management

Libro: 20 cose da sapere sul Data Management

C’è stato un tempo in cui abbiamo detto alle aziende che dovevano esaminare i loro dati: è nata la business intelligence. C’è stato un tempo in cui volevamo democratizzare l’uso dei dati: è nata la data-driven. Dopo un po’, ci siamo resi conto che grazie alla virtualizzazione e al cloud non era necessario spostare i dati, ed è nata la Data Virtualization. Alcune persone mi dicono che fondamentalmente non è cambiato nulla. Abbiamo una tecnologia straordinaria: cloud computing, questo ha cambiato molte cose.

Non siamo nella «trasformazione digitale», non si tratta di qualcosa che arriva e a cui bisogna adattarsi, ma é meglio parlare di «abitudine all’evoluzione digitale». Perché si tratta di un processo continuo, non di un evento isolato. Un processo che ha bisogno della Data Governance così come ha bisogno di altri aspetti legati ai dati (Data Quality, Data Analysing, Data Virtualisation, ecc.).

Siamo nell’era dei metadati. Se è vero che la Business Intelligence ha cristallizzato la strategia (passando dal «cosa» fare al «come» farlo), la Virtualizzazione dei dati ha liberato i dati dai legami fisici; la Data Governance concentrerà i suoi sforzi sui metadati. Non importa più quanti dati possiamo gestire e come li gestiamo. Dobbiamo sapere cosa ci dicono questi dati e chi decide cosa ci dicono. Senza Data Governance non c’è Data Management, questa è la visione di DAMA e io la condivido pienamente.

Mi occupo di gestione dei dati da alcuni anni e, sebbene esista un framework di riferimento importantissimo come il DmBok 2 di DAMA che utilizzo quotidianamente, ho pensato che sarebbe stato interessante sviluppare qualcosa di molto didattico per tutti coloro che si stanno avvicinando al mondo del Data Management. Potremmo dire che questo libro è una sorta di dizionario esteso per comprendere meglio questo affascinante mondo dei dati.

Ora più che mai i dati non sono un’opzione, sono il business!

Libro su Amazon

Libro: 20 cosas que tienes que saber sobre Data Management

Si es verdad que el 75% de los activos de las empresas Standard & Poor ‘s no son físicos: ¿De qué estamos hablando? ¡De Datos! Qué sería de empresas como Booking, AirBNB, Facebook sin sus datos (y los nuestros) esto es motivo más que suficiente para entender la importancia del Data Management.

Hubo un tiempo en que dijimos a las empresas que tenían que mirar sus datos: nació el business intelligence. Hubo un tiempo en el que quisimos democratizar el uso de los datos y nació el data-driven. Pasado un tiempo, comprendimos que gracias a la virtualización y la nube no es necesario mover los datos y nació Data Virtualization. Algunos me dicen que en el fondo nada ha cambiado. Tenemos una tecnología impresionante, el cloud y el cómputo en la nube disparan el potencial de todo, pero también disparan la entropía.

No estamos en la “transformación digital”, no se trata de algo que llega y al que hay que adaptarse, se trata de hablar de “hábito de evolución digital”. Porque se trata de un proceso continuo no de algo puntual. Un proceso que necesita la Data Governance de la misma forma que necesita otros aspectos relacionados con los datos (Data Quality, Data Analyzing, Data Virtualization, etc.)

Estamos en la era de los Metadatos. Si es verdad que la Inteligencia de Negocio ha cristalizado la estrategia (pasando de “qué” hacer a “como” hacerlo), la Data Virtualization ha permitido liberar los datos de vínculos físicos; la Data Governance va a focalizar sus esfuerzos en los metadatos. Ya no importa la cantidad de datos que podamos tratar ni como lo tratamos. Necesitamos saber que estos datos nos dicen y quien decide que digan algo. Sin Data Governance no existe el Data Management, es la visión de DAMA y la comparto completamente.

Desde hace unos cuantos años me dedico a la gestión de datos, aunque existe un framework referente super importante como el DmBok 2 de DAMA que utilizo a diario, me pareció interesante desarrollar algo muy didáctico para todos aquellos que se acercan al mundo del Data Management. Podríamos decir que este libro es una especie de diccionario alargado para comprender mejor este mundo tan fascinante de los datos.

¡Ahora más que nunca el dato no es una opción es el negocio!

Hablaremos de: Data Literacy, Metadatos, Data Governance, Business Glossary, Data Dictionary, Data Catalog, ETL, ELT , Master Data, Data Lake, Data Warehouse,OLAP, ROLAP, MOLAP, DOLAP y HOLAP, Data Fabric, Data Mesh, Enfoque Declarativo vs Enfoque Procedural, Data Vault, Data Monetization, CDC, Data Virtualization y DmBoK2

Para comprar el libro : https://www.amazon.es/cosas-tienes-saber-sobre-Management/dp/8409483882libr

El enfoque declarativo en el Data Management y la ventaja de Irion EDM

de Michele Iurillo* y ChatGPT

Este artículo se ha escrito a 4 manos.. (si se puede decir) de un lado he usado ChatGPT con preguntas muy concretas, del otro he añadido elementos para complementar la información. Imaginarlo como un experimento sobre el argumento del momento y una forma de concretar más el enfoque declarativo en Data Management que es uno de los puntos fuertes de la tecnología de Irion EDM.

El enfoque declarativo se refiere a una forma de expresar un problema o una solución en términos de lo que se desea lograr, en lugar de cómo se desea lograrlo. En lugar de especificar los pasos detallados para resolver un problema, se especifica el resultado deseado.

En programación, el enfoque declarativo se utiliza para escribir código que especifica qué se desea lograr, en lugar de cómo se desea lograrlo. Por ejemplo, en lugar de escribir código que especifica cómo recorrer una lista de elementos y realizar una determinada acción en cada uno de ellos, se escribe código que especifica que se desea realizar esa acción en cada elemento de la lista. El lenguaje de programación se encarga de resolver cómo realizar esa acción.

El enfoque declarativo se utiliza en varios campos, como en bases de datos, en donde los lenguajes declarativos son aquellos que se centran en describir los resultados deseados en una consulta, en lugar de describir cómo se obtienen esos resultados. SQL es un ejemplo de un lenguaje declarativo utilizado en las bases de datos relacionales.

En resumen, enfoque declarativo es una forma de abordar un problema o una solución enfatizando en lo que se quiere lograr en lugar de cómo se quiere lograrlo, permitiendo al sistema o lenguaje de programación encargarse de las tareas de implementación.

Algunos ejemplos de lenguajes de programación declarativos son:

  1. SQL (Structured Query Language): Es un lenguaje declarativo utilizado para acceder y manipular bases de datos relacionales. En lugar de especificar cómo recuperar los datos, se especifica qué datos se desean recuperar mediante consultas.
  2. Prolog: Es un lenguaje de programación lógico declarativo utilizado en inteligencia artificial y programación de sistemas expertos. Permite al programador especificar reglas y hechos, y luego utilizar un motor de inferencia para obtener conclusiones.
  3. Haskell: Es un lenguaje de programación funcional declarativo utilizado para construir sistemas concurrentes y distribuidos. En lugar de especificar cómo se deben realizar las operaciones, se especifican las operaciones que se desean realizar y el lenguaje se encarga de resolver cómo realizarlas.
  4. XSLT: (Extensible Stylesheet Language Transformations) es un lenguaje declarativo utilizado para transformar documentos XML en otro formato, como HTML o PDF. El programador especifica cómo se deben transformar los datos, en lugar de cómo se deben recuperar.
  5. RDF: (Resource Description Framework) es un lenguaje declarativo utilizado para describir recursos y relaciones entre ellos. Es ampliamente utilizado en la web semántica y el enriquecimiento de metadatos.

Enfoque Procedural

El enfoque procedural se refiere a una forma de expresar un problema o una solución en términos de los pasos específicos que deben seguirse para lograr un resultado. En lugar de especificar el resultado deseado, se especifican los pasos detallados para resolver el problema.

En programación, el enfoque procedural se utiliza para escribir código que especifica cómo se deben realizar las tareas, en lugar de qué tareas se deben realizar. Por ejemplo, en lugar de escribir código que especifica que se desea realizar una determinada acción en cada elemento de una lista, se escribe código que especifica cómo recorrer la lista y realizar la acción en cada elemento.

Los lenguajes de programación procedurales son aquellos que siguen un enfoque de programación estructurada, en donde se divide el código en bloques lógicos y se organizan en funciones y procedimientos

Algunos ejemplos de lenguajes de programación procedurales son:

C: Es un lenguaje de programación de alto rendimiento y de bajo nivel, que es ampliamente utilizado para desarrollar sistemas operativos, dispositivos embebidos y aplicaciones de bajo nivel. Es un lenguaje de programación estructurado, con un enfoque en la programación procedural.

Pascal: Es un lenguaje de programación estructurado, desarrollado para la enseñanza de la programación en las universidades. Es ampliamente utilizado para desarrollar aplicaciones de escritorio, juegos y aplicaciones científicas.

Fortran: es un lenguaje de programación procedural desarrollado para cálculo científico y numérico, es utilizado en aplicaciones como simulación de sistemas, modelado de fluidos y análisis estadísticos.

Basic: es un lenguaje de programación procedural muy fácil de aprender para principiantes. Fue diseñado para enseñar a los estudiantes de programación básica

¿Por qué es mejor el enfoque declarativo en Data Management?

El enfoque declarativo en Data Management tiene varias ventajas sobre el enfoque procedural. Algunas de estas ventajas son:

  1. Mayor claridad: El enfoque declarativo permite especificar los resultados deseados de manera clara y concisa, lo que ayuda a reducir el riesgo de errores y aumenta la eficiencia en el manejo de datos.
  2. Mayor flexibilidad: Al especificar los resultados deseados en lugar de los pasos para lograrlos, el enfoque declarativo permite adaptarse fácilmente a cambios en los datos o en los requisitos del sistema.
  3. Mayor escalabilidad: Al permitir la separación entre la especificación de los resultados y su implementación, el enfoque declarativo permite escalar el sistema de manejo de datos sin tener que modificar el código.
  4. Mayor portabilidad: Al separar la especificación de los resultados de su implementación, el enfoque declarativo permite el uso de diferentes sistemas o tecnologías para implementar la especificación.
  5. Mayor eficiencia: Al permitir que el sistema se encargue de implementar la especificación, el enfoque declarativo permite obtener resultados más rápidamente y con menos recursos.

En resumen, el enfoque declarativo en Data Management ofrece una mayor claridad, flexibilidad, escalabilidad, portabilidad y eficiencia en la gestión de datos. Al permitir especificar los resultados deseados en lugar de los pasos para lograrlos, permite una mayor escalabilidad, flexibilidad y portabilidad.

DELT(™) ELT Declarativo

DELT es una de las tecnologías propietarias de Irion. El motor orquesta y sincroniza el plan de procesamiento y control de datos con algoritmos inteligentes, lo que permite a los profesionales de la gestión de datos -que utilizan la plataforma Irion EDM®- trabajar en un entorno autoadaptativo y basado en metadatos.

Las ventajas principales son:

  • El enfoque declarativo permite al motor DELT™ alcanzar altos niveles de rendimiento al maximizar el paralelismo de las fases de procesamiento.
  • La arquitectura DELT™ está diseñada para trabajar eficazmente con grandes volúmenes de datos mediante motores orientados a conjuntos.
  • El ingeniero de datos se encarga de los aspectos semánticos de las soluciones delegando en la plataforma la gestión automática de las estructuras de datos.
  • La integración de motores con tecnologías heterogéneas, como Query, Script, Rule, R, Python, Masking, Profiling, permite utilizar la herramienta más adecuada para cada situación.

Para info: http://irion-edm.com/es

Las mesas redondas del #DMS2021

A estas alturas del año es el momento de empezar a pensar en el http://datamanagementsummit.org de este año. Uno de los momentos mas interesante es sin duda cuando los expertos se sientan alrededor de «un argumento» estas son las mesas redonda que he pensado para la edición española que se hará el 20-21 de Octubre y la Italiana que se realizará el 23-24 de Noviembre.

 

Gobierno de datos, gestión del cambio y mentalidad ágil para alcanzar los objetivos de Quick Wins

Si seguimos el enfoque DAMA-I y su marco de referencia DmBok2, el Gobierno de Datos es el núcleo de la Gestión de Datos. La implementación de un proceso de Gobierno de Datos requiere una importante gestión del cambio. ¿Cuántas herramientas pueden ser útiles para crear una mentalidad ágil en las empresas? Si es cierto que la elección de la herramienta para el gobierno de datos es el último paso, ¿cómo motivar a los equipos y fomentar los QuickWins que pueden ayudar a la implementación?

 

Data Intelligence y Green Data: la nueva moda en la gestión de datos

La inteligencia de datos es la combinación de: Analítica avanzada, reconocimiento de imágenes, realidad aumentada, inteligencia artificial, aprendizaje automático, aprendizaje profundo, VMI y PIM. Green data es el diseño y gestión de la fase de crecimiento de los datos como si se tratara de un vegetal, desde la siembra y la plantación hasta la recogida de sus frutos.

 

Data Fabric una forma fácil de llegar a la Valuación de Datos

Según Gartner, Data Fabric es una arquitectura y un conjunto de servicios de datos que proporciona una funcionalidad coherente en diversos entornos, desde los locales hasta la nube. Data Fabric simplifica e integra la gestión de datos en las instalaciones y en la nube acelerando la transformación digital. ¿Cómo vamos a convencer a las empresas de que los datos son absolutamente transversales? ¿Cómo podemos realizar una sólida valoración de los datos? ¿Puede Data Fabric ayudarnos en esto?

 

Analítica avanzada: No más ETL, no más almacenes de datos para el nuevo esfuerzo de conocimiento en tiempo real

La analítica ha cambiado, las empresas no la utilizan mirando al pasado, sino mirando al futuro. La cultura del análisis ha matado definitivamente al reporting. La toma de decisiones necesita los datos de hoy y de mañana. ETL, ELT, ET(L), Virtualización de Datos y sobre todo DataLake y la Nube han cambiado la arquitectura de las empresas.