Soluciones BI en tiempo real sin utilizar un Data Mart

El reto para el A�xito de estos sistemas recae en las organizaciones de TI, que tienen que hacer frente a la integraciA?n de mA?ltiples fuentes de datos heterogA�neas para proveer correctamente a las iniciativas de Business Intelligence o Data Mining. Esta tarea se convierte en un reto mA?s difA�cil si se tiene en cuenta que los productos de BI, propietarios y open source, normalmente necesitan que la informaciA?n existente estA� replicada desde sus bases de datos originales hacia un Data Mart, utilizando un estilo particular para la definiciA?n de los esquemas de la base de datos. Por ejemplo, el anA?lisis de datos multidimensionales normalmente necesita una transformaciA?n y replicaciA?n desde el esquema original a un esquema relacional basado en estrella. Para otro tipo de tareas de reporte mA?s convencionales, normalmente el movimiento de los datos se realiza hacia un pequeA�o conjunto de tablas con muy pocas o ninguna relaciones pero con un nA?mero muy extenso de campos calculados.

Esta aproximaciA?n soluciona el problema de la consolidaciA?n de la informaciA?n, pero aA�ade nuevos inconvenientes: el coste adicional de los sistemas y las licencias de bases de datos para soportar estas rA�plicas, la limitaciA?n de los informes A?nicamente a datos pre-establecidos (no en tiempo real), y creando una serie de estructuras estA?ticas que requieren un mantenimiento continuo. En el momento que el consumidor necesite que los datos que se encuentran en las bases de datos de reporte o en los Datawarehouses sean reformateados, reorganizados, o se combinen con un nuevo canal de informaciA?n, serA? necesario un rediseA�o de las estructuras que soportan los sistemas actuales de reporte y BI. Finalmente, el incremento del nA?mero de bases de datos y Datawarehouses A?nicamente aumenta el problema del a�?siloa�? de informaciA?n, haciendo que los esfuerzos de integraciA?n en el futuro sean mucho mA?s difA�ciles.

Data Mart virtual

Mediante la plataforma JBoss Enterprise Data Services Platform (basada en la tecnologA�a Enterprise Information Integration a�� EII- de Metamatrix adquirida por Red Hat en Abril de 2007), puede construirse un Data Mart virtual. Utilizando un interfaz de usuario grA?fico, puede definirse el esquema virtual al que tendrA? acceso el producto de BI asA� como las reglas para traducir la informaciA?n de los esquemas existentes al nuevo esquema virtual. En esencia, A�sta es la misma tarea que se realizarA�a con un producto de ETL para definir como se tendrA�a que estructurar el Data Mart. La diferencia estA? en que, una vez que la configuraciA?n estA? definida, no existe ningA?n proceso nocturno de replicaciA?n masiva de la informaciA?n hacia al Data Mart. Las reglas de transformaciA?n son usadas en su lugar para traducir a�?on-the-flya�? cualquier consulta realizada al esquema virtual del Data Mart, en una consulta optimizada con las fuentes de datos existentes cuyos resultados se mostrarA?n segA?n la estructura definida del Data Mart virtual. Este proceso se lleva a cabo en tan solo una fracciA?n de segundo, permitiendo eliminar la necesidad de diseA�ar un DataMart fA�sico que requiere un proceso de carga nocturna y aumenta la complejidad y el ciclo de implementaciA?n de la soluciA?n.

La plataforma JBoss Enterprise Data Services Platform utiliza tecnologA�a de modelado de informaciA?n basada en estA?ndares para integrar informaciA?n indistintamente de su fuente nativa o su formato, creando vistas virtuales de la informaciA?n integrada. Desde el punto de vista de las aplicaciones, estas vistas aparecerA?n como bases de datos relacionales virtuales, documentos XML o Web Services.

Este enfoque dirigido por el modelo de datos permite a las organizaciones reducir sus inversiones de TI ademA?s de proporcionar una alternativa mA?s rA?pida y eficiente para el desarrollo de sus aplicaciones, apostando por la flexibilidad y la reutilizaciA?n de los sistemas existentes y reduciendo el mantenimiento de estas soluciones en comparaciA?n con las alternativas tradicionales.

Caso prA?ctico: SoluciA?n completa de BI en tiempo real con Red Hat y JasperSoft

Como ejemplo prA?ctico, una gran compaA�A�a del sector sanitario necesitaba tener la capacidad de acceder a informes en tiempo real sobre las tasas de utilizaciA?n de hospitales, referencias de rentabilidad de los sistemas software sanitarios, horas de proyecto facturables, el estado actual de los proyectos clave, asA� como los indicadores de nivel de servicio que podrA�an incurrir en costes extras por su incumplimiento. Esta organizaciA?n querA�a ser capaz de acceder a esta informaciA?n de manera uniforme, a travA�s de un conjunto de mA�todos comunes mediante un formato comA?n. Desafortunadamente, los datos se encontraban en un ocA�ano de hojas Excel, bases de datos Access, extracciones de los sistemas operacionales asA� como en diferentes bases de datos relacionales de reporte.

La compaA�A�a decidiA? utilizar la plataforma JBoss Enterprise Data Services Platform de Red Hat para crear vistas virtuales de todas las fuentes de datos heterogA�neas y servir los datos en tiempo real como si fueran originados desde una fuente de datos homogA�nea. Para ello se crearon un conjunto de vistas integradas que podrA�an ser accesibles por sus herramientas de BI mediante mA?ltiples vA�as: JDBC, ODBC/.NET, y a travA�s de Web Services en tiempo real sin necesidad de mover o copiar los datos entre las fuentes de datos originales.

Para su capa de BI, se eligieron las soluciones JasperServer y JasperAnalysis de JasperSoft que proporcionan las herramientas de diseA�o de informes y de capacidades analA�ticas avanzadas. No fue necesario el diseA�o de nuevos Data Marts. En su lugar, las herramientas de Jasper simplemente se conectaron a la JBoss Enterprise Data Services Platform como si fuese una base de datos estA?ndar tal y como se muestra en el esquema de la Figura 1. Las consultas se realizaron directamente sobre la plataforma, donde se transformaron y optimizaron en consultas originales que se enviaron en paralelo a cada una de las fuentes de informaciA?n.

Como resultado de la utilizaciA?n de estas dos tecnologA�as open source lA�deres en la industria, se ha sido capaz de ganar una visiA?n operacional mA?s precisa que permite anticipar aspectos de los beneficios de su actividad de negocio (incluyendo la dimensiA?n de tiempo real en los compromisos de los indicadores de nivel de servicio), asA� como aumentar drA?sticamente la velocidad con la que son capaces de integrar aplicaciones de terceros dentro de los sistemas de gestiA?n de su negocio.

JBoss Enterprise Data Services Platform

La plataforma JBoss Enterprise Data Services Platform de Red Hat es la A?nica soluciA?n que combina la habilidad de acceder y gestionar todos los modelos de informaciA?n de una organizaciA?n en una plataforma centralizada. La plataforma proporciona una capa de informaciA?n flexible y segura orientada a la construcciA?n de arquitecturas orientadas a servicios y al desarrollo de aplicaciones. Con los Servicios de Datos las organizaciones pueden incrementar la agilidad de modelar y ofrecer la informaciA?n de su actividad en funciA?n del contexto en el que se necesita.

JBoss Enterprise Data Services Platform permite a las organizaciones:

a�� Reducir tiempo y coste en las fases de desarrollo, integraciA?n y mantenimiento permitiendo cubrir rA?pidamente el hueco existente entre el conjunto de datos que se tienen y los datos que se necesitan.

a�� Crear rA?pidamente servicios de datos dirigidos a un rango de requerimientos reutilizables entre mA?ltiples proyectos.

a�� Desacoplar aplicaciones de su capa fA�sica de datos para facilitar sus fases de desarrollo y mantenimiento.

a�� Ofrecer una soluciA?n que permita enlazar las diferencias semA?nticas y de vocabulario entre servicios de datos, nuevos requerimientos de proyectos asA� como nuevos estA?ndares.

a�� Implementar el acceso, transformaciA?n, integraciA?n y agregaciA?n de datos sin programaciA?n.

a�� Desarrollar sistemas que proporcionen integraciA?n de datos consistente y en tiempo real en entornos de misiA?n crA�tica.

a�� Gestionar los servicios de datos y sus metadatos mediante un repositorio que permita su rA?pida incorporaciA?n y reutilizaciA?n entre diferentes fuentes de datos fA�sicas y virtuales.

La plataforma JBoss Enterprise Data Services Platform consiste en tres componentes tal y como se muestra en la Figura 2:

a�� MetaMatrix Designer, el entorno de modelado GUI basado en Eclipse.

a�� MetaMatrix Repository, el almacA�n de metadatos de los modelos fA�sicos y virtuales.

a�� MetaMatrix Server, el entorno de ejecuciA?n para entornos crA�ticos.

Estas tres herramientas permiten a los usuarios modelar, almacenar, y gestionar metadatos para los sistemas de informaciA?n empresariales. Una vez definidos los metadatos, estos se despliegan en un entorno de ejecuciA?n en el que previamente se han optimizado para un entorno de integraciA?n de alto rendimiento en tiempo real.

Utilizando la herramienta de Designer un usuario puede incorporar automA?ticamente a partir de conectores representaciones de los modelos fA�sicos de los datos. A partir de los modelos fA�sicos pueden crearse nuevos modelos que representen combinaciones, transformaciones, agregaciones entre modelos existentes creando una capa de abstracciA?n que se convertirA? en un servicio de datos.

Debido a su naturaleza abstracta, estos modelos a menudo se conocen como modelos virtuales, sin embargo desde un punto de vista tA�cnico, para un usuario, un modelo virtual aparece como un modelo de datos fA�sico que se encuentra accesible a travA�s de MetaMatrix Server. MetaMatrix Designer permite definir mapeos entre diferentes modelos, incluyendo uniones, intersecciones, criterios de selecciA?n, procedimientos, funciones y transformaciones. En esta capa es dA?nde se definen los detalles de integraciA?n entre los datos, incluyendo las funciones de reconciliaciA?n de datos (nombres, atributos, tipos de datos).

Una vez los modelos y sus transformaciones son definidos en el repositorio, estos son desplegados en el servidor dA?nde pueden ser explotados bien mediante drivers JDBC, ODBC o mediante Web Services.

La herramienta de Designer muestra las ventajas de esta aproximaciA?n de integraciA?n basada en modelos dirigidos por metadatos. Por ejemplo, puede ser utilizado para definir mapeos desde modelos relacionales y otras fuentes en documentos XML estructurados en forma de Web Services.

En la Figura 3, el esquema XML representa un modelo de datos parcial que se ha importado para ser utilizado como plantilla para crear la respuesta de un Web Service. Los campos de datos son automA?ticamente mapeados con una clase del modelo virtual representadas en color naranja. Un nodo de transformaciA?n es asociado con cada una de las clases del modelo virtual y es el responsable de definir y la sintaxis y la semA?ntica de la mediaciA?n necesaria para enlazar los campos de datos del modelo virtual con sus fuentes originales, representados en color azul. i??

Lucas Ponce, responsable de A?rea de producto Middleware y SOA en EMEA de Red Hat.