Dirección1.1 Funciones
- Jefe de equipo / Team Leader del equipo técnico de la oficina del Gobierno del dato de la Comunidad de Madrid.
- Brindar experiencia en la evaluación de requisitos y el desarrollo de arquitectura de datos y diseño de soluciones de Big Data.
Plantear la evolución de la arquitectura de las plataformas IBM CP4D y CDP juntamente con los expertos de cada una de las plataformas
- Liderar el diseño de la infraestructura de almacenamiento de datos, fusionando datos de fuentes múltiples y dispares, y trabajando con el equipo de desarrollo en la implementación.
- Identificar e implementar estrategias y tecnologías para los servicios responsabilidad de la oficina de Gobierno del Dato.
Impulsar de forma proactiva nuevos enfoques y técnicas para la plataforma Big Data. Proponer mejoras en las prácticas de desarrollo de procesos en Spark, procesos de evaluación de la calidad de datos, observability y procesos de publicaciónGestión de Modelado de datos.
Evaluación de los Aceleradores de mercado para Sector Salud existentes en el mercado frente a alternativas de desarrollo propio.
Diseño de la estrategia de modelado a OMOP y FHIR a través de aceleradores y / o con desarrollos en SparkAnalizar, diseñar y desarrollar y probar modelos de ingesta en tiempo real con herramientas como NiFi o Kafka Streams
Establecer arquitectura de seguridad de datos.Establecer el uso de Apache Ranger para políticas de seguridad de manera uniforme en todos los componentes HadoopDefinir juntamente con la Oficina de Seguridad políticas de seguridad de datos y estándares de privacidad y confidencialidad de datos.
Definir controles de accesos de seguridad de datosDefinir las clasificaciones de seguridad de datosReportes de Auditoria de seguridad de datos
Definir la arquitectura de integración con Plataformas Semánticas y de Procesado Natural.
1.2 Requisitos
- Predisposición, interés y motivación por la ciencia de datos en entorno sanitario.
- Habilidades comunicativas Buena interlocución con diferentes niveles, desde dirección a técnico.
- Buenas capacidades para liderar equipos y trabajar colaborativamente, presencial y en remoto.
- Licenciatura o grado en Ingeniería Informática, Ingeniería de Telecomunicaciones o similar.
- Experiencia entre 3 y 5 años en el diseño y gestión de arquitecturas de datos en entornos Cloudera, preferiblemente en entorno sanitario.
- Conocimientos y experiencia en lenguajes de programación como Python, R, Java o Scala.
- Conocimientos y experiencia en el diseño y optimización de modelos de datos relacionales y no relacionales.
- Conocimientos y experiencia en el diseño e implementación de soluciones de almacenamiento y procesamiento distribuido, como Hadoop y Spark, Scala, Spark MLlib.
- Conocimientos y experiencia en herramientas de ETL como Apache NiFi o Apache Kafka.
- Conocimientos y experiencia con SQL, Hive.. y bases de datos relacionales como MySQL o PostgreSQL.
- Conocimientos y experiencia en transformación, segmentación, análisis de datos y desarrollo de modelos de machine learning.
- Conocimientos y experiencia en entornos Data Warehouse, procesos ETLs
- Conocimientos y experiencia en Unix y Shell
- Conocimientos y experiencia en control de versionado; experiencia con git
- Importantes conocimientos en CLOUDERA e IBM
1.3 Deseable
- Certificación Cloudera Certified Data Engineer o similar.
- Experiencia en proyectos de Gobierno del Dato en el sector sanitario.
- Conocimientos de herramientas de visualización de datos como Cloudera Data Visualization, Tableau o Power BI.
- Experiencia en el diseño e implementación de soluciones de seguridad y privacidad de datos en entornos Cloudera.
- Conocimientos de normativas y regulaciones del sector sanitario relacionadas con la protección de datos personales y la seguridad de la información.
- Capacidad de trabajo en equipo, habilidades comunicativas y capacidad de gestión de proyectos.
1.4 Retos
- Participación en Proyecto puntero de la Comunidad de Madrid (SERMAS)
- Diseñar, implementar y mantener la arquitectura de datos en el entorno sanitario, garantizando la integridad, confidencialidad y disponibilidad de la información.
- Desarrollar y gestionar los procesos de extracción, transformación y carga (ETL) de los datos provenientes de fuentes internas y externas.
- Diseñar y optimizar los modelos de datos para asegurar un acceso eficiente y seguro a la información.
- Colaborar con los diferentes equipos de desarrollo y análisis de datos para identificar y entender las necesidades y requisitos de cada proyecto.
- Implementar y mantener soluciones de almacenamiento y procesamiento de datos en el entorno Cloudera.
- Definir y establecer las políticas y normativas de gobierno del dato, asegurando el cumplimiento de los estándares y regulaciones del sector sanitario.
- Realizar el monitoreo y control de la calidad de los datos, identificando y corrigiendo posibles errores o inconsistencias.
- Participar en la identificación y resolución de problemas relacionados con el rendimiento y la escalabilidad de la infraestructura de datos.
