#ExcelPedroWave

Cómo extraer, transformar y cargar datos de la carrera

En el artículo anterior publiqué una Carrera de Barras en un Gráfico Excel que se puede descargar desde aquí:

Carreras de Barras por Covid-19 en Excel v2

En este artículo explicaré cómo obtener los datos desde un archivo en formato CSV con una serie de datos por país y día de los fallecimientos oficiales acumulados debidos al Covid-19.

Si sigues leyendo aprenderás varias cosas:

1. Cómo buscar datos de origen en un Repositorio de Datos alojado en la Web.
2. Cómo consultar con Power Query un archivo de Internet que consolida y actualiza diariamente los datos.
3. Cómo extraer de ese archivo sus datos dinamizados, transformarlos en datos normalizados y cargarlos en una tabla, con la ayuda de Power Query que es una excelente herramienta para extraer, transformar y cargar datos (en inglés: ETL - Extract, Transform and Load).
4. Cómo transformar los datos acumulados en datos diarios mediante un truco en Power Query.

Este artículo es una lección práctica del uso de Power Query para preparar datos para nuestros informes. Lo que antes había que hacerlo con macros VBA ahora es mucho más fácil de hacer con esta herramienta integrada por Microsoft en muchas versiones de Excel.

Se trata de transformar datos dinamizados, con cientos de columnas, en una tabla normalizada con muy pocas columnas, como se puede apreciar en esta imagen:

Los datos dinamizados originales se han insertado en una tabla con más de 400 columnas. Las 4 primeras columnas identifican la geolocalización, el resto de columnas informan de los fallecimientos acumulados en una serie de días creciente con la actualización diaria de los datos originales.

Los datos transformados se han insertado en una tabla con únicamente 4 columnas y miles de filas para informar: País; Fecha; Valor Acumulado y Valor Diario. Este último dato se ha calculado a partir de los valores acumulados gracias a un truco que luego comentaré.

La tabla normalizada sirve perfectamente como origen de datos de las tablas dinámicas auxiliares con las que se ha generado el gráfico de barras con el que se visualiza la carrera en Excel.

Cómo buscar el origen de datos de la carrera

Lo más importante para hacer un buen análisis y una buena visualización es la obtención de datos fidedignos de fuentes confiables. Normalmente los departamentos TI suministran las consultas desde bases de datos relacionales a las que hay que conectarse, pero en este caso los datos están en Internet.

Cuando me propuse obtener los datos de fallecimientos globales por Covid-19 busqué en Internet por la frase: "Covid-19 data repository"

Encontré una página del Gobierno USA y otra del Centro de Ciencia e Ingeniería de Sistemas de la Universidad Johns Hopkins (JHU CSSE) que comprobé que era consultada globalmente en muchos medios de información.

Los datos acumulados están en las siguientes páginas de https://github.com/:

COVID-19 Data Repository by the JHU CSSE

COVID-19/tree/master/csse_covid_19_data

csse_covid_19_time_series 

time_series_covid19_deaths_global.csv

Esta última página contiene un botón "Raw" con los datos brutos que son los datos originales necesarios para este proyecto:

Raw - time_series_covid19_deaths_global.csv

Es obligado citar al siguiente artículo de Lancet, publicado por JHU CSSE, para cualquier uso de estos datos en una publicación:

https://www.thelancet.com/journals/laninf/article/PIIS1473-3099(20)30120-1/fulltext

Si se quieren analizar más datos de mortalidad, se puede consultar esta página:

https://coronavirus.jhu.edu/data/mortality

Cómo extraer los datos de la carrera

Voy a explicar paso a paso cómo extraer los datos del archivo con la serie temporal de fallecimientos globales por Covid-19: Raw - time_series_covid19_deaths_global.csv

1) Abrir un libro en blanco con una de las versiones de Excel que incluyen Power Query.

2) En el menú de la cinta de opciones seleccionar: Datos

3) Hacer clic en el botón de la izquierda: Obtener datos

3) Seleccionar: Desde otras fuentes

4) Hacer clic en: Desde la web

5) En la siguiente pantalla se introduce la Dirección URL de la página web que apunta al archivo CSV:

https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_deaths_global.csv

6) Se presiona el botón: Aceptar 

    Aparece la siguiente ventana:

7)  Como Anónimo se presiona el botón: Conectar

     Se obtiene una vista previa del archivo CSV, con delimitador: Coma

8) Se presiona el botón: Transformar datos

9) Se abre la ventana del Editor de Power Query, que sirve para crear o modificar consultas.

A la derecha de la imagen, en la Configuración de la consulta, aparecen 2 PASOS APLICADOS.

Para la transformación de los datos se añadirán posteriormente más pasos a la consulta. Ahora vamos a analizar estos primeros dos pasos, comenzando por el último:

• Tipo cambiado: Transforma los tipos de 482 columnas en texto. 

= Table.TransformColumnTypes(Origen,{{"Column1", type text}, ... , {"Column482", type text}})

Como una vez transformada esta tabla no tendrá todas esas columnas, no tiene sentido cambiar el tipo de un número fijo de columnas. ¡Este paso se elimina dándole a la cruz de la izquierda!

• Origen: Extrae el contenido de un documento en formato CSV desde la web con la dirección URL entrecomillada:

= Csv.Document(Web.Contents("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_deaths_global.csv"),[Delimiter=",", Columns=482, Encoding=65001, QuoteStyle=QuoteStyle.None])

Como cuando se actualiza la consulta el número de columnas crece en una más cada día que pasa, el argumento marcado en negrita sobra y se debe eliminar de la fórmula M: Columns=482, 

En la documentación de Funciones M de Power Query - Csv.Document se indica que:

Cuando no se especifica, el número de columnas vendrá determinado por lo que se encuentre en la entrada

Por lo que el paso correcto para Origen será sin el argumento Columns:

 = Csv.Document(Web.Contents("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_deaths_global.csv"),[Delimiter=",", Encoding=65001, QuoteStyle=QuoteStyle.None])

Este cambio no cambia nada en los datos extraídos en esta consulta pero marca la diferencia al actualizar la consulta de nuevo, pues no va a depender de un número fijo de columnas.

Esta sintaxis nueva es la sintaxis del Lenguaje de fórmulas de Power Query M (enlace aquí) que se debe aprender si queremos olvidarnos de las macros para consultar y transformar datos. En muchos casos el lenguaje de fórmulas M sustituirá ventajosamente al lenguaje de macros VBA. 

La ventaja principal es que, en lugar de usar la grabadora de macros y modificar las macros grabadas, usaremos el Editor de Power Query para generar la mayoría de los pasos aplicados en una consulta, sin necesidad de modificar casi nada de las fórmulas M generadas automáticamente por Power Query.

Ahora ya podemos dar nuestro primer paso voluntario en Power Query:

• Encabezados promovidos: Como vimos en el Editor de Power Query, los encabezados están en la primera fila, por lo que hay que hacer lo que indica esta imagen:

Usar la primera fila como encabezado

= Table.PromoteHeaders(Origen, [PromoteAllScalars=true])

Con este paso los encabezados de la fila 1 han pasado a ser los títulos de las columnas:

Este paso ha vuelto a cambiar los tipos de las columnas, por lo que hay que volver a eliminar el paso siguiente: 

• Tipo cambiado: Transforma los tipos de 482 columnas en texto.

Con lo que, de momento, únicamente habrá 2 pasos en esta consulta:

Estos dos pasos se pueden ver en lenguaje M de Power Query con el Editor avanzado. Dentro del Editor de Power Query, en Vista, Editor avanzado:

Estas son las fórmulas M de los dos pasos programados hasta ahora:

let // Datos de fallecimientos por Covid-19 en el mundo. // Se han eliminado el número de columnas a extraer por defecto. // COVID-19 Data Repository provided by Johns Hopkins University Center for Systems Science and Engineering (JHU CSSE). // https://github.com/CSSEGISandData/COVID-19/ Origen = Csv.Document(Web.Contents("https://github.com/CSSEGISandData/COVID-19/raw/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_deaths_global.csv"),[Delimiter=",", Encoding=65001, QuoteStyle=QuoteStyle.None]), // Las cabeceras de la tabla estaban en la primera fila. #"Encabezados promovidos" = Table.PromoteHeaders(Origen, [PromoteAllScalars=true]),

Sólo queda cerrar el Editor de Power Query y presionar el botón: Mantener

Se inserta en una nueva hoja denominada time_series_covid19_deaths_glob una tabla con los datos de la consulta.

Se debe guardar el archivo Excel como de costumbre.

Lo hecho hasta ahora se podría haber hecho, en versiones sin Power Query, con una simple conexión en Excel, pero al hacerlo con Power Query nos abre un mundo de transformaciones automáticas de los datos que son difíciles de imaginar con las fórmulas de Excel. Pero las nuevas transformaciones de datos las veremos en la 2ª parte de este artículo.

Con lo dicho hasta ahora se puede dar por finalizada la explicación de cómo extraer datos de fallecimientos acumulados por el Covid-19. Como este artículo ya es bastante extenso, dejaré para próximos artículos:

Cómo transformar los datos de la carrera

En la 2ª parte del tutorial explico cómo transformar una tabla dinamizada de muchas columnas, una columna por cada día, en una tabla normalizada con una columna para la fecha y otra para el valor acumulado:

Tutorial 2 Power Query - Carrera de Barras

En la 3ª parte del tutorial explico cómo transformar los datos acumulados en datos diarios:

Tutorial 3 Power Query - Carrera de Barras

Cómo cargar los datos de la carrera

En la 4ª parte del tutorial explico cómo convertir la tabla en un gráfico con la carrera de barras.