Excel es el software más utilizado por las empresas para procesar y presentar datos. Sin embargo, llega a sus límites en cuanto queremos manipular grandes cantidades de información. Para superar los límites técnicos, existe una poderosa solución accesible para todos: Python. Audrey Quessada Vial*, científica de datos senior y formadora de ORSYS, demuestra con el ejemplo la superioridad de Python para analizar datos.
Desde la década de 2010, los datos se han convertido en el nuevo oro negro para las empresas. El big data, la transformación digital y el desarrollo de la inteligencia artificial han cambiado la situación. ¿Cómo utilizar los datos de forma eficaz?
Por supuesto, Excel ocupa el primer lugar entre las soluciones. Muy extendido y fácil de utilizar, sigue siendo imprescindible. Pero cuando queremos explotar datos masivos, más allá de 1 millón de entradas, nos topamos con limitaciones técnicas. La hoja de cálculo supera el millón de líneas (1.048.576 líneas para ser precisos, o 220).
Muchos conjuntos de datos superan este valor. Es el caso de los historiales de cotizaciones bursátiles (809 MB en formato zip para las acciones americanas), la base de datos Sirene de las empresas francesas del INSEE (1,3 GB), la base de datos nacional de los edificios del Centro Científico y Técnico del edificio (5,3 GB). , o la base de datos de las marcas francesas INPI (15 GB).
Para eliminar estas limitaciones, debe abandonar Excel y utilizar Python. ¿Por qué Python? Este lenguaje se diferencia de otras soluciones de procesamiento de datos masivos (R, Julia, MATLAB, Scala, SQL, etc.) por su sencillez de sintaxis, su gestión de la memoria y sobre todo su imponente número de bibliotecas (o librerías).
Por lo tanto, Python está dirigido a científicos de datos, así como a no especialistas, como profesionales de finanzas y marketing, y, en general, a todos los usuarios avanzados de Excel.
La mayoría de las veces, las bibliotecas de Python de código abierto le permiten ampliar sus capacidades en muchas áreas. Para los datos, LA biblioteca insignia se llama Pandas.
Python y Pandas, tus aliados para los datos
Comenzar a usar Python y Pandas es relativamente simple y rápido, adecuado para principiantes en programación. No es de extrañar que Python sea el lenguaje más utilizado en el mundo en 2022, por delante de Java y C/C++, según el índice de popularidad PYPL. Las habilidades en Python también son muy buscadas por las empresas: es el segundo lenguaje más solicitado en las ofertas de empleo después de JavaScript, según un estudio de laUniversidad de California de Berkeley.
Pandas no proviene del nombre del simpático animal, símbolo de China, sino de Estallidoel data, una estructura de datos ampliamente utilizada en econometría, el estudio estadístico de datos económicos.
El poder de Pandas proviene de su velocidad en el procesamiento de datos. Puede manejar fácilmente un millón de entradas en cuestión de segundos.
Flexible, también se utiliza para la visualización de datos básicos y para crear diferentes vistas del conjunto de datos mediante tablas cruzadas dinámicas. También es posible agrupar datos por categoría y realizar operaciones de agregación desde las más simples (sumas acumulativas o promedio por ejemplo) hasta las más complejas. Además, en una línea de código, puede abrir su archivo y luego trabajar con los datos. Incluso es posible realizar consultas SQL con Pandas.
Otra ventaja es que Pandas acepta una impresionante lista de formatos de archivos: CSV, XLSX, SQL, Apache Parquet, HDF5, JSON… y muchos otros.
En resumen, las principales ventajas de Pandas respecto a Excel son:
- gestionando millones de líneas
- la rapidez
- automatización de tareas: con Excel, esta automatización está limitada cuando se usa VBA o macros
- informes utilizando la plataforma Jupyter Notebook para visualización de datos
- Compatibilidad multiplataforma: puedes trabajar tanto en macOS como en Windows.
Pasar de Excel a Python y Pandas
Con algunos conocimientos de Python, es fácil pasar de Microsoft Excel a Pandas. La mayoría de las tareas que se realizan en Excel también se pueden realizar con Pandas.
Tomaremos un ejemplo para ilustrar la facilidad y el poder de Python y Pandas. Aquí hay un conjunto de datos del Banco Mundial que se puede encontrar en el sitio. Kaggle. Este archivo tiene un tamaño de 574,3 MB y contiene casi 6 millones de entradas. Reúne un cierto número de indicadores económicos y sociales por país y por año.
Se necesitan menos de 3 segundos para leer este archivo con una sola línea de código.
Ahora veremos las primeras cinco filas para ver qué representan estos datos. Una vez más, una sola línea de código es suficiente:
También es posible recuperar los principales indicadores estadísticos asociados a cada columna:
Para filtrar datos, nada podría ser más sencillo. En el siguiente ejemplo, filtraremos los datos para mantener solo el PIB per cápita como indicador:
¿Qué pasaría si calculáramos el PIB per cápita promedio y máximo de todos los años por país? Nuevamente, sólo se necesita una línea de código con Pandas:
Estos pocos ejemplos ilustran el poder de los pandas. Están lejos de ser exhaustivas en cuanto a las posibilidades que están a su alcance.
Podemos resumir en una tabla cuáles son los usos para usar Python y Pandas en lugar de Excel.
Pandas es una biblioteca extremadamente poderosa para trabajar con datos. Tiene muchas ventajas sobre Excel y permite ir mucho más allá en el procesamiento de datos y la automatización de tareas. Su flexibilidad y velocidad lo convierten en una herramienta esencial para la ciencia de datos.
Sin embargo, Pandas no es la única biblioteca de Python que tiene ventajas para procesar datos. Las herramientas de visualización permiten comprender las interacciones entre parámetros. Muchas bibliotecas ofrecen herramientas de visualización: geovisualización con Folium, visualización interactiva con Plotly, creación de paneles interactivos con Dash, visualización de big data con Holoviews, no faltan opciones.
Para concluir, Python tiene muchas ventajas. Gracias a sus bibliotecas de libre acceso, supera a Excel para procesar datos masivos (estructurados o no) y visualizarlos. Nuestros cursos de formación le permitirán familiarizarse rápidamente con esta poderosa herramienta.
