Pythoner
Фотография
✈️ В Python Modin — это крутая библиотека, которая позволяет ускорить работу с Pandas DataFrames, распараллеливая вычисления на все доступные ядра процессора. Она практически полностью совместима с API Pandas, что делает переход на Modin очень простым.
➡️ Применение Modin особенно актуально при работе с большими датасетами, которые не помещаются в оперативную память или обрабатываются слишком медленно с помощью стандартного Pandas. Просто заменив import pandas as pd на import modin.pandas as pd, можно значительно ускорить выполнение многих операций, таких как чтение данных, фильтрация, агрегация и другие.
➡️ Вот пример использования Modin:
# !pip install modin[ray] # или modin[dask], если предпочитаете Dask
import time
import modin.pandas as pd # Замена import pandas as pd
start_time = time.time()
# Загрузка большого датасета (замените на свой путь к файлу)
df = pd.read_csv("large_dataset.csv")
# Выполнение некоторых операций с DataFrame
# ... (например, фильтрация, агрегация и т.д.) ...
df = df[df['column_name'] > 100]
df = df.groupby(['column_name1','column_name2'])['column_name3'].sum()
end_time = time.time()
print(f"Время выполнения с Modin: {end_time - start_time} секунд")
# Для сравнения, выполните тот же код с обычным Pandas:
import time
import pandas as pd
start_time = time.time()
# Загрузка большого датасета (замените на свой путь к файлу)
df = pd.read_csv("large_dataset.csv")
# Выполнение некоторых операций с DataFrame
# ... (например, фильтрация, агрегация и т.д.) ...
df = df[df['column_name'] > 100]
df = df.groupby(['column_name1','column_name2'])['column_name3'].sum()
end_time = time.time()
print(f"Время выполнения с Pandas: {end_time - start_time} секунд")
⬆️ В этом примере демонстрируется, как легко перейти с Pandas на Modin. Запустите код сначала с modin.pandas, а затем с обычным pandas, чтобы сравнить время выполнения. Для больших датасетов Modin может значительно сократить время обработки, автоматически распараллеливая вычисления. Убедитесь, что у вас установлен Ray или Dask (в зависимости от выбранного движка для Modin) и замените "large_dataset.csv" на путь к вашему большому CSV-файлу.
🐍 Pythoner
34 · 2.3K ·