Pythoner
Фотография
✈️Библиотека DataSketch реализует алгоритмы вероятностного хеширования и сжатия данных для быстрого сравнения больших наборов. Она идеально для обработки Big Data и поиска дубликатов.
➡️Пример использования:
from datasketch import MinHash, MinHashLSH
# Создаем "отпечатки" текстов
m1 = MinHash(num_perm=128)
m2 = MinHash(num_perm=128)
for word in ["data", "science"]: m1.update(word.encode())
for word in ["data", "analysis"]: m2.update(word.encode())
# Сравниваем (0.75 = порог схожести)
print("Схожесть:", m1.jaccard(m2)) # Результат: 0.5
💡Библиотека позволяет находить дубликаты среди миллионов документов даже на обычном ноутбуке.
🐍Pythoner
17 · 1.2K ·