Pythoner
Фотография
🎄 В Python transformers — это мощная и популярная библиотека, разработанная Hugging Face, предоставляющая простой доступ к предобученным моделям для обработки естественного языка (NLP). Она включает в себя широкий спектр моделей, таких как BERT, GPT, RoBERTa, T5 и другие, для решения разнообразных задач, включая классификацию текста, машинный перевод, вопрос-ответ, генерацию текста и многое другое.
➡️ Применение transformers значительно упрощает разработку NLP-приложений, позволяя использовать передовые модели без необходимости обучения с нуля. Библиотека предоставляет удобный API для загрузки, тонкой настройки и использования предобученных моделей, а также инструменты для токенизации и обработки текста.
➡️ Вот пример использования transformers для классификации текста:
from transformers import pipeline
classifier = pipeline("sentiment-analysis") # Загрузка предобученной модели для анализа тональности текста
results = classifier([
"I love this library!",
"This is a terrible movie.",
"This is a neutral statement."
])
for result in results:
print(result)
# Примерный вывод:
# [{'label': 'POSITIVE', 'score': 0.9998950958251953}]
# [{'label': 'NEGATIVE', 'score': 0.9991175532341003}]
# [{'label': 'NEGATIVE', 'score': 0.9865201115608215}] # Модель может ошибаться, особенно на нейтральных высказываниях
from transformers import pipeline
generator = pipeline('text-generation', model='gpt2') # Загрузка модели для генерации текста
text = generator("Once upon a time, there was a large language model.", max_length=50, num_return_sequences=2)
for generated_text in text:
print(generated_text['generated_text'])
# Примерный вывод (будет отличаться при каждом запуске):
# Once upon a time, there was a large language model. It was trained on a massive dataset of text and code, and it could generate text, translate languages, write different kinds of creative content, and answer your questions in an informative way.
# Once upon a time, there was a large language model. And he lived in a little house made of straw. One day, he was sitting in his house, reading a book
from transformers import pipeline
summarizer = pipeline("summarization")
text = """
The quick brown fox jumps over the lazy dog. This is a test sentence.
It is used to demonstrate text summarization. The fox is brown and quick.
The dog is lazy. Summarization is a useful NLP task.
"""
summary = summarizer(text, max_length=30, min_length=10, do_sample=False)
print(summary[0]['summary_text'])
# Примерный вывод:
# The quick brown fox jumps over the lazy dog. It is used to demonstrate text summarization. The fox is brown and quick. The dog is lazy.
⬆️ В этом примере демонстрируется использование pipeline для создания готовых к использованию объектов для анализа тональности текста, генерации текста и суммаризации. pipeline автоматически загружает необходимые модели и токенизаторы. Обратите внимание, что для первого запуска потребуется скачать предобученные модели, что может занять некоторое время. Также показаны примеры настройки параметров генерации и суммаризации.
🐍 Pythoner
28 · 2.3K ·