Что такое ChatCrawler

ChatCrawler — поисковая система по публичному Telegram. Публичные группы и каналы для нас то же, что сайты для Google: мы их обнаруживаем, обходим открытые ленты и индексируем публичные посты. Всё — через официальный API Telegram и только то, что открыто любому человеку без приглашения.

Как это работает

Обнаружение: новые публичные площадки находятся по ссылкам, упоминаниям и пересылкам из уже известных. Обход: краулер читает открытую ленту площадки тем же способом, каким её читает любой человек, открывший t.me. Индексация: посты попадают в поисковый индекс, а из них собираются агрегаты — где писал автор, когда площадка активна, какой у неё язык.

Что в индексе

26 млн публичных групп и каналов, свыше 29 млрд публичных постов и карточки авторов, которые в этих постах писали. Индекс живой: он растёт непрерывно, а данные площадки обновляются по мере повторного обхода.

Чем это отличается от поиска внутри Telegram

Поиск Telegram ищет по тому, на что вы подписаны, и по названиям площадок. Мы ищем по содержимому открытых лент целиком, включая площадки, о существовании которых вы не знали, и храним в индексе посты, которые в самом Telegram уже пролистаны далеко вверх.

Границы индекса

В индекс попадает только открытая часть Telegram и только через официальный API: площадки, куда может войти любой желающий. Полный список границ — на отдельной странице «Чего ChatCrawler не делает».

Название

ChatCrawler пишется латиницей одним словом; кириллицей встречается как ЧатКраулер. Crawler — это поисковый робот, который обходит источники и складывает их в индекс. Наш обходит публичные площадки Telegram.