В контекстной рекламе одна из самых рутинных процессов — раскладывание ключей по группам. В принципе, эта же рутина ждет специалиста при создании структуры сайта.

В агентстве мы столкнулись с тем, что нужно, либо расширять штат, либо разгружать директологов. Вспомнил о том, что написано выше и написал относительно простой скрипт, базирующийся на алгоритме IDF для разметки слов из ключевых фраз и разработки черновика структуры, с которым можно смело идти в контекстную рекламу, или задумываться над глубокой постраничной SEO-оптимизацией в рамках структуры проекта.

Первым шагом — заливаем набор ключей в Юпитер

Отмечу, что первоначально брался сырой файл из КейКоллектора с кучей мусора и ненужных полей. Чтобы от них избавиться, и было дописано пару строк из скрина.

Далее — у каждого из ключей были извлечены стеммы слов, на основе которых составился IDF-рейтинг ключей.

:

Получив нужные значения, можно собирать датасет обратно

Сейчас решение обертывается в класс и совмещается с телеграм-ботом. Кластеризатор на различных условиях доступа будет открыт для всех.