Эта статья является переводом заметки Давида Кюннена «How to get 250k+ pages indexed by Google», разработчика из Германии, который нашел способ лучшей индексации сайтов, написанных на JavaScript.
При создании проекта Devsnap, Давид был очень наивным. Он использовал Create React App для фронтенда и язык Go с GraphQL для бэкенда. Классический SPA-сайт с клиентским рендерингом.
Давид знал, что гуглу на job-сайте придется индексировать множество страниц, но не переживал, так как известно, что Google обрабатывает JavaScript и, по идее, должен все нормально проиндексировать.
— О нет, я ошибался
David Künnen
Сначала все казалось идет норм. Шаг за шагом Google индексировал странички и сайт получал первый органический трафик. На графике ниже показано количество обрабатываемых поиском страниц сайта.
Почему-то индексация проходила очень медленно, Google сканировал примерно по 2 страницы в минуту. Давид думал, что гугл ускорится в ближайшее время, но этого не случилось. Поэтому, нужно было что-то предпринять.
Узнать, что именно было внедрено для индексации сайта…
