Аудит – как определить потенциал сайта

Аудит – как определить потенциал сайта

Аудит технической оптимизации сайта

Техническая оптимизация, а точнее, стремление ее сделать идеально от начала и до конца, не дает существенных преимуществ, перед сайтами, которые оптимизированы технически хуже. Но с другой стороны, техническая оптимизация и не портит ситуацию. В любом случае, здесь следует соблюдать золотую середину. То есть не углубляться в этот процесс, но и в то же время не пускать все на самотек.

Если страница вашего сайта оказывается плохо оптимизированной с точки зрения поисковой системы, то она отмечается как страница, на которой контент, который не полезен для пользователя. В этом случае страница все еще остается в индексации. Но иногда такие страницы могут и вылететь из поиска. Тогда такой материал не будет ранжироваться ни по каким пользовательским запросам.

Существуют и ошибки, из-за которых много полезных для пользователей статей и страниц может вылететь из ранжирования. Хорошим примером является товарный трафик, который резко уменьшается, если страницы с какими-то товарами перестают привлекать внимание поисковых систем. Чаще всего это происходит из-за того, что контент повторяется на нескольких страницах.

Если же оптимизатор понимает суть этих ошибок и он знает, что данные ошибки не опасны вылетом контента из ранжирования, то такие страницы можно не ремонтировать. Другими словами здесь нужно решить для себя – будут ли выявленные проблемы мешать попаданию страниц в индекс, или нет.

Если некритичные ошибки не влияют на попадание ваших материалов в поиск, то они могут продолжать жить на сайте столько, сколько потребуется.

Аналитика технической оптимизации в основном помогает избежать ошибок в будущей работе над продвижением сайта. Это позволяет вам соответствовать нормам сайтов, которые находятся на верхних позициях в поиске. Вы будете скрупулезнее относиться ко вводу ключевых фраз в тексты ваших статей.

Другой причиной является устранение текущих ошибок в работе сайта, чтобы в будущем, когда будут возникать новые ошибки, эти, текущие ошибки не влияли на диагностику новых ошибок. Потому что, не зная старых ошибок и пытаясь анализировать новые ошибки в работе технической оптимизации, вы вполне можете допустить ошибки при решении проблем с новыми ошибками. Так как на новые ошибки наложились старые. А это уже совсем другая картина и ситуация, чем ситуация, в которой есть только один тип ошибок – новые.

На практике вы будете видеть какую-то стагнацию, или слишком большое количество спама, можете столкнуться с санкциями более серьезного типа. Специалист будет считать, что к этому привели только недавние его действия. Хотя на самом деле могут сработать множество факторов, что не позволит вам увидеть картину объективно, а вместо нее у вас перед глазами будет какая-то случайная ситуация.

Возможно, что не учитывая ошибки старые, и работая над новыми ошибками, вы будете делать все правильно, чтобы устранить проблему. Но старые ошибки будут мешать индексироваться вашему новому контенту. Поэтому, сколько бы вы ни бились над выходом в топ, ранжирования, правильного ранжирования не будет. А это приводит, что все статьи так и будут топтаться ниже их настоящих позиций.

Ресурсы для аудита

Ниже мы перечислим вещи и действия, которые пригодятся для хорошего аудита технической оптимизации сайта:

• программа паук.
• ясное мышление.
• подключение панелей вебмастера в Яндекс и Гугл.
• подключение к статистике.

Паук

Некоторые люди считают, что паук – это нечто похожее на поисковую систему, которая изучает сайт. Механика паука такая же, потому что в первую очередь в работе паука используется внутренняя перелинковка. Программа, когда находит внутренние ссылки на главной странице, она начинает обращаться ко всем другим страницам на данном сайте, у которых имеются эти ссылки.

В принципе, поисковая система работает по такому же принципу, только в отличие от Паука она это делает на за один раз, а за несколько этапов, или заходов на ваш сайт. Грубо говоря, каждый такой заход у поисковой системы занимает определенное количество времени (например, дней, чаще всего). Все эти посещения будут разными и отличаться заходами между этими промежутками. В целом же, цифры по заходам будут показывать один и тот же показатель.

Например, если на вашем сайте есть 200 000 страниц, то каждый день поисковая система будет заходить на него по 10-12 000 раз. Многие специалисты считают, что данный объем посещений нужно поддерживать на нужном уровне, его нужно беречь и экономно к нему относиться, в том числе, закрывать ненужные страницы. Хотя здесь лучше бы иметь представление, правильное представление, почему поисковая система сканирует именно столько страниц за один заход в течение одних суток.

Если на вашем сайте происходят какие-то обновления, причем они происходят на постоянной основе, то есть добавляется какой-то новый контент, ненужный удаляется, изменяется и так далее, то чем больше таких изменений на сайте происходит, тем чаще поиск будет стараться замечать их и обращать на полезный контент, который должен хорошо ранжироваться.

Поисковая система не считает все страницы на вашем сайте полезными или важными с точки зрения продвижения их в топ. Какие-то из них для него действительно важны, а какие-то второстепенны. На второй тип страниц поиск будет заходить реже. Страницы, которые часто подвергаются изменениям, но считающиеся поиском полезными, тоже не будут обделены заходом поиска на них в течение коротких промежутков времени.

Интересно, что материал, который давно на сайте не обновлялся, к примеру два-три года на этой странице ничего не изменялось. То поисковая система будет заходить по этой ссылке редко – один или два раза в месяц максимум.

Чтобы проверить, как часто поисковая система заходит на ваши страницы, может потребоваться помощь программиста, который может создать программу, сканирующую логи сервера. Данные логи накапливаются на хостинге и всегда доступны для скриптов. Обычно это текстовый файл, в котором есть информация о юзер-агенте со строкой запроса и времени, когда этот запрос состоялся, и какой ответ данная страница отдала с данного сервера.

Ответы бывают разными. То есть если страница нормальная, то ответ уходит в виде команды “200”. Всем известная “404” скажет, что информации по данной странице вообще нет. Многое будет зависеть от того, как ваша страница настроена и какой движок на сайте используется.

Соответственно, по юзер-агенту можно увидеть, сколько тот или иной бот обращался к вашему сайту, и какие отклики возвращала та или иная страница на вашем сайте.

Если такую программу создать, то во время ее использования можно будет легко определить, что в те дни, когда на вашем ресурсе происходил какой-то сильный всплеск обновления материалов. Например, вы опубликовали 300 новых страниц с товарами. После этого, в какой-то день вы увидите, что ваш краулинговый бюджет (количество страниц, которые поисковый робот может отсканировать за одно посещение) резко увеличился и через какой-то промежуток времени так же уменьшился.

Уменьшение краулингового бюджета происходит, когда поиск проверит все эти страницы и присвоит им какие-то соответствующие статусы и приоритет с точки зрения нового посещения сайта.

Краулинговый бюджет – это явление, которое невозможно контролировать, он будет зависеть от многих факторов, поэтому нет смысла делать действия, позволяющие его экономить. Единественный отрицательный момент, связанный с влиянием краулингового бюджета, это когда вам нужно сделать повторную индексацию большого количества ваших страниц.

Например, вы изменили цены на многих страницах. Или если взять более худший вариант – изменили дизайн многих страниц, потому что на это повлияли какие-то коммерческие факторы. Поэтому, если поиск за один заход может проверить 5 000 страниц, а вы изменили 100 000 страниц, то на реиндексацию у поисковой системы уйдет двадцать месяцев. Это очень долго для того, чтобы обновленные позиции в поиске снова заняли прежние места.

Поэтому если делать изменения на больших сайтах по коммерческим факторам, результатов придется ждать длительное время. Кроме того, на длительность реиндексации может повлиять и работа самих поисковых систем, в работе которых время от времени происходит неприятный сбой. Если раньше было принято, что этому чаще подвержен Яндекс, то совсем недавно такая же неприятная история произошла и с Гуглом.

Надо понимать, что краулинговый бюджет определяется поисковой машиной как более или менее постоянный, поэтому когда он будет производить проверку ваших страниц, то не будет отклоняться от обычных средних значений в течение долгого временного промежутка. Это будет происходить до тех пор, пока не произойдет еще какая-нибудь массовая “аномалия” на вашем сайте в виде появления нового контента в больших количествах.

В этом случае поиск, скорее всего, сам увеличит краулинговый бюджет, то есть больше роботов подключится к обработке новой информации на вашем сайте. А когда проверка закончится, то объем краулингового бюджета снова вернется до обычных или привычных значений. Если этого не произойдет, то самая простая вещь, которую можно применить – это создать ротатор.

Можно создать страницу на своем сайте со смыслом: десять-пятнадцать последних просмотренных товаров. С этой страницы ссылки будут вести на новые, только что созданные страницы. Кстати, не обязательно ссылаться только на новые страницы, ссылки можно направлять на любые страницы.

При посещении 5 000 ботов в день, они будут сканировать 50 000 новых внутренних ссылок. Даже если на вашем сайте 100 000 новых страниц, то с применением ротатора, примерно всего за 2-3 дня вы сможете роботам показать все эти новые страницы.

Если вернуться к теме работы Паука, то эту программу надо установить прежде всего на свой компьютер. После этого его надо запустить на сайт, который вы хотите исследовать. Это могут самые разные сайты:

• ваш сайт.
• сайт коллеги.
• сайт конкурента.

Перед запуском сканирования сайта надо убедиться, что никаких ограничений по этому сканированию нет. Данные ограничения могут появиться в двух местах:

• на движке.
• на хостинге.

Про ограничения на хостинге вы знать не сможете. Если при сканировании будут появляться ошибки типа “500”, то это значит, что надо замедлить сканирование, или же отключить запрет на сканирование в настройках движка или хостинга.

Пятисотые ошибки – это запрет на сканирование. Он есть либо в движке, либо на хостинге. Например в движке Битрикса такой запрет стоит по умолчанию. Такое же тоже может случаться на хостинге.

Также бывают слабые хостинги. Они отличаются дешевизной (например, стоить 1 доллар в месяц). Такие хостинги тоже будут возвращать пятисотую ошибку при сканировании. То есть страница не отправляется на программу, которая посылает запрос. В вашем случае, это будет программа Паук. В этом случае запретов нет со стороны хостинга и движка, у вас просто слабый хостинг, и вам надо замедлить сканирование.

Например, это может быть не 10 одновременных потоков, а всего 1 поток сканирования со скоростью 1 страница в секунду. Это замедлит процесс, но зато вам удастся собрать нужную информацию.

Другие программы для аудита

Их на самом деле множество. Каждая из них отличается ценой, функционалом, удобством использования. Самыми популярными являются:

• SEO Screaming Frog.
• Site Analyzer.

К “лягушке” обычно применяется метод keygen, который можно поискать на форумах и тематических сайт. Потому что данной программы в русскоязычном интернете нет. Ее можно официально приобрести, но это если у вас есть возможность оплаты зарубежных сервисов.

Эта программа самая популярная для работы с сайтами, потому что разработчики ничего не делают с ее пиратскими проявлениями. Есть еще одна популярная и бесплатная – Site Analyzer. Ее минус в том, что ее разрабатывает один человек. И если он не будет брать за нее деньги, то со временем он просто может прекратить поддерживать ее в актуальном состоянии, так как интерес к ней может утратить.

Программы для сканирования сайтов подойдут самые разные. Тут все зависит от привычки или вкуса. Одни программы могут показать одни ошибки, другие – другие. Но все главные ошибки могут обнаружить все программы для сканирования. К основным ошибкам относятся:

• 301 – ресурс перемещен навсегда.
• дубликаты.
• 404 – не найдено.

Программа “Паук” все-таки работает не так, как поисковая система. Какую-то информацию, в отличие от поисковой системы, данная программа может игнорировать, а какую-то наоборот сканировать. И относится к этому нужно с долей критики, что информация, которая относится к вашему сайту, это информация с вашего сайта.

Site Analyzer

Для работы с этой программой, в нее нужно ввести адрес вашего сайта и нажать на кнопку “старт”. Происходит сканирование страниц и на выходе вы получаете статистику поисковой оптимизации и выводятся номера ошибок (код ответа страниц). Опять же, тут важно понимать, что программа находит важные ошибки с точки зрения создателей этой программы.

У каждой программы есть свой набор ошибок, которые они определяют. К тому же эти программы могут определять ошибки, на которые поисковая система совсем не обращает внимания и не считает их критичными и наоборот. Это сумма мнений об ошибках, и часть этих ошибок может совпадать с выводами других программ для сканирования.

Чаще всего совпадение происходит по 301, 404, повторяющемуся контенту.

SEO Screaming Frog

Эта программа работает так же. Вы вводите адрес сайта, запускаете сканирование. Программа выдаст статус ошибок, как в случае с предыдущей программой. Может случиться так, что исследуя страницы, которые выдала программа в качестве ошибок, то обнаружите, что данные страницы совсем не представляют опасности с точки зрения поисковой оптимизации.

Если нашли не значительную ошибку, то можете эту страницу отправить на доработку или исправление программисту, который занимался кодированием данной страницы. Есть ошибки, которые относятся к контентным ошибкам. Их можно исправить через функцию редактирования движка вашего сайта.

Например, если программа обнаружила, что на странице нет картинок, то вы заходите в редактор странице и смотрите, если есть возможность подредактировать эту страницу, то просто удаляете эти картинки, и тогда ошибка исчезнет.

Вы можете заказать у нас услугу по получению ссылочной массы на ваши страницы из социальных сетей. В рамках данной услуги вы можете получить трафик, состоящий из 20 000 посещений вашего онлайн ресурса. Все подробности об услуге смотрите здесь.