Загадка лжеапдейтов Яндекса

Доброго времени суток всем, кто меня слышит. В эфире Джо Саратино, здравствуйте ! Сегодня мы будем говорить  о смысле, заключенном в странном письме, присланном мне техподдержкой Яндекса, о поведенческом факторе, о крысах убийцах и… Впрочем, не только об этом. Итак, с чего все началось.

Люди потрясены некачественными апдейтами Яндекса (как выразился один обитатель Серченджанерса, «лжеапдейтами»). Лжеапдейты продолжаются уже более месяца и выражаются в том, что у многих вебмастеров исчезают страницы из индекса (в том числе и с качественных сайтов), а новые практически не индексируются или индексируются плохо.

Официальный Яндекс молчит, однако похоже, что мне удалось выяснить причину этих событий. Так это или нет, точного ответа не имеется, поэтому я предоставляю читателям самим судить о том, как интерпретировать изложенную здесь информацию.

Сайт-пострадавший

С месяц назад мной был создан небольшой сайт из 30 страниц. Фотографии, контент – как обычно, я сделал все самостоятельно. Как и всегда, сайт был достаточно качественным – я довольно давно изготавливаю самые различные ресурсы, и хорошо представляю себе, что значит ГС. Поэтому я удивился, что за три апдейта в базу Яндекса зашли всего лишь 8 страниц. Больше новых страниц в индексе не появлялось.

Прождав еще немного, я написал Платону Щукину, причем ответ пришел только через неделю. Вот эти письма:

«Здравствуйте, уважаемая техподдержка !

У моего сайта проблемы с индексацией в Яндексе – робот проиндексировал всего лишь 8 страниц (а всего их 29), и на этом остановился. Прошел уже месяц, но новые страницы не добавляются. Сайт предназначен для людей, весь контент создаю сам, в т. ч. множество фотографий делаю сам, собираю самую полную информацию. Аналогичного сайта в тематике вообще нет.

Примеры страниц, которые не индексируются:

Страница 1, Страница 2, Страница 3.

Есть HTML-карта сайта, страницы в robots не запрещены. Новый материал с месяц не добавлял, так как не понимаю, в чем проблема с индексированием. Подскажите, пожалуйста, что делать.»

———————————————————

Здравствуйте!

Прошу прощения за задержку с ответом.

Мы проверили, Ваш сайт присутствует в поиске и находится пользователями. Но часть страниц, действительно, отсутствует в результатах поиска, при этом никаких санкций на них не наложено.
Наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в результаты поиска попадают наиболее релевантные и уникальные страницы сайтов:
http://help.yandex.ru/webmaster/?id=1114408 .

При этом наш робот помнит о других страницах сайтов; если на них присутствуют ссылки, он периодически переобходит их, и со временем они также могут быть включены в результаты поиска.
Мы всегда работаем над совершенствованием алгоритмов, принимающих решение по включению тех или иных страниц в результаты поиска, и примеры страниц Вашего сайта переданы в поисковый отдел нашей компании для анализа и последующей корректировки алгоритмов. Внесение изменений в алгоритмы – достаточно сложный процесс, который требует времени, так как затрагивает много различных сайтов

С уважением, Платон Щукин
Служба поддержки Яндекса

———————————————————-

Комментарии к письму Платона

Сначала я не обратил особенного внимания на ссылку, которую дал Платон, полагая, что это всем знакомое «понимание качественного сайта с точки зрения Яндекса». Однако чуть позже я все же перешел по этой ссылке и… прочитал очередное Послание Яндекса к вебмастерам !

Казалось бы, ну и что же ? А вот что ! Первое, на что я обратил внимание в том «послании», это на фразу «Яндекс анализирует каждый документ с помощью специального алгоритма. Если алгоритм определяет, что страница не сможет стать одним из наиболее релевантных ответов на какой-либо запрос, то она не включается в текущую поисковую базу.»

Вдумайтесь в эту фразу.  Она означает, что алгоритм, по сути, определяет, что страница нерелевантна, еще до ее включения в поиск ! Да, но ведь и раньше так было, разве не так ? Так. Только тогда индексировались все страницы сайта, соответственно, и в поиске были тоже все. Какие-то страницы стояли высоко, и пользователи на них переходили.

Теперь же «не все документы, которые были проиндексированы, можно увидеть в поиске Яндекса.» (цитирую далее по тексту). То есть сейчас можно иметь 100 проиндексированных страниц, но в поиске будут участвовать (не в ТОПах стоять, а вообще участвовать, как веб-документ) лишь 32, так как остальные 68 «не смогут стать одним из наиболее релевантных ответов».

Однако у нас все же есть шанс попасть в поисковую базу – «Кроме того, Яндекс продолжает переиндексировать и анализировать эти документы точно так же, как и все другие. Если на каком-то этапе алгоритм обнаружит, что страница может попасть в результаты поиска, она будет добавлена в поисковую базу.»

Экономная экономия 

По всей видимости, Яндекс решил, чтобы обеспечить дополнительную экономию в управлении материально-технической базой, не включать страницы в поиск, руководствуясь мнением алгоритма. Т. е. алгоритм решает, будет ли участвовать страница в поиске или нет, и, в случае чего, эту страницу даже в базу не пускают, даже на 133-е место.

Да, повторяю, и раньше так было, но это относилось, как правило, к дорвеям и другим страницам, так или иначе перенасыщенным спамом.

Впрочем, если яндексоиды говорят, что все равно «пользователи дальше третьей страницы не ходят», почему бы тогда не сделать три страницы в выдаче ? Какая колоссальная экономия ресурсов !

Понятно, что данная мера позволяет и ГС вычислять, которые, как правило, содержат массу страниц, которые «нерелевантные запросам». Именно поэтому большие 1000-страничные ГС, по всей видимости, стали «обрезаться» Яндексом так, что в индексе остается 100-150 страниц. Это, несомненно, работа «отборочного» алгоритма, который, находя множество однотипных страниц, сравнивает их между собой по ряду признаков.

Затем, как вы понимаете, приходит АГС (когда ссылки уже в Сапе вовсю продаются). Но это неважно, не об этом тема сегодняшней передачи.

Так вот, по всей видимости, все эти выпадения страниц, плохая индексация сайтов обусловлены тем, что Яндекс претворяет эту политику в жизнь. «Но ведь Платон сказал, что твой сайт соответствует алгоритмам !» – да, это верно, но я ведь рассказываю не про свой сайт, а про то, что может быть причиной «лжеапдейтов». Что же насчет предновогоднего обновления поисковой базы, то думаю, что сегодняшний апдейт Яндекса им вряд ли является.

Буду признателен за комментарии по теме, ну а пока – до новых встреч !

К записи оставлено 13 коммент.

redskinman | 26 12 2011

Пи..ц какой-то! «Важно, что исключение страницы из поисковой базы никак не влияет на ее посещаемость и посещаемость сайта в целом, так как эта страница все равно не появлялась бы в поиске.» Это всё равно, что сказать, мол, «дети, нерождённые в результате аборта, никак не влияют на демографическую ситуацию в стране, поскольку они всё равно не появились бы на свет». Какой идиот придумал эту фразу?! И, вообще, как улучшать поисковую базу (демографию), если не включать в неё новые страницы (рожать детей)? Отчасти бесполезные страницы (люди) отсеиваются в результате действия поведенческого фактора (жизнь и смерть), которым нам все уши прожужжали. А тут и до ПФ не доходит. Если робот решил, что страница говно, значит, и люди её не увидят. Ужос!

Джо Саратино | 26 12 2011

Вот в том-то и дело ! Получается, что пользователи не могут решить, «хорошая» страница или «плохая», так как до этого их даже не допустят Считается, что алгоритмы способны без ПФ узнать, что страница гамно. Ну а чтобы дать вебмастеру шанс исправиться, они иногда снова заходят на страницу, и, если им вдруг покажется, что она все же не гамно, то, может быть, пустят ее в базу. Подобной залупы, конечно же, никак не ожидалось О судьбе сайта-пострадавшего я непременно напишу еще, но пока подозреваю, что домен придется менять.

Джо Саратино | 29 12 2011
	Сегодня обнаружил, что сайт-пострадавший прибавил в инднексе 4 страницы. Посмотрим, как будут дальше развиваться события.

JohnGonzo | 29 12 2011

Уважаемый Джо! С чувством глубоко удовлетворения прочитал Вашу статью. Исходя из изложенного можно понять, что мы делаем сайты не для потребителя, а для яндекса. И сам потребитель – это ничто, у него никто не спрашивает, что он собственно, желает найти. За него думает яндекс – типа, партия и правительство. Мой новый сайт(в подписи) уже полтора месяца не индексируется яндексом, тогда как в гугле уже 321 страница. Однако, яндекс. коммерческая структура и действует как хочет… типа управы на него нет. Дык гугл тоже не спит, и такими своими волюнтаристскими действиями наша ПС подталкивает всех в объятья иностранного поисковика. При таких друзьях как яндекс – врагов не надо.

Джо Саратино | 31 12 2011

То, что мы делаем сайты не для потребителя, а для Яндекса – и так понятно, хотя Яндекс тщательно это скрывает Дело в том, что я уже неоднократно высказывал свое мнение по этому поводу: сайт для людей должен быть и для поисковых систем. Потому что, если это не так, люди просто не узнают о том, что вы создали для них сайт. Не секрет, что основной источник посетителей – именно поисковые машины. Многие предрекают главенство социальных сетей в этом вопросе. Я не согласен с этим, так как социальные сети в основном – место общения и развлечения. Кроме того, у них своя специфика поведения пользователей на сайте и особенная целевая аудитория. В общем, «забивание» поисковых машин социалками – чушь. Поисковики не умрут однозначно. Насчет вашего сайта – сайт однозначно сделан с целью продажи ссылок. Если это вижу я, то увидит и не менее (а может, и более) опытный в этих делах модератор Яндекса Тема по умолчанию, нет нормального форматирования текста и т. д. Вообще, по идее, проиндексировать бы должен. Пробовали ссылок на него воткнуть (с других ваших сайтов) ? Если нет, попробуйте. Платону не стоит писать, откажет однозначно, или тогда нужно привести сайт в порядок, потом писать. Контент, как я понимаю, скан. Сделайте хорошее форматирование, пишите свои комментарии и примечания к публикациям. У меня есть немного сайтов на скане, вполне себе СДЛ, один вообще живой, многие комментарии пишут, задают вопросы. Кстати, и авторами статей интересуются, другими их книгами/статьями, я и список литературы размещаю для этого. Публикации 30-х годов есть, актуальные все равно. Можно сделать нормальный проект и на таком материале, а если вам поточно надо, то тут другой подход нужен.

Денис | 15 01 2012

Добрый день. Нашёл ваш сайт по куску текста из моего(!) ответа. Он такой же (… Но часть страниц, действительно, отсутствует в результатах поиска, при этом никаких санкций на них не наложено. …) Как и вы, давно делаю сайты, понимаю, когда что может индексироваться, а когда нет. Есть два пострадавших, которые создавались в ноябре-декабре, признаки – те же. Первый сайт – около 90 статей, размер статьи 1300-2000 символов без пробелов, рерайт. У каждой записи есть картинка. Дублей нет, cms: wordpress. (ноябрь) Второй сайт – около 40 статей, размер от 1300 до 5000 символов без пробелов, копирайт. У каждой записи есть картинка. Дублей нет, cms: wordpress. (ноябрь) Третий сайт – создался 31 декабря, 2011 года. Уже 37 страниц в индексе, страницы залетают с помощью быстроробота в течение суток. Дублей нет, cms: wordpress.

Джо Саратино | 15 01 2012

Да уж Хочу сказать, что сайт в дальнейшем попал под АГС – вот новая переписка с Платонами. Взял новый домен (кстати, неплохой такой оторвал, короткий), буду пробовать смотреть, что за хрень такая – сайт нельзя терять, он еще может денег заработать целую пачку gLTD все же не стал брать, хотя можно было бы, поставлю в .ru, поправлю кое-что, посмотрю. Это ничего, вычислим, что за причина такая таинственная. А дальше – ввести правки в модель, и Яшко начнет работать.

Денис | 15 01 2012
	Джо Саратино, я писал о своих двух проблемных сайтах. На заметку – первый сайт уже на втором домене. На первом домене (домен не дроп) он даже не проиндексировался (0 страниц в бд у робота), на втором домене в индексе <50.

Джо Саратино | 17 01 2012
	Да, я понял… Так вы делали что-нибудь с сайтами или просто слили на новый домен ? Я вот хочу еще поработать немного, а потом слить. Старый уже закрыл, 404 уже, пускай Яшко тыкается сколько хочет

Денис | 18 01 2012
	На старом домене стал отдавать 404ую и закрыл его в robots.txt. С сайтом ничего не делал, поставил на новый домен. Возможно, нужно было что-то поменять.

Джо Саратино | 19 01 2012

Будем надеяться, что обойдется. Я сейчас пока не сделал ничего, некогда, вожусь с сателлитами и электронной книгой, вообще времени нету Кстати, у вас на блоге про дешевые домены написано – насчет R01.ru я бы так не сказал. Эти уроды, если не проплатил вовремя продление домена, забирают его себе (регистрируют на себя) и выставляют на аукцион. Со мной не было такого, но у одного клиента было. По цене лучше реселлеры REG.RU

Денис | 19 01 2012
	У реселлеров reg.ru какая цена за домен? 125 рублей? Или есть меньше?

Джо Саратино | 19 01 2012
	Есть еще меньше. Например, здесь от 110 рублей (есть партнерка), потом вот здесь – от 99 рублей (нет партнерки). С первыми работаю давно, вроде нормально все.

Ваш комментарий !