Поиск по блогу
Что вы хотите найти?
Подписка
Как грохнуть ненужные урлы
Расскажу-ка сегодня об одной чертовски полезной штуке, которую узнал на работе. Господ крутых сеошников прошу идти лесом, так как никаких Америк я открывать не собираюсь и вообще, постю в своем блоге в формате «что вижу, о том и пишу».
Дык вот… Мне наш начальник отдела рассказал о том, как грохать ненужные урлы из индекса. Например, ошибку 404 и прочий мусор, который мешает жить многим начинающим вебмастерам.
Дело это простое, как очищенный апельсин! Расскажу о нем по порядку на примере Яндекс. Кстати, чтобы проделывать такую операцию с нужными вам сайтами, достаточно иметь только почтовый аккаунт Яндекс.
- Определяем количество проиндексированных страниц нашего сайта. Это можно сделать с помощью различных плагинов, прожек и программулин. Или же попросту ввести в поисковой строчке Яндекс site:наш сайт.ru.
- Ищем ненужные ссылки и собираем урлы в какой-нибудь текстоый файлик. Если нужно удалить только ошибки 404, идем в вебмастер Яндекс и собираем неправильные странички.
- Открываем наш файл robots.txt. Теперь вставляем собранные ненужные урлы (достаточно окончаний со слэшем) после строчки «Disallow:». Получиться примерно такой списочек (на примере реального robots.txt):
User-Agent: *
Disallow: /admin.php
Disallow: /artickes/
Disallow: /product/narugkamos.html
Disallow: /product/conceptstyle.html
- Таперича можно приступит к конечной фазе операции: уничтожению зловредных урлов. Для этого мы возвращаемся в панель нашего Вебмастера и кликаем по строчке «Удалить URL».
Интерфейс вебмастер яндекс
После этого ждем следующего апа Яши и радуемся! Яндекс быстро, не хуже курьерской службы 
) почистит и и уберет весь ненужный мусор. Теперь в поисковике не будут болтаться ненужные нам странички и отпугивать от драгоценных пользователей всякими «Ошибками 404″ .
Тоже самое можно сделать и в вебмастере Google, правда, только со своим сайтом!
Спасибо. Как раз нужно удалить лишние страницы.
Почему вы считаете страницу с ошибкой 404 — мусором.
Вот статья как о создании правильной страницы ошибок 404 для блога на WordPress — _ttp://ktonanovenkogo.ru/wordpress/wordpress_osnovi/stranitsa-oshibok-404-v-wordpress.html
screamer125, Вы не путайте оформление страницы 404 и ненужные урлы. Иногда в индексе висят старые страницы, на содержимое которых ссылка уже давно переделана. Польза красивого оформления 404 несомненна, но еще лучше, если их вообще не будет!
Офигительно, а то достали эти ошибки
Вот спасибо! Век живи — век учись. Очень пригодилось.
Здравствуйте! Вы случайно не знаете как вывести сайт из под фильтра Яши?
Актуальная тема! Спасибо! Пошел удалять 404 из поиска.
Владислав, единственный вариант — переписка с Платошами. Предварительно убрать все ссылки плохого качества. Убрать весь копипаст, адалт-рекламу если есть. Если баловались Сапой и т.п. — закончить немедленно. Ну и т.д.
Блин, а я для одного проекта недавно хотел искать решение этой проблеммы. так и не нашел. Благодаря Вам решил.
Отличная статья, спасибо, я даже не знал про это.
Достаточно универсальное решение закрывать ненужную информацию через robots.txt. Просто автор доходчиво объяснил, а не ограничился парой слов, как это сделать.
Спасибо, пригодилось