Запрещаем индексацию разделов сайта при помощи мета-тега robots
Актуальность: Все версии DLE. Проверено на 7.x, 8.x, 9.x, 10.x.
Итак, помните я недавно публиковал пост про особенности индексации сайтов, robots.txt и мета-тег robots, где говорил, что закрывать страницы от индексации при помощи robots.txt не тру, а вот закрывать при помощи правильный вариант. Настоятельно рекомендую изучить данный пост.
А сейчас я расскажу, как можно реализовать вывод этого самого метатега в движке DLE в определенных разделах сайта.Расширенную версию данного трюка смотрите в посте про правильный robots.txt для DLE.
Если не чувствуете в себе уверенности, настоятельно рекомендую использовать мой модуль DonBot! С модулем вы по любому не ошибетесь нигде, а так же вам не придется после каждого обновления движка вносить данные правки.
Открываем уже полюбившийся файл /engine/engine.php, находим бесполезную строку и удаляем:
<meta name="robots" content="all" /> |
Если такой строки нет, ничего страшного, просто идем дальше.
Находим далее:
if ($config'allow_rss') $metatags .= <<<HTML
<link rel="alternate" type="application/rss+xml" title="{$rss_title}" href="{$rss_url}" />
HTML; |
ВЫШЕ добавляем:
if ($subaction == 'userinfo' OR $subaction == 'allnews' OR $subaction == 'newposts' OR $do == 'stats' OR $do == 'addnews' OR $do == 'register' OR $do == 'favorites' OR $do == 'rules' OR $do == 'pm' OR $do == 'feedback' OR $do == 'lastcomments' OR $do == 'lostpassword' OR $do == 'search' OR $do == 'lastnews' OR $do == 'alltags' OR $do == 'tags' OR $dle_module == 'date') $metatags .= <<<HTML \n<meta name="robots" content="noindex,nofollow" /> HTML; |
Если вы хотите закрыть от индексации страницы пагинации, типа site.ru/page/X/ или site.ru/category/page/X/, тогда необходимо добавить одну строчку:
(intval($_GET'cstart') > 1 ) |
В итоге код, приведенный выше преобразуется так:
if ($subaction == 'userinfo' OR $subaction == 'allnews' OR ... $dle_module == 'date' OR (intval($_GET'cstart') > 1 )) $metatags .= <<<HTML \n<meta name="robots" content="noindex,nofollow" /> HTML; |
Теперь я поясню, что означает каждый из пунктов условия if, и я для вас подготовил замечательную табличку с описанием.
| Модуль | Описание | Пример URL |
|---|---|---|
| userinfo | Просмотр профиля пользователя. | site.ru/user/user_name/ |
| allnews | Просмотр новостей конкретного пользователя. | site.ru/user/user_name/news/ |
| newposts | Просмотр новинок, индивидуально для каждого пользователя, доступно только зарегистрированным, гостям показывается ошибка. | site.ru/newposts/ |
| stats | Страница статистики сайта и ТОП10 пользователей. | site.ru/statistics.html |
| addnews | Страница добавления новости на сайт. | site.ru/addnews.html |
| register | Страница формы регистрации нового пользователя. | site.ru/index.php?do=register |
| favorites | Просмотр избранного, индивидуально для каждого пользователя, доступно только зарегистрированным, гостям показывается ошибка. | site.ru/favorites/ |
| rules | Страница правил сайта, которые показываются перед регистрацией, которые существуют так же отдельной страницей. | site.ru/rules.html |
| pm | Просмотр личных сообщений пользователем или форма отправки личного сообщения любому пользователю сайта. | site.ru/index.php?do=pm |
| feedback | Страница обратной связи. | site.ru/feedback.html |
| lastcomments | Просмотр всех комментариев к публикация на сайте в обратном хронологическом порядке. | site.ru/index.php?do=lastcomments |
| lostpassword | Страница восстановления пароля. | site.ru/index.php?do=lostpassword |
| search | Раздел поиска по сайту. | site.ru/index.php?do=search |
| lastnews | Просмотр всех последних новостей сайта. Точная копия главной страницы сайта и всех страниц пагинации. | site.ru/lastnews/ |
| alltags | Просмотр страницы всех тегов сайта. | site.ru/tags/ |
| tags | Просмотр публикаций с конкретным тегом. | site.ru/tags/Tag+Name/ |
| date | Архив сайта. Список публикаций за определенный год или месяц или день. | site.ru/2007/ или site.ru/2007/06/ или site.ru/2007/06/22/ |
* Самый важный момент — при закрытии от индексации страниц описанным методом, необходимо убрать запрещающие правила в robots.txt для страниц и разделов, которые мы закрыли при помощи мета-тага. Иначе никакого смысла не будет.
На свое усмотрение вы можете из приведенного мною кода убрать какие-то части, разделы, которые конкретно для вашего сайта закрывать от индексации не требуется. Так что, пожалуйста, будьте внимательнее.
Редирект с несуществующих страниц пагинации комментариев на правильные
Актуальность: Только версии DLE 8.x, 9.x. Для DLE 10.x не актуально, т.к. уже реализовано в самом движке.
Открываем файл /engine/classes/comments.class.php и в самом низу находим:
} } ?> |
ВЫШЕ добавляем:
//редирект на последнюю страницу комментариев, если в url указана страница больше чем максимально существующая
if ( $this->cstart > $enpages_count ) {
header('HTTP/1.1 301 Moved Permanently');
header('Location: ' . $url);
die();
}
//редирект на последнюю страницу комментариев, если в url указана страница больше чем максимально существующая |
Ну вот, теперь все в порядке, можете проверить.
Как восстановить удаленные файлы: Recuva
Удалили ли вы случайно или злобный вирус почистил флешку – выход есть в лице программы Recuva. Она поможет вам восстановить удаленные фотографии, видео и другие данные с любых видов носителей (кроме телефонов).
Программ для восстановления много и каждая имеет преимущества. Я остановился на Recuva как самой простой и универсальной, подходящей для восстановления с флешек всех типов файлов – документов, фотографий, музыки, видео и прочего. Радует то, что она бесплатна для домашнего использования.
Восстановить данные можно с USB-флешек, карт памяти, жестких дисков, даже старых дискет.
Скачать программу Recuva
Можно по прямой ссылке: Recuva (2 Мб). Домашняя страница находится здесь.
Кстати, её авторы разработали программу для очистки от ненужных файлов CCleaner (рекомендую!) и Speccy, которая покажет, из каких деталей состоит ваш компьютер.
После простой и понятной установки надо проделать несколько шагов.
Современная Recuva чуть-чуть отличается внешне. Для эстетов обновлённая инструкция по восстановлению файлов с помощью Recuva находится здесь: Как восстановить файлы с флешек и жёстких дисков.Инструкция ниже по-прежнему актуальна, просто рамки окон выглядят иначе.
Запустите программу восстановления, откроется «мастер», который проведёт по шагам всю процедуру:
Первый шаг — приветствие
Выберите, что нужно восстановить. Если удалены не фото, видео или музыка, можно выбрать «Прочее» для восстановления всех типов файлов:
Выберите «Прочее», чтобы нашлись все файлы
Затем нажмите «Обзор» и укажите флешку (или другой диск, откуда требуется вернуть из небытия файлы):
Выбор диска (флешки, карты памяти), с которого нужно восстановить файлы
Установки галки на «Углубленный анализ» позволит обнаружить больше удаленных файлов, даже полностью перезаписанные. К сожалению, повреждённые файлы восстановить не удастся, но в целом эта опция улучшает результат:
Если включить «Углубленный анализ», найдется больше удалённых файлов
Запаситесь терпением. Ждите, пока программа просканирует флешку:
Ждем
После программа покажет результат в виде списка. Не все эти файлы можно восстановить — смотрите на цвет кружка слева от имени файла (это состояние файла).
Если кружок зеленый — вероятно, файл не поврежден, тогда он восстановится полностью и откроется без ошибок.
Кружок желтый — восстановится только часть файла. Если вам нужно восстановить удаленную курсовую или диплом, то такой результат может быть приемлем — куски текста лучше, чем ничего.
Кружок красный — такой файл когда-то был, о нем есть «упоминания», но восстановить его не получится (вместо содержимого будет каша из данных, не относящихся к искомому файлу).
Отметьте все найденные для восстановления файлы
Чтобы выделить все файлы, достаточно поставить галочку в указанном красной стрелкой месте.
Можно отсортировать результаты по «Состоянию» или другим параметрам, отметить отдельные файлы галочками вручную.
Нажмите «Восстановить» и укажите папку, в которую хотите восстановить удаленные файлы. Эта папка должна находиться на каком угодно диске, но только не на флешке, файлы с которой мы восстанавливаем.
В зависимости от того, удалось ли восстановить файлы полностью (без повреждений) или только их часть, отчет будет разным:
Окно статистики
Требования
Ниже описано, как скрыть тот или иной URL своего сайта в результатах поиска Google.
В каких случаях использовать инструмент удаления URL
- Вы хотите быстро заблокировать показ в Google Поиске какого-либо URL, относящегося к вашему ресурсу в Search Console. Это может быть URL веб-страницы или изображения. Если же вам нужно навсегда удалить URL из Google Поиска, понадобится выполнить дополнительные действия.
- Вы удалили со страницы неуместную или конфиденциальную информацию и хотите, чтобы изменения были отражены в результатах поиска Google.
В каких случаях не следует использовать инструмент удаления URL
Вы хотите заблокировать страницу сайта, который вам не принадлежит. Если это так:
Если контента нет на текущей версии веб-страницы, вы можете запросить обновление устаревшего контента в Google Поиске.
Если контент все ещё присутствует на веб-странице, ознакомьтесь с этой информацией.
Вам нужно навсегда удалить свой URL из Google Поиска. Инструмент удаления URL – это , которая позволит навсегда удалить URL. Не выполнив оставшиеся действия, вы не сможете навсегда удалить URL.
Вы решили удалить какой-либо контент из интернета. Этот инструмент позволяет блокировать материалы только в Google Поиске.
Вам нужно, чтобы ваш контент перестал показываться в других поисковых системах. Этот инструмент позволяет блокировать материалы только в Google Поиске.
Вы хотите удалить из результатов поиска ставший ненужным контент, например старые страницы, вместо которых пользователи видят сообщение об ошибке 404. Если вы изменили структуру своего сайта и некоторые URL в индексе Google устарели, поисковые роботы обнаружат это и повторно просканируют их, а старые страницы постепенно будут исключены из результатов поиска. Не нужно запрашивать срочное удаление.
Вы решили устранить ошибки сканирования в своем аккаунте Search Console. Инструмент удаления URL препятствует показу веб-адресов в результатах поиска Google, а не блокирует их в аккаунте Search Console. Вам не нужно вручную удалять URL. Со временем они будут исключены автоматически.
Вы планируете “начать с чистого листа”. Если вы беспокоитесь по поводу мер, принятых в отношении вашего сайта вручную, или недавно приобрели домен у другого лица и устранили оставшиеся после него проблемы, советуем запросить повторную проверку. Сообщите при этом, с какими проблемами вы столкнулись и что изменили на сайте.
Вам нужно “отключить” сайт после взлома. Если ваш сайт был взломан и вы хотите исключить из Google Поиска проиндексированные страницы с вредоносным кодом, используйте инструмент удаления URL для блокировки веб-адресов, которые были созданы хакером, например http://www.example.com/buy-cheap-cialis-skq3w598.html. Однако мы не рекомендуем блокировать все страницы сайта или URL, которые нужно будет проиндексировать в будущем. Вместо этого удалите вредоносный код, а затем роботы Google повторно просканируют ваш сайт
Подробнее…
Вам важно, чтобы индексировалась определенная версия сайта. На многих ресурсах одни и те же HTML-страницы и файлы можно найти по разным URL
Если вы не хотите, чтобы ваш контент повторялся в результатах поиска, прочитайте статью о рекомендуемых способах нормализации. Не используйте инструмент удаления URL, чтобы заблокировать нежелательные версии URL. Это не поможет сохранить предпочтительную версию страницы, а приведет к удалению всех версий URL (http/https, с префиксом www или без него).
Что будет, если не удалять устаревшие данные
Если вы не принимаете меры по удалению устаревшей информации из поисковых систем, это может иметь негативные последствия:
Пользователи получат плохой опыт
Устаревшая информация может привести пользователей в заблуждение и подорвать доверие к вашему веб‑ресурсу. Возрастёт процент отказов, уменьшится время на сайте и глубина просмотра.
У сайта ухудшатся позиции
Если ухудшатся поведенческие факторы, сайт может потерять позиции в выдаче.
Как работают поведенческие факторы — в 1‑м уроке 8‑го модуля нашего бесплатного курса по SEO.
Потратится краулинговый бюджет сайта
Краулинговый бюджет — это лимит на количество страниц сайта, которые поисковые роботы смогут обойти за сутки.
Чем больше неактуальных страниц обходит робот, тем меньше актуальных он может обойти.
Четыре шага по восстановлению удаленной ссылки
Шаг 1: Проверка кэша веб-браузера
Первый шаг при попытке восстановить удаленную ссылку — проверить кэш вашего веб-браузера. Кэш — это временные файлы, которые хранятся на вашем компьютере или устройстве и содержат данные, загруженные ранее. Иногда удаленная ссылка может быть сохранена в кэше, поэтому проверка кэша может быть полезной. Чтобы это сделать:
- Откройте веб-браузер и найдите раздел «История» или «Настройки».
- В этом разделе найдите опцию «Очистить кэш» или «Удалить временные файлы».
- Выполните очистку кэша, чтобы удалить все временные файлы.
- Перезагрузите веб-браузер и проверьте, появилась ли удаленная ссылка в кэше.
Шаг 2: Использование кэша поискового движка
Если удаленная ссылка не была найдена в кэше веб-браузера, вы можете использовать кэш поискового движка для восстановления ссылки. Большинство поисковых движков сохраняют кэш веб-страниц, которые они индексировали. Чтобы воспользоваться кэшем поискового движка:
Шаг 3: Использование специализированных сервисов
Если удаленная ссылка не была найдена в кэше веб-браузера или кэше поискового движка, можно воспользоваться специализированными сервисами для восстановления removed ссылок. Некоторые сервисы предлагают инструменты, которые сканируют Интернет для поиска сохраненных копий удаленных веб-страниц. Чтобы использовать такой сервис:
- Найдите надежный сервис восстановления удаленных ссылок (например, Archive.org).
- Откройте веб-сайт сервиса и найдите поле поиска для ввода адреса удаленной ссылки.
- Введите адрес ссылки и запустите поиск.
- Если сервис находит сохраненную версию удаленной ссылки, вы сможете открыть ее и сохранить необходимую информацию.
Шаг 4: Обратитесь к администратору или создателю удаленной ссылки
Если все предыдущие шаги не помогли восстановить удаленную ссылку, остается последний вариант — обратиться к администратору или создателю удаленной ссылки
Если удаленная ссылка была важной для вас, вы можете связаться с ответственным лицом и запросить информацию или копию удаленного ресурса. На сайтах и форумах иногда можно найти контактные данные автора или администратора ссылки, которые могут быть полезны при таком запросе
Как реализовывается «право на забвение»
Как всем известно, с начала 2016 года в Российской Федерации действует закон «О праве на забвение» (ФЗ 264 от 13 июля 2015 г.). Он позволяет каждому жителю страны дать запрос на убирание из поисковых систем информации о себе – если она стала старой или считается неправдивой.
Подобный закон есть в ЕС – он там работает уже 2 года и был принят после того, как испанец выиграл суд у поисковой системы Гугл (предметом спора была статья, обзывавшая жителя Испании должником – а он им уже не являлся). Сразу же после этого офис Google завалили подобными требованиями (в первый же день их пришло 12 тысяч, а за год набралось больше 270 тысяч).
4 способа выбить конкурента из поиска!
Рассмотрим, какие права в настоящий момент есть у жителей России, и какие уроки для себя должны получить оптимизаторы сайтов.
Итак, благодаря закону каждый житель РФ имеет право “настойчиво попросить” удалить из выдачи поисковых систем:
- неправдивую информацию;
- сведения, потерявшие актуальность;
- информацию, распространяемую с нарушением законодательства РФ.
Чтобы выполнить это, необходимо отправить в поисковую систему запрос с ФИО, реквизитами паспорта, контактами (телефонным номером, электронным и почтовым адресом). Необходимо показать информацию о себе, перечислить ссылки на страницы, которые необходимо удалить из поиска, привести основание для удаления и согласиться на обработку персональных данных.
Каждая поисковая система учла собственные каналы связи для этих запросов:
Здесь же появляется законный вопрос: могут ли люди, находящиеся под следствием, давать запросы на убирание информации о себе? Могут, но до завершения следствия и вынесения официального решения системы поиска не выполнят данные запросы.
archive.md
Адреса данного Архива Интернета:
- http://archive.md
- http://archive.ph/
- http://archive.today/
На главной странице говорящие за себя поля:
- Архивировать страницу, которая сейчас онлайн
- Искать сохранённые страницы
Для поиска по сохранённым страницам можно как указывать конкретный URL, так и домены, например:
- microsoft.com покажет снимки с хоста microsoft.com
- *.microsoft.com покажет снимки с хоста microsoft.com и всех его субдоменов (например, www.microsoft.com)
- покажет архив данного url (поиск чувствителен к регистру)
- поиск архивных url начинающихся с http://twitter.com/burg
Данный сервис сохраняет следующие части страницы:
- Текстовое содержимое веб страницы
- Изображения
- Содержимое фреймов
- Контент и изображения загруженные или сгенерированные с помощью Javascript на сайтах Web 2.0
- Скриншоты размером 1024×768 пикселей.
Не сохраняются следующие части веб-страниц:
- Flash и загружаемый им контент
- Видео и звуки
- RSS и другие XML-страницы сохраняются ненадёжно. Большинство из них не сохраняются, или сохраняются как пустые страницы.
Архивируемая страница и все изображения должны быть менее 50 Мегабайт.
Для каждой архивированной страницы создаётся ссылка вида http://archive.is/XXXXX, где XXXXX это уникальный идентификатор страницы. Также к любой сохранённой странице можно получить доступ следующим образом:
- http://archive.is/2013/http://www.google.de/ — самый новый снимок в 2013 году.
- http://archive.is/201301/http://www.google.de/ — самый новый снимок в январе 2013.
- http://archive.is/20130101/http://www.google.de/ — самый новый снимок в течение дня 1 января 2013.
Дату можно продолжить далее, указав часы, минуты и секунды:
- http://archive.is/2013010103/http://www.google.de/
- http://archive.is/201301010313/http://www.google.de/
- http://archive.is/20130101031355/http://www.google.de/
Для улучшения читаемости, год, месяц, день, часы, минуты и секунды могут быть разделены точками, тире или двоеточиями:
- http://archive.is/2013-04-17/http://blog.bo.lt/
- http://archive.is/2013.04.17-12:08:20/http://blog.bo.lt/
Также возможно обратиться ко всем снимкам указанного URL:
http://archive.is/http://www.google.de/
Все сохранённые страницы домена:
http://archive.is/www.google.de
Все сохранённые страницы всех субдоменов
http://archive.is/*.google.de
Чтобы обратиться к самой последней версии страницы в архиве или к самой старой, поддерживаются адреса вида:
- http://archive.is/newest/http://reddit.com/
- http://archive.is/oldest/http://reddit.com/
Чтобы обратиться к определённой части длинной страницы имеется две опции:
- добавить хэштег (#) с позицией прокрутки в качество которого число между 0 (вершина страницы) и 100 (низ страницы). Например,
- выбрать текст на страницы и получить URL с хэштегом, указывающим на этот раздел. Например,
В доменах поддерживаются национальные символы:
- http://archive.is/www.maroñas.com.uy
- http://archive.is/*.测试
Обратите внимание, что при создании архивной копии страницы архивируемому сайту отправляется IP адрес человека, создающего снимок страницы. Это делается через заголовок X-Forwarded-For для правильного определения вашего региона и показа соответствующего содержимого
Досудебная блокировка
Законодательством РФ предусмотрена досудебная блокировка сайта, но она не применима к рассматриваемым вопросам.
Что указать в требовании
Удаление производится по требованию заявителя. При подготовке требования необходимо указать:
- контактная информация, паспортные данные и Ф.И.О. заявителя;
- ссылка на страницу в сети интернет, на которой размещена информация требующая удаления;
- основание для блокировки информации;
- и согласие заявителя на обработку его персональных данных.
Как проверить, что информацию, сведения и данные удалили
При запросе по ключевым словам, поисковая система выдаст, что «некоторая информация была скрыта в соответствии …. укажут причину».
Оператор поисковой системы должен будет прекратить выдачу ссылок в течение 10 рабочих дней с момента получения требования заявителя или уточненных заявителем сведений. О своем решении (об удовлетворении требования или о мотивированном отказе) оператор должен будет уведомить заявителя. Также оператор обязан сохранять в секрете информацию о факте обращения к нему заявителя, за исключением случаев, установленных федеральными законами.
- Если ответ оператора был отрицательный, вы подаете иск по статье 152 «Защита чести, достоинства и деловой репутации» ГК РФ в суд на владельца доменного имени. Владельца сайта можно узнать у хостинг провайдера, к примеру nic.ru (в этом вам поможет любой знакомый школьник возраста 8-15 лет или старше).
- Решение суда будет основанием не только для блокировки, но и для исключения информации из сети интернет. Отправляете повторное требования в яндекс и гугл с приложением копии решения суда, а также в адрес владельца доменного имени. Дальше через 1 (один) месяц проверьте результат.
Поскольку право на забвение является достаточно новым правом, появившимся как следствие прогресса в области современных информационных технологий, и закреплено в международных актах совсем недавно, весьма отрадно, что данное право уже существует в правовой системе России, а сами интернет-отношения в последнее время являются предметом перманентного правового регулирования.
Сколько времени хранят информацию поисковые системы
Однозначного ответа нет, все зависит от востребованности информации. Можно с высокой вероятностью предположить, что если информация не востребована пользователями интернета, то поисковые системы «выплюнут» ее из своей актуальной базы на 3-4 год. Так же вероятно, что из-за объема актуальной информации, неактуальная будут вытеснятся еще быстрее.
Если у вас есть необходимость удаления информации из интернета, вы можете обратиться за консультацией к нам, мы не только решаем вопросы через судебное решение, но и осуществляем удаление отзывов, недостоверных данных, понижение позиций негативных запросов до 10- й (и ниже) страницы в выдаче и т.д.
Редирект со ссылок с лишними символами или неправильным окончанием на верные адреса
Актуальность: Все версии DLE. Проверено на 7.x, 8.x, 9.x, 10.x.
Типичная ситуация – добродушный посетитель вашего сайта решил поделиться ссылочкой на понравившийся материал в своем уютном бложике на ЖЖ или на МоемМире. Спасибо ему за это, молодец! Только вот беда – пользователь не знаком с html как таковым, он ничего кроме визуального редактора в глаза не видел. У меня таких «простофиль» на emofans.ru пруд пруди, ссылками делятся направо и налево. Так вот, вставил ссылочку человек в свой блог, да нечаянно окончание в ссылке потер (получилось не , а ), а проверить забыл, так и осталась «битая» ссылка на веки вечные, а в панели вебмастера ошибка затаилась и глаза мозолит! Или еще живой пример, пользователь не потер окончание, а, наоборот, в визуальном редакторе слилась ссылка с текстом (получилось не , а что-то в духе ), и опять ошибки свалились на вебмастерскую голову. Таких примеров у меня много, специально не исправлял эти ошибки до написания данного поста, чтобы не забыть.
Раньше тут было очень сложное решение, которое зависело от версии движка. Но с момента написания данного поста я достаточно прокачал свои умения, чтобы составить универсальное решение для всех версий DLE и вообще совершенно для любого движка или любого сайта!
Открываем .htaccess, который лежит в корне и находим:
# Редиректы RewriteRule ^page/(+)(/?)$ index.php?cstart=$1 |
ВЫШЕ добавляем:
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^(.*)\.html(.+)
RewriteCond %{REQUEST_URI} ^(.*)\.htm$
RewriteCond %{REQUEST_URI} ^(.*)\.ht$
RewriteCond %{REQUEST_URI} ^(.*)\.h$
RewriteCond %{REQUEST_URI} ^(.*)\.$
RewriteRule ^(.*)\.(.*) $1.html |
Вне зависимости от выбранного типа ЧПУ при переходе по любой «кривой» ссылке посетитель попадет туда, куда должен был попасть.
