Sitemap - это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию .
Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.
- Требования к файлу
- Вопросы и ответы
В каких случаях нужен файл Sitemap
Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью Ссылка, которая связывает страницы одного сайта. Страницы могут\n находиться в разных каталогах одного домена или на поддоменах.
"}}">внутренних и Ссылка, которая расположена на другом сайте."}}">внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap , если на сайте:большое количество страниц;
отдельные страницы без навигационных ссылок;
глубокая вложенность.
Поддерживаемые Яндексом форматы
Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap .
Требования к файлу
Максимальный размер файла в несжатом виде - 50 МБ.
Разместите файл на том же домене, что и сайт, для которого он составлен.
При обращении к файлу сервер должен возвращать HTTP-код 200.
Как создать файл и сообщить о нем Яндексу
При необходимости вы можете удалить информацию о Sitemap .
Вопросы и ответы
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»
Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .
Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.
При обработке Sitemap возникла ошибка «Неизвестный тег»
Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.
Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»
Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .
Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.
Карта сайта - это файл Sitemap.xml, где находится перечень всех страниц веб-сайта, создаваемый для ускорения индексации ресурса. Также есть карта сайта для пользователей - она скорее похожа на оглавление в книге. Последние называются HTML-картами и являются каталогом страниц проекта, отображающих иерархию.
Сегодня мы расскажем, как самостоятельно создать файл Sitemap.xml, загрузить на сайт и добавить в поисковые системы. Разберём и создание HTML-карты.
Sitemap - это карта сайта, каталог ссылок на категории, подкатегории, страницы проекта с поддержкой заложенной иерархии (уровня вложенности). При помощи Sitemap.xml можно сообщить поисковым системам Google и Яндекс актуальную структуру, уровень вложенности, количество страниц и ссылки на них.
Пример карты сайта
Наиболее подробная информация по необходимости использования Sitemap.xml представлена в справочнике Яндекс.Вебмастер и Google Webmasters.
- Гугл поддерживаются четыре формата карт сайта — .txt, RSS, .xml и «Сайты Google» (если ресурс сделан с помощью одноименного сервиса корпорации добра). Яндекс поддерживает только.xml карты.
- Google не поддерживает тег
. - Для Гугл обязательно добавление ссылки на карту сайта в файле robots.txt – для обозначению ее доступности к просмотру.
Для указания пути к файлу Sitemap.xml можно использовать кабинет вебмастера или указать ссылку в файле robots.txt . Лучше сделать и то, и другое. Если у вас сайт с огромным количеством страниц, карт сайта может быть несколько. Стандартные ограничения Google:
- Размер Sitemap-файла до 50 мегабайт.
- Количество ссылок не более 50 000 штук.
Аналогичные требования предъявляет поисковая система Яндекс.
Важность карты сайта нельзя недооценивать. Она и сегодня является одним из первых шагов при начале работы над SEO-продвижением сайта.
Виды карт
Можно выделить два типа карта сайта:
- XML Sitemaps – рассчитана на поисковых роботов, для сбора и обработки всех ссылок – категорий, подкатегорий, отдельных страниц. Представляет из себя набор тегов, внутри которых находятся ссылки на страницы и статьи.
- HTML карта сайта – для пользователей. Является отдельной страницей, состоящей из ссылок, разбитых в соответствии с категориями и подкатегориями. Реже – в качестве обычного каталога имеющихся статей, если сами категории не несут практической пользы. Нередко на нее можно перейти из меню на главной странице.
Также карты, можно подразделить на созданные вручную и сгенерированные с помощью онлайн-сервисов, плагинов или модулей.
Как создать файл Sitemap.xml
Создание файла Sitemap.xml подразумевает использование различных способов:
- Ручной. Вы самостоятельно через любой редактор (например, Notepad ++) задаете в определенном порядке теги и ссылки.
- Сервисы. Загружаете необходимые ссылки или вписываете адрес сайта, на выходе получаете сгенерированный sitemap.xml файл.
- Плагины/модули. Некоторые движки сайтов (CMS) обладают встроенными плагинами, позволяющими генерировать карты сайта в одно нажатие. Другие – требуют дополнительной установки.
Нет смысла рассматривать в контексте статьи создание карты сайта ручным методом, так как и автоматические справляются точно также. Плюс исключается человеческий фактор. Ведь всегда можно допустить ошибку, не закрыть тег или сделать что-то неправильно.
Создание карты сайта с помощью онлайн-генератора
Предельно простой процесс. Достаточно следовать инструкции ниже:
Данный сервис позволяет сгенерировать карту для сайта размером не более 500 страниц. Существуют и другие аналоги, работающие по такому же принципу.
Подключение с помощью плагинов и модулей
Для начала остановимся на самом популярном движке в мире – WordPress. Предлагаем загрузить плагин «Yoast SEO», он универсальный и потребуется для оптимизации страниц для продвижения в выдаче поисковых систем. В качестве приятного бонуса через него можно сгенерировать карту сайта. Инструкция следующая:
Готово Карта сайта создана и доступна по адресу site.com/sitemap.xml – то есть, находится в корневой папке.
В DataLife Engine (DLE) генератор карт уже встроен и доступен из панели управления проектом, для Joomla следует воспользоваться модулем OSMap, в Bitrix xml-файл формируется автоматически, в Drupal для этого можно использовать модуль XMLSitemap.
Как добавить файл Sitemap.xml на сайт и загрузить в поисковые системы
Если файл создан CMS, он он располагается в корне сайта. А значит, необходимо добавить ссылку в Яндекс.Вебмастер и Google Search Console. Далее вернёмся к этому процессу.
В случае, если файл создавался вручную или с помощью генератора, нужно перед добавлением в кабинет вебмастера загрузить его в корневую папку сайта. Самый простой способ:
Аналогичным образом нужно поступать и с остальными сайтами, где не предусмотрена возможность автоматической генерации карты сайта средствами движка или дополнительного модуля. Разве что уровень вложения корневых папок может различаться – много где для начала нужно зайти по пути public_html.
На очереди – добавление в Яндекс.Вебмастер . Инструкция следующая:
При успешном завершении робот будет знать, где искать карту и при посещении веб-сайта им будут индексироваться все ссылки различного уровня вложенности.
Для добавления файла карты в Google Search Console нужно проделать следующие действия:
С помощью файла Sitemap можно сообщить Яндексу об актуальной структуре сайта, указав специальную директиву в robots.txt или добавив в Яндекс.Вебмастер.
Вебмастер позволяет:
Загрузка Sitemap
Выберите из списка сайт.
В поле впишите URL, по которому доступен файл. Например, https://example.com/sitemap.xml .
Нажмите кнопку Добавить .
После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap , обрабатывается роботом отдельно.
После загрузки напротив каждого файла вы увидите один из статусов:
| Статус | Описание | Примечание |
|---|---|---|
| «OK» | ||
| «Редирект» | Удалите редирект и сообщите роботу об обновлении | |
| «Ошибка» | Файл сформирован неправильно | сообщите роботу об обновлении |
| «Не проиндексирован» | ||
| Disallow | сообщите роботу об обновлении |
| Статус | Описание | Примечание |
|---|---|---|
| «OK» | Файл сформирован правильно и загружен в базу робота | Напротив файла отобразится дата последней загрузки. Проиндексированные страницы появятся в результатах поиска в течение двух недель |
| «Редирект» | Указанный URL перенаправляет на другой адрес | Удалите редирект и сообщите роботу об обновлении |
| «Ошибка» | Файл сформирован неправильно | Нажмите ссылку Ошибка , чтобы узнать подробности. После внесения изменений в файл сообщите роботу об обновлении |
| «Не проиндексирован» | При обращении к Sitemap сервер возвращает HTTP-код, отличный от 200 | Проверьте, доступен ли файл для робота с помощью инструмента , указав полный путь к файлу. Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен. |
| Доступ к файлу запрещен в robots.txt с помощью директивы Disallow | Разрешите доступ к Sitemap и сообщите роботу об обновлении |
Обновление Sitemap
Если вы изменили добавленный в Яндекс.Вебмастер файл Sitemap , его не надо удалять и загружать снова - робот регулярно проверяет файл на обновления и ошибки.
Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap , можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.
Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.
Удаление Sitemap
В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице Файлы Sitemap : Если для Sitemap была добавлена директива в файле robots.txt , удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.
Вопросы и ответы
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»
Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .
Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.
При обработке Sitemap возникла ошибка «Неизвестный тег»
Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.
Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»
Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .
Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.
Доступ к Sitemap запрещен в файле
Карта сайта Sitemap XML
Карта сайта (Sitemap) – это специальный файл в формате.xml, хранящийся в корневой директории сервера. Владельцы сайтов нередко интересуются – зачем нужен Sitemap и влияет ли наличие/отсутствие этого документа на поисковое продвижение? Чтобы ответить на эти вопросы, рассмотрим назначение и структуру карты сайта.
Итак, зачем нужен xml Sitemap, что он собой представляет? Карта сайта – это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать интернет проект. Это особенно важно в том случае, если объем web-ресурса исчисляется тысячами или десятками тысяч страниц.
Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA
Это важно! В карту сайта следует включать только те страницы, которые должны быть в поисковом индексе. Документы с запрещенной к индексированию или служебной информацией не следует вносить в Sitemap. В карту сайта также не включают страницы с тегами и динамические URL-адреса.
Влияет ли Sitemap на продвижение?
Поисковики не будут пессимизировать интернет проект за отсутствие этого файла. Теоретически, робот должен самостоятельно просканировать все страницы сайта и включить их в поиск. Однако нужно учитывать, что система может дать сбой и не найти некоторые web-документы. Обычно «проблемными местами» становятся разделы, в которые можно попасть только по длинной цепочке ссылок, и динамически создаваемые URLы.
С точки зрения SEO, Sitemap имеет определенное влияние, поскольку карта сайта значительно ускоряет индексацию. К тому же повышается вероятность, что web-страницы попадут в индекс до того, как недобросовестные конкуренты успеют скопировать и опубликовать контент. Поисковые системы отдают предпочтение первоисточнику, тогда как копипаст подвергается пессимизации.
Как создать сайт мап
Проще всего воспользоваться одним из специализированных сервисов. К примеру, online-генератор http://www.mysitemapgenerator.com/ позволяет бесплатно сделать карту сайта, размером до 500 страниц. Предусмотрена возможность платной генерации Sitemap без каких либо ограничений. Вебмастеру потребуется всего лишь указать адрес своего сайта, а затем поместить полученный файл в корневой папке сервера.
Можно воспользоваться программой SiteMap Generator. В поле http:// следует завести адрес стартовой страницы сайта, кликнуть по клавише «start» и подождать, пока будет сформирована карта сайта. Затем нужно перейти на вкладку «Google Sitemap/XML», скопировать полученный код и вставить его в файл формата.xml.
Файл sitemap xml – доступные директивы
- Параметр Lastmod указывает роботу, когда документ последний раз обновлялся.
- Тег priory указывает на приоритет документа, по отношению к другим страницам сайта.
- Параметром loc обозначают URL адрес страницы.
- Тег changefreq используется для обозначения динамичности страниц (документы с параметром «0» робот будет посещать очень редко).
Как сообщить поисковику о карте сайта
Чтобы оповестить Яндекс, можно добавить директиву sitemap в файл robots.txt. Код будет выглядеть следующим образом:
Sitemap: http://yoursite.ru/sitemap.xml
Кроме того, можно передать карту сайта через интерфейс Яндекс.Вебмастер. Для этого нужно перейти на вкладку «Настройка индексирования» >> «файлы Sitemap», а затем указать системе адрес карты сайта.
Аналогичным образом можно оповестить Google. В панели инструментов для вебмастеров нужно перейти на вкладку «Сканирование» >> «файлы Sitemap».
В этом путеводителе мы рассмотрим следующие вопросы:
Что такое Sitemap ?
Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.
Для чего нужна карта сайта
Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).
HTML vs XML-карта сайта
Карты сайта бывают следующих типов:
- HTML;
Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.
HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.
При составлении HTML-карты сайта важно учитывать:
1. Структурированное содержание.
Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.
2. Анкоры ссылок.
Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.
Обычно Sitemap состоит из следующих XML-тегов:
Обязательные:
Необязательные:
Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.
Другие форматы Sitemap
Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:
Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.
Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.
Требования Google и Яндекса к файлам Sitemap
1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.
4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).
1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.
1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.
Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.
Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.
Как создать XML Sitemap
1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.
2. Определить, какой формат файла будете использовать.
3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.
Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .
Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:
1. Парсим сайт.
2. Переходим в раздел «Сайты» => «Генерировать Sitemap».
3. Сохраняем в нужном нам формате.
4. Карта сайта готова.
Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .
Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.
Исключить ненужные страницы можно и с помощью регулярных выражений.
Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.
Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.
Обязательные:
Необязательные:
Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.
Плюсы добавления XML-тегов для видео:
1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).
Карта сайта для видеофайлов состоит из следующих обязательных элементов:
Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.
Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .
Где разместить карту сайта
Распространённые заблуждения о Sitemap
Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:
– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.
– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.
– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.
Заключение
Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.
Подписаться на рассылку