From
Subject
Time (UTC)
subscribe@searchengines.ru
Заголовки Last-Modified и If-Modified-Since
2015-04-10 13:25:30
To:
From: subscribe@searchengines.ru
Subject:

Заголовки Last-Modified и If-Modified-Since


Received: 2015-04-10 13:25:30
Рассылка SearchEngines.ru Неправильно отображается?
Посмотреть в браузере.
10 апреля

2015 года

СЕГОДНЯ В ВЫПУСКЕ

Заголовки Last-Modified и If-Modified-Since

Сергей Людкевич
Автор: Сергей Людкевич - независимый консультант, супермодератор форума о поисковых системах Searchengines.Guru.
Сфера профессиональных интересов - исследование алгоритмов ранжирования поисковых машин, разработка методик поискового продвижения сайтов.

 

В процессе индексации сайта поисковый робот регламентирует количество запрашиваемых за один обход документов согласно выделенной квоте, зависящей от множества параметров сайта. При этом для достаточно больших сайтов, у которых размер этой квоты гораздо меньше общего количества документов, доступных для индексации, очень важно рациональное расходование квоты на индексацию. А именно, чтобы роботом скачивались только новые, еще не проиндексированные документы, а также документы, реально изменившиеся со времени предыдущего обхода, и квота не расходовалась бы впустую на переиндексацию неизменившегося контента. Для грамотного управления индексацией необходимо понимать, какие процессы при этом происходят, и как можно на них воздействовать.

В последнее время мне пришлось неоднократно столкнуться с тем, что некоторые SEO-специалисты, позиционирующиеся как не самые слабые профессионалы в отрасли, демонстрировали не совсем полное понимание того, как правильно управлять индексированием страниц сайта и вели речь только об отдаче заголовке Last-Modified, упуская из виду обработку запроса с заголовком If-Modified-Since. Поэтому хотелось бы остановиться на этом вопросе поподробней.

Итак, что такое заголовок Last-Modified и какую роль он играет при индексации?

Заголовок Last-Modified отдает время последнего изменения документа. Эта информация, несомненно, в какой-то мере полезна, и если этот заголовок не отдавать, то, к примеру, в Яндексе в сниппетах не будет показываться дата документа, и он также будет отсутствовать в результатах поиска, отсортированных по дате. Однако, собственно управлять индексацией с помощью этого заголовка невозможно.

Дело в том, что поисковый робот для документа, который он еще ни разу не индексировал, в первый раз задает запрос GET без всяких условий. А вот при повторном обращении к нему, он задает запрос с заголовком If-Modified-Since, в котором указывает дату предыдущей индексации документа. Вот, к примеру, выдержка из документации к продукту для поиска по корпоративным ресурсам Google Search Appliance: «During the recrawl of an indexed document, the Google Search Appliance sends the If-Modified-Since header based on the last crawl date of the document» («Во время повторной индексации проиндексированного документа, Google Search Appliance посылает заголовок If-Modified-Since, основанный на дате последней индексации документа» - здесь и далее перевод автора).

И вот уже для ответа на запрос с заголовком If-Modified-Since согласно протоколу RFC2616 имеются следующие варианты:

a) If the request would normally result in anything other than a 200 (OK) status, or if the passed If-Modified-Since date is invalid, the response is exactly the same as for a normal GET. A date which is later than the server's current time is invalid. (Если результат ответа на обычный запрос должен быть отличен от 200 (ОК), или если дата в If-Modified-Since некорректна, то ответ должен точно совпадать с ответом на обычный запрос GET. Дата, более поздняя, чем текущее время сервера, является некорректной).

b) If the variant has been modified since the If-Modified-Since date, the response is exactly the same as for a normal GET. (Если документ изменен с даты, указанной в If-Modified-Since, то ответ должен точно совпадать с ответом на обычный запрос GET.)

c) If the variant has not been modified since a valid If-Modified-Since date, the server SHOULD return a 304 (Not Modified) response. (Если документ не изменен с даты, указанной в If-Modified-Since, то сервер должен вернуть ответ 304 Not Modified.)

Таким образом, для документов, не изменившихся с даты предыдущей индексации, которая указывается поисковым роботом в заголовке If-Modified-Since, он должен получить ответ 304 и не скачивать их содержимое, расходуя квоту только на реально изменившиеся со времени предыдущей индексации или же новые документы, что, как было сказано выше, особенно важно для сайтов с большим количеством страниц. Однако следует обратить внимание, что при этом содержимое отдаваемого заголовка Last-Modified не суть важно, важен именно результат ответа на запрос с заголовком If-Modified-Since, и именно его необходимо корректно настраивать в первую очередь. И, кстати, нередки ситуации, когда вебмастера ограничиваются настройкой только отдачи заголовка Last-Modifed, забывая при этом о настройке корректной обработки ответа на запрос с заголовком If-Modified-Since. И в итоге задача управления индексацией остается нерешенной.

Проверить ответ сервера на запросы роботов Яндекса с добавлением заголовка If-Modified-Since можно в сервисе Яндекс.Вебмастер, правда, только для зарегистрированных в нем сайтов с подтвержденными правами на них: https://webmaster.yandex.ru/server-response.xml:

Также есть специальный сервис http://last-modified.com/ru , который предоставляет возможность проверить любой сайт на корректность обработки заголовка If-Modified-Since. Однако, в отличие от сервиса Яндекс.Вебмастер, он не позволяет самостоятельно задавать дату в заголовке If-Modified-Since. Принцип его работы следующий – сначала он делает обычный запрос, и если в ответе сервера обнаруживает заголовок Last-Modified, то делает второй запрос уже с заголовком If-Modified-Since, в котором указывает дату, полученную из заголовка Last-Modified в предыдущем запросе:

Проверить же ответ сервера для любого сайта на запрос с возможностью задать произвольную дату в заголовке If-Modified-Since, можно с помощью сервиса http://www.bertal.ru/index.php?ex=1

Ну, и в заключении я хотел бы привести пример ошибки, от которой я и хотел предостеречь в данной статье, а именно, когда разработчик ограничился только отдачей заголовка Last-Modified, не настроив при этом корректную обработку запроса If-Modified-Since:

Видим, что дата в заголовке Last-Modified (Tue, 07 Apr 2015 20:22:47 GMT) старше даты запроса (Wed, 08 Apr 2015 21:24:50 GMT). То есть сервер отдает не текущую дату, как это часто бывает с динамическими сайтами, а действительно настроена отдача в заголовке Last-Modified даты, отличной от текущей. Однако на запрос с заголовком If-Modified-Since, содержащим дату, отдаваемую в Last-Modified, сервер отдает ответ не 304, а 200. Проверка через сервис bertral.ru с указанием даты, более поздней, чем содержащаяся в заголовке Last-Modified, это тоже подтверждает:

Продвижение поисковых подсказок. Анализ алгоритма ранжирования


Николай Хиврин, CEO ALTWeb Group

Тема поисковых подсказок на сегодняшний день является одной из самых жарких и актуальных. Поиск предлагает пользователю подсказки с целью облегчить ему поиск, сократив время на формулировку нужного поискового запроса. Однако, поисковые подсказки не только помогают пользователям быстрее получать ответ на свой запрос, они также могут переориентировать область поиска, подсказать что-то пользователю, привлечь его интерес к чему-то другому и, таким образом, перенаправлять трафик.

Корреляция коммерческих фраз с подсказками в Google была проанализирована – ее практически нет, т.е. продвигать подсказки в этой поисковой системе практически невозможно. Однако это не значит, что этот механизм не будет вскоре усовершенствован и может стать со временем еще одним способом продвижения.

По очень большому количеству фраз в Google демонстрируются подсказки, связанные с регионами, т.е. поиск подсказывает города, страны и регионы, где что-то есть из того, что интересует пользователя. Однако при этом алгоритм региональности в поисковых подсказках Google, в отличие от Яндекса, совершенно не работает. Так, например, пользователю, находящемуся в Москве и интересующемуся запросом [грузоперевозки], Яндекс покажет следующие подсказки:

Отметим, что кроме Москвы и Московской области, а также в целом по России, никаких других регионов нет, в то время как Google, по непонятной причине, может подсказывать московскому пользователю поискать грузоперевозки в Кишиневе или, например, в Симферополе:

Как можно увидеть и из других примеров, Google пока в принципе с подсказками работать не умеет. Да и количество подсказок на каждый вопрос, выдаваемое Google, пока значительно уступает подсказкам в Яндексе.

Прежде, чем начать работать с подсказками, нужно понять, какую часть трафика можно будет перенаправить по поисковым подсказкам. Потому что может быть так, что все усилия, направленные на работу с подсказками, в принципе сайту давать ничего не будут, и это желательно установить еще до начала работы, чтобы потом не было жаль зря потраченного времени и усилий...

Самое интересное за неделю

Google запускает отдельную версию интерфейса мобильного поиска для медленного интернет-соединения

Google запустил новый интерфейс мобильного поиска, оптимизированный для медленного интернет-соединения. Если пользователь запустил поиск на мобильном устройстве, находясь в месте с низкой скоростью интернет-соединения, Google облегчит интерфейс, чтобы ускорить загрузку результатов.

Bing Ads начнет поддерживать обновленные URL

Сервис контекстной рекламы Bing Ads в скором времени начнет поддержку нового параметра отслеживания - обновленных URL, чтобы обеспечить плавный процесс переноса кампании из Google AdWords. Поддержка импорта обновленных URL из AdWords будет доступна в начале мая.
При импорте кампаний Bing Ads будет использовать все существующие в AdWords шаблоны отслеживания для создания целевого URL для Bing Ads.

Алгоритм Google mobile-friendly не затронет брендированные поисковые запросы

Новый алгоритм Google, дружественный к мобильным устройствам, не затронет брендированные запросы. Многих вебмастеров интересовало, как повлияет включение нового фактора в поисковый алгоритм Google на позиции брендов. По словам Джона Мюллера (John Mueller), может наблюдаться незначительное понижение позиций бренда в мобильном ранжировании. Тем не менее, поскольку сайт бренда – наиболее релевантный результат поиска, скорее всего он будет ранжироваться в топе поисковой выдачи или даже на первой позиции.

Twitter тестирует новый поисковый интерфейс

Англоязычные пользователи заметили, что Twitter экспериментирует с новым поисковым интерфейсом в десктопной версии сервиса и в браузере Safari. Пресс-секретарь компании подтвердил эту информацию. Новый UI позволяет фильтровать результаты поиска по самым популярным темам; фото; видео; новостям; публикациям от всех пользователей сервиса или только от друзей; из любой точки мира или из того же региона, где находится пользователь, осуществляющий поиск. Кроме того, он также позволяет сохранить результаты поиска, встроить их или же перейти к расширенному поиску.

Google mobile-friendly не влияет на поиск с планшетов

Алгоритм Google, учитывающий дружественность сайтов к мобильным устройствам, повлияет только на поисковую выдачу для смартфонов и не затронет поиск с десктопов и планшетов. Метка mobile-friendly появилась только при поиске на смартфоне. Неделей ранее стало известно, что команда Google News не планирует внедрять алгоритм в результаты поисковой выдачи сервиса.

Яндекс вводит возможность влиять на заголовки сниппетов для сайтов любых тематик с помощью разметки

Команда Яндекса сообщила о появлении возможности формирования заголовков сниппетов при помощи разметки Open Graph.
Обновленные сниппеты размеченных сайтов появятся в поиске выдаче, если будут отвечать на запрос пользователя лучше, чем сниппеты, сформированы из данных, полученных из других источников.

Google AdWords обновляет правила использования телефонных номеров в расширениях

Сервис контекстной рекламы Google AdWords в июне текущего года обновит правила использования телефонных номеров в расширениях Номера телефонов и Адреса.
Теперь рекламодатели должны будут подтверждать указываемые номера, иначе объявления с номерами телефонов и адресов будут отклоняться. Увидеть номера, требующие подтверждения, можно на вкладке Расширения объявлений: они будут иметь статус «Не проверено» или «Номер телефона не подтвержден».

Google не признает свою вину перед российским антимонопольным законодательством

Компания Google считает, что не нарушает российское антимонопольное законодательство, и надеется, что предоставленные Федеральной антимонопольной службе материалы помогут установить это. Об этом изданию Итар-Тасс сообщил советник Google по конкуренции Теро Луко. По словам советника, с ФАС ведется активная работа. На полученный от Федеральной антимонопольной службы список вопросов Google предоставил все факты, которые должны подтвердить отсутствие каких-либо нарушений со стороны компании. Google считает, что производитель остается свободным в выборе приложений для предустановки.

Facebook запустил веб-версию Messenger

Facebook представил интернет-версию популярного сервиса Messenger. Теперь пользователи получили возможность обмениваться сообщениями через веб-браузер. Сервис доступен на отдельной странице Messenger.com. Для его использования по-прежнему будет нужен аккаунт в Facebook. Messenger.com предназначен для тех пользователей, которые хотят обмениваться сообщениями, не отвлекаясь на другие функции, которые предлагает Facebook.

Введение «налога на Google» в России пока всерьез не обсуждается

Совет Федерации не обсуждает введение «налога на Google» в России, об этом сообщил в ходе форума RIGF-2015 секретарь комиссии СФ по развитию информационного общества Александр Шепилов, уточнив, что «в настоящий момент это вообще всерьез не обсуждается».
В целом Шепилов считает правильной мерой обязать компании платить налоги с учетом потребления их услуг в той или иной стране. Но сейчас момент для серьезного обсуждения таких мер не самый удачный, предупреждает он.

Яндекс изучил, как развивался интернет в разных регионах России в 2014 году

Яндекс опубликовал результаты исследования на тему «Развитие интернета в регионах России». В 2014 году аудитория Рунета продолжила расти, не уступая по темпам показателям за 2013 год. Увеличилось и проникновение интернета в стране: доступ в глобальную сеть стал открыт большему числу людей во всех регионах и типах населённых пунктов. Сегодня каждый второй житель сельской местности выходит в интернет хотя бы раз месяц.
Заметно расширилось распространение интернета на Дальнем Востоке. Осенью 2014 года 72,3 млн. россиян обращались к интернету хотя бы раз в месяц, а это - не менее 62% совершеннолетнего населения страны. До 60 млн. человек выходили в сеть ежедневно.

Google AdWords представит свои новинки 5 мая

Ежегодное мероприятие Google AdWords, в рамках которого специалисты сервиса контекстной рекламы объявят о предстоящем запуске новых продуктов, состоится 5 мая 2015 года в 9:30 утра по тихоокеанскому времени. Вице-президент по управлению продуктом AdWords Джерри Дисчлер (Jerry Dischler), посвятит свое выступление растущей роли мобильных устройств в жизни пользователей. 45-минутная видео-презентация будет доступна для просмотра в прямом эфире.

В Яндекс.Картах произошли два важных изменения – обновление интерфейса и объединение с Народной картой. Об этом на сегодняшней пресс-конференции Яндекса рассказали Павел Гущин и Андрей Кармацкий, представители проекта Яндекс.Карты.

Обновился интерфейс сервиса – теперь карта занимает все окно браузера. Панорамы тоже открываются на полном экране.

Теперь, найти нужное место стало проще. Карточка объекта не только подскажет адрес, но и покажет, как выглядит улица на панорамах, а заодно и предложит варианты проезда. Если вариантов несколько, пользователь может сравнить прямо на карте и выбрать самый удобный.

Андрей Кармацкий, руководитель службы дизайна геоинформационных сервисов: «Мы начали работать над новым дизайном Яндекс.Карт в марте 2013 года. До этого мы собрали статистику и отзывы по текущему интерфейсу и выяснили, для чего люди чаще всего используют карты и как они с ними взаимодействуют. Если кратко, то основные сценарии такие: посмотреть карту, посмотреть пробки, найти конкретное место или организацию, построить маршрут, сохранить или распечатать карту. Эти сценарии нам было важно заложить в новый интерфейс в первую очередь. Кроме того, работая над Картами, мы осознали еще одну важную вещь: собственно интерфейса на сервисе должно быть мало, а контента — карт и панорам — много. И стали чуть более критично смотреть на количество кнопок на экране».

Второе изменение касается содержимого карт. Яндекс начинает объединять результаты труда профессиональных картографов и пользователей, которые делают Народную карту, чтобы на Яндекс.Картах появились подробные схемы всех городов России, больших и маленьких.

Cама же Народная карта с сегодняшнего дня превращается в редактор Яндекс.Карт. Теперь поучаствовать в обновлении Яндекс. Карт может любой. Перейти в редактор можно из меню «Обратная связь», которое откроется, если нажать на букву «i» в левом нижнем углу экрана.

С помощью редактора можно, например, добавить на карту недавно построенный дом или открывшуюся по соседству аптеку. Никаких специальных знаний или навыков для редактирования карты не требуется: справятся даже те, кто никогда этого не делал.

Все правки проходят модерацию. После нее изменения появляются на Яндекс.Картах, где их видят миллионы пользователей. Обновление карт происходит раз в месяц.

Павел Гущин, руководитель проектов Яндекс.Карт: «Созданием и актуализацией Яндекс.Карт занимаются профессиональные картографы. Однако картографам не под силу уследить сразу за всеми изменениями в стране. Жизнь не стоит на месте: где-то снесли старое здание, где то открылась новая школа, а где-то построили целый микрорайон. Обо всех изменениях первыми узнают местные жители, поэтому мы предоставили им удобный инструмент для редактирования карт. Править схемы можно было и раньше — для этого существовала Народная карта, — но отныне результаты редактирования будут видны всей аудитории Яндекс.Карт».

Яндекс.Карты доступны на сайте maps.yandex.ru и в виде мобильных приложений для Android, iOS и Windows Phone. Сервис позволяет искать адреса и организации, просматривать спутниковые и панорам ные снимки городов, строить автомобильные маршруты и маршруты общественного транспорта.

«...У тебя красные, опухшие глаза и серая кожа? Пузо уже не вмещается в любимые джинсы? Тебя никто не любит? Не боись! Наш тренер выймет из тебя всю душу; мы сделаем из тебя человека! Что бы связатся, стучи в личку 24 часа в сутки 7 дней в неделю. Самый лучший Фитнес-центр «Улыбка».

Если мы получаем подобные тексты, значит, кто-то их пишет. А еще - кто-то за это платит. Потом этот «кто-то» не может понять, почему при такой сумасшедшей плате за текст, центов 20 за тысячу знаков, толпы красноглазых толстяков не штурмуют прекрасный фитнес-центр.

В своей новой книге Денис Каплунов объясняет, почему подобные тексты неэффективны и недопустимы в мире серьезных людей, какая информация обязательно должна быть в «правильном» тексте и как ее лучше оформить. Наконец, почему низко оплачиваемая работа может навредить репутации.

Одиннадцать глав, четыре сотни страниц... Без внимания автор оставил, пожалуй, только вопросы прикладной лингвистики и НЛП. Остальное, включая зависимость верстки от текста, выбор шрифтов, форматов и цвета бумаги, здесь есть.

Денис Каплунов – копирайтер и основатель агентства копирайтинга, ведет тематический блог, проводит семинары и мастер-классы. «Бизнес-копирайтинг» - его четвертая книга. Первая, «Копирайтинг массового поражения» (2011) стала бестселлером на Ozon. Интересно, что по образованию Каплунов никакого отношения к словотворчеству не имеет, он юрист и экономист с опытом работы в банковской сфере. Возможно, именно опыт пребывания по ту сторону «барьера», позволяет ему верно судить, какой текст будет воспринят серьезной деловой публикой на ура, а какой – отправится в корзину...

Подписаться на Twitter    Подружиться на Facebook    Отправить другу 
Copyright © 2015 Searchengines.ru,, All rights reserved.
Вы получили эту рассылку, поскольку регистрировались на сайте Searchengines.ru. Вы можете всегда отписаться от нее, переслать другу, а также обновить свой профиль подписчика.

Наш почтовый адрес:
Searchengines.ru, , Moscow, 65000, Russia
отписаться от этой рассылки    обновить настройки подписки