На прошлой неделе я на собственной шкуре, верхнее на собственном железе, то есть на сервере, ощутил как Yahoo может “досить”.

На серваке крутятся несколько сайтов, объемом по несколько тысяч страниц, железяка довольно мощная, оперативки 2 гига, диски SCSI, скрипты сайтов адекватные, но Yahoo всё это ни по чем. Укладывает сервер на раз-два. Причем сайты не новые и в индексе Yahoo живут уже давно и в полном объеме.

Но, видать, Яха решила ревизию провести и её поисковые боты стали жрать всё подряд без устали, что и стало причиной “незапланированного отдыха”.

Хватаясь за валерьянку, я вспомнил, что весной с аналогичной проблемой столнулся Димок. Его способом противодействия стала дополнительная оптимизация скриптов, кэширование и при обострении временная блокировка Yahoo-пауков.

Но в комментариях я обнаружил интересный рецепт усмирения аппетитов яхиных ботов - директива файла robots.txt - Crawl-delay, которую Yahoo чтит и повинуется.

И так, что делать если подобный “дос” приключился и с вашим сервером?

Во-первых, бегом в логи - смотрим какой именно сайт стал предметом трепетной любви yahoo-пауков, и сразу же в файл robots.txt для этого сайта прописываем такую директиву:

User-agent: Slurp
Crawl-delay: X

где X - таймаут в секундах (я ставил 5)

перезаливаем robots.txt - “отпустить” должно довольно быстро. Во всяком случае, мне такой рецепт помог. Собственно, Yahoo и сама не против таких приемов, о чем в своих хелпах и пишет.

Удачи в любви с Yahoo пауками!

Так уж сложилось, но с PHP, да и вообще языками программирования у меня дружбы не вышло… давным-давно в школе пробовал себя на уровне начального программирования в Turbo Pascal и дальше этого начального уровня и не ушел. Примерно на таком же уровне мои познания в администрировании серверов и прочей вебмастерской кухне, но кушать то хочется, а по сему приходится время от времени вникать и ковыряться…

Вот собственно и встала передо мной задача сделать для одного партнерского сайтика красивые ЧПУ урлы. А что для этого нужно спросил я себя? И вспомнил, что в народе ходят слухи о чудесах Mod Rewrite - модуля веб сервера Apache.

Не буду томить… вот цитата из одной, на мой взгляд, самой интересной статьи по Mod Rewrite

Mod_rewrite предоставляет механизм динамического изменения запрашиваемых URL-ов. Это действительно мощный инструмент, и поэтому, его знание принципиально важно, если вы хотите стать подлинным веб мастером или веб программистом…

Однако нужно быть очень осторожным и даже дотошным при работе с этим модулем! Некоторые ошибки, которые Вы способны допустить, могут привести к логической петле, вызвав циклическую 100%-ую загрузку центрального процессора (CPU)

Для применения этого модуля потребуется использование файла .htaccess (данный файл .htaccess должен быть загружен на сервер в «режиме ASCII»).

Но вот как составить грамотные правила Mod_rewrite не зная их досконально? Этим же вопросом был озадачен и я, однако выход был найдет довольно просто. Покопавшись в своих букмарках я отыскал ссылку на mod-rewrite-wizard.com - отличный (я бы сказал самый лучший) визард по работе с Mod Rewrite

Интуитивно понятный интерфейс, помогает без лишних движений составить необходимые Mod Rewrite правила:

С помощью Mod Rewrite Wizard можно за пару минут сформировать фактически любой необходимый вам вид урл

На этапе формирования ЧПУ адресов визард даёт фактически все необходимые подсказки.

Mod Rewrite Wizard обладает простым и эффективным интерфейсом, поэтому, не смотря на отсутствие русскоязычной версии сайта работать легко и приятно.

Так что всем кто давно хотел научиться формировать ЧПУ но не знал как это сделать - Mod Rewrite Wizard - то что вам нужно!

Если вы являетесь владельцем собственного online магазина, или на партнерских условиях продаёте со своего сайта товары ваших бизнес-партнеров, то стоит задуматься об установке на сайт SSL сертификата.

Что это такое SSL сертификат и зачем он нужен вашему сайту?

Прежде всего, SSL сертификат - это показатель серьезности ваших намерений и вашего отношения к персональным конфиденциальным данным ваших пользователей/покупателей.

SSL-сертификат - это цифровой ключ шифрования, который устанавливается на вашем веб-сервере и позволяет организовать защищенное соединение между клиентским ПО и вашим web-сервером.

В Рунете не так часто можно встретить SSL-сертификаты, это обусловлено рядом причин, одной из которых является низкий уровень развития online-торговли и интернет-платежей. Но на Западе online покупки - это неотъемлемая часть жизни практически любого пользователя сети. В англоязычном сегменте Интернета online-торговля формировалась не один год и на сегодня существуют отраслевые стандарты и общие рекомендации по построению собственного online-магазина. К таким стандартам можно отнести и SSL сертификат - в подавляющем большинстве случаев необходимый компонент построения онлайн-магазина, особенно если средняя покупка в вашем магазине превышает цифру 100$. Люди просто не решаться доверить вам данные своей кредитной карты без SSL сертификата на вашем веб-сервере…

Continue reading »

Наверное, ни для кого не секрет, что Google медленно, но верно входит практически во все отрасли интернета. Начав с поиска, Google легко и непринужденно запускает новые довольно успешные проекты - Google Maps, Gmail, Google AdWords/AdSense, Google News, Google Base, Blogger, Google Talk, Google Calendar, Google Video… и это далеко не полный список успешных начинаний Google.

Конечно же, многие из названных сервисов всё еще пребывают в состоянии beta-версии, но Google подходит к работе весьма основательно, и уж если его команда берется за работу, то можно заранее сказать, что качество будет навысоте, а успех и народная любовь проекту гарантированы…

А причем тут хостинг? Спросите вы. Попробую ответить…

Continue reading »