Техническая оптимизация проектов (для злых программеров)
Начну с лирического вступления: раньше я был супер-перфекционистом, и пытался все сделать по максимуму круто и правильно, насколько на каждый конкретный момент хватало знаний и умений. Но через какое-то наконец пришло осознание того, что все сделать идеально нельзя, да и все равно потом оно перестанет казаться идеальным, ведь всегда можно что-то улучшить. Поэтому теперь я стараюсь фокусироваться на главном, а обо всякой хрени не думать вообще.
Приведу простой пример - нубы очень любят пофлеймить на тему того, как лучше делать конкатенацию строк - “маша $otshila васю” или “васе все равно “.$poh.” на Машу” и начинаются безумные холивары на тему производительности и так далее. А по большому счету - да какая хрен разница сгенерится страница на 5 миллисекунд быстрее или нет ? В общем надеюсь моя позиция по этому поводу ясна 
Теперь перейдем к конкретике - волшебный проект gickr.com
Говорю сразу, код был написан не мной, а моим рыжим сотоварищем, и после просмотра кода этого самого товарища мне хотелось придушить 
Но код работал, гифки генерились, и это было самое главное! Жило все это добро на VPS от паршивой компании Dreamhost и в какой-то момент нам просто вырубили imagemagick с формулировкой “ребята, вы ЧО ! охренели создавать 100 процессов imagemagick и нагружать наш суперпупермегамногоядерный Xeon на 99%”. И вот тут-то и началась оптимизация.
Шаг номер 1 - Найди bottle neck (то бишь узкое место)
Главное выяснить что отжирает больше всего процессорного времени, это делается простыми засечками типа:
function CurTime() {
list($usec, $sec) = explode(' ', microtime());
$time2 = (double) $usec + (double) $sec;
if(!defined("__TIME__"))define("__TIME__", $time2);
$l = round($time2 - __TIME__, 6);
return $l;
}
CurTime();
тут куча кода ...
echo CurTime();
Шаг номер 2 - заоптимизируй это самое узкое место нахрен
В моем случае выяснилось две вещи:
1) Если ставить ватермарк на каждый кадр гифа, а потом уже собирать сам гиф, то это получается в 3 раза быстрее чем ставить ватермарк на уже готовый гиф! В общем если подумать почему так, то все становится ясно, ведь чтобы поставить ватермарк на готовый гиф, надо его опять разобрать на кадры, шлепнуть лого и собрать опять.
2) Если 500 человек захотят одновременно сделать большие гифы, то они все равно положат почти любой сервак.
Первая проблема решилась понятно как, а от второго была придумана совершенно тупая защита: я стал хранить текущие процессы по обработке в базе, и теперь разрешаю обрабатывать одновременно не больше 4 гифоф, а остальные идут в очередь, вот и вся история.
Шаг номер 3 - заоптимизируй все остальное если не в лом и делать нечего
Ну а тут открывается простор для полета фантазии и действий, можно бесконечно оптимизировать БД и запросы к ней, можно например поставить APC и кэшировать популярные запросы, можно вообще присобачить HTML кэш Помнится когда я сделал одну системку, на которой сейчас работает 49 мемберок одной известной в узких кругах партнерки, меня только HTML кэш и спас (и это все на кластере из 8 машин)
В общем тема оптимизации неисчерпаема, поэтому более конкретные вопросы жду в комментах, постараюсь на все ответить как могу.
P.S. Вообще, все ведь уже поняли что все самое интересное на этом блоге происходит именно в комментах ?
 |
|
Интересно было почитать? Тогда напиши свои "умные" мысли и заодно подпишись на фид
Комментарии
Верно. Оптимизация кода - это как искусство, в котором нет предела совершенства. Программерский ДЗЕН рулит:)
Оффтоп: где же обещанный трип-репорт о днюхе 
?
На чем счас вертится гикр? Я имею ввиду, движок на чем написан?
Начну с лирического вступления: раньше я был супер-перфекционистом, и пытался все сделать по максимуму круто и правильно, насколько на каждый конкретный момент хватало знаний и умений. Но через какое-то наконец пришло осознание того, что все сделать идеально нельзя, да и все равно потом оно перестанет казаться идеальным, ведь всегда можно что-то улучшить. Поэтому теперь я стараюсь фокусироваться на главном, а обо всякой хрени не думать вообще.
Очень знакомо. Только я до сих пор не могу полностью избавиться от этого избыточного перфекционизма. Именно поэтому «Форум миллионеров 2.0» так и болтается недоделанный у меня в локалке. Эх…
Ну не могу я! Когда знаю, что можно сделать лучше. Хорошо бы научиться иногда быть пофигистом и в технических вопросах.
Уже сколько раз я ходил по этой волшебной ссылке, и так до сих пор и не понял, нафига нужен этот сайт и чё там делает такая куча народу
>Уже сколько раз я ходил по этой волшебной ссылке, и так до сих пор и не понял, нафига нужен этот сайт и чё там делает такая куча народу
аналогично ))
[…] Интересное на сегодня: Мантры известных блогеров, Бу-га-га блог про стринги), Анализируем купленный трафик, Солнечный город наконецто запущен, Техническая оптимизация проектов […]
Хм, я тоже на DreamHoster’е. Брал у них дедик специально под Дигг… А у тебя VPS все выдерживает! 
Так ты съехал с Дрима?
stwinnie привет
смотрю тут много интересных людей…
а что если всей дружной компанией заму- сотворить какой - лиБо проджект?!
мдааа.. как все знакомо.. я вот еще пофигистом не стал, вернее сам то я по жизни пофигист но не в пхп, постоянно ищу где что ужать или ускорить, в итоге проэкты растягиваются на неограниченное время..
вот тут решил собрать простые способы по оптимизации кода, если у кого что есть добавить простого и эфективного - милости прошу в коменты
Нихрена не так:
профайлинг делается с помошью 2 вещей.
1.хдебуг, 2 вин как там его (на сайте хдебуга есть )
со всем остальным согдласен очень
интернет бизнес, тебя прямо так и зовут ? ну что за привычка ставить в имя левые якоря 
на тему xdebug - ну да, если не в лом ставить …
Гари, твои оптимизации дадут тебе максимум 2 миллисекунды выигрыша, а вот париться с ними много :), это как раз то, о чем я писал в начале поста
да я то это знаю :), но говорю же что пофигистом еще не стал, а все что там описано, у меня уже на автомате, на уровне подсознания можно сказать используется..
вообще если используется связка php+mysql, то реально ускорить скрипт можно оптимизировав то что делается на стороне мускула: запросы, оптимизация самих таблиц, индексы и т.п. ну и естественно сократить количество самих запросов если это возможно..
> 1.хдебуг, 2 вин как там его (на сайте хдебуга есть )
Wincachegrind, кстати да… намного нагляднее и мощнее считалки микросекунд
Вот кстати хорошее решение установки всего этого дела под винду: http://forum.dklab.ru/viewtopic.php?p=105669
Поздравляю! Можно немного не по теме?! Об одном проекте! Москва претендует стать столицей первых юношеских Олимпийских игр! В настоящий момент я владею доменами moscow2010.org и .net, которые у меня хотели перекупить, но я отказался! Набросал дизайн! Прикрутил к Друпалу! И честно говоря не знаю как дальше быть! Решение о выборе Столице будет в конце февраля(немного времени ещё есть)! Но зашел в тупик! Как можно на этом деле заработать! Подскажи плиз! Могу поделиться если реально поможете! 
Предложения мона присылать на почту taras.kovalyov@gmail.com
“я стал хранить текущие процессы по обработке в базе, и теперь разрешаю обрабатывать одновременно не больше 4 гифоф, а остальные идут в очередь, вот и вся история.”
Но думаю это не выход, нужно что-то по другому сделать.
Я бы также сделал - в очередь нах