Даниил Фейгин: мысли вслух

Amazon.com хорошо известен потребителям -- больше 60 миллионов из них Amazon считает активными. На этом сайте свои товары им предлагает свыше миллиона продавцов, помимо хозяина площадки. Но есть у Amazon и третий бизнес, целевой аудиторией которого являются разработчики. И именно в этот бизнес Amazon наиболее активно наращивает инвестиции, стремясь сделать его таким же масштабным (и, по всей видимости, low-margin), как и бизнес электронной коммерции.

Пару месяцев назад число сервисов, базирующихся на информационных и вычислительных ресурсах Amazon.com, пополнилось новинкой Elastic Compute Cloud (EC2). Благодаря EC2, любой разработчик может приобрести время на выделенном сервере или произволного размера кластере, вооружившись не более чем кредитной картой. На самом деле все сервера выделяются из пула виртуализированных машин, каждая из которых эквивалентна Xeon 1.7GHz с 1.75GB памяти. Стоимость составляет вполне конкурентоспособные $0.10 за CPU-час, соответствующие $73/месяц, не считая стоимости трафика. Более важно то, что масштабировать свой data-центр вверх/вниз можно динамично, по мере изменения нагрузки.

Таким образом, путем нехитрых манипуляций, можно не сильно напрягаясь арендовать собственный кластер с root-доступом и хорошей связью. Что делать с этим новообретенным богатством подскажет Google, который большую часть своего бизнеса держит на воспетых прессой commodity-серверах. Для этого он использует собственный технологический стэк, который был частично клонирован в рамках проекта Apache Lucene и сейчас называется Hadoop. Так вот, Hadoop примерили на EC2, и, надо сказать, они неплохо смотрятся вместе.

Для сравнения: Sun Grid Compute Utility, предназначенный именно для параллелизации вычислений в "эластичной" среде, стоит $1/CPU-час. При этом доступ к ресурсам Compute Utility осуществляется только через Compute Server API, и никаким root-доступом не пахнет. Значит эту платформу можно подключать только в качестве расширения собственных вычислительных ресурсов, от которых отказаться совсем не удастся.

Очевидно, что на EC2 можно поставить не только Hadoop, но и любой другой технологический стэк (например, LAMP или JEE) в том числе вовсе не обязательно (кстати, как и Hadoop) связанный с Web. Но теперь фанаты функционального программирования, воодушевленные успехами Google, могут получить нечто очень похожее на его инфраструктуру, если именно этого им не хватало для построения решений "масштаба Web". Ведь хорошие идеи и ресурсы не всегда находят друг друга. Спешить, однако, пока не стоит, так как EC2 (как и Sun Grid) вполне оправданно находится в бете, закрытой для публики. Но, если вам это интересно, то записаться в очередь сейчас самое время.

technorati tags: amazon, google, ec2, sungrid, mapreduce, hadoop, utilitycomputing, ondemand, haas