MercadoLibre用OpenStack推云存储业务

位于阿根廷部布宜诺斯艾利斯的公司(该公司在14个国家提供了类似于eBay公司的服务,并将eBay公司作为其投资人之一)在过去一年中一直致力于公司自己的开源云计算存储项目——这是一个使用由Rackspace托管公司和NASA建立的OpenStack社区提供的开源软件(OSS)的私有云计算基础设施。

  该项目团队可能再需要一年或更多的时间来微调和完成基础设施即服务(IaaS)模式的转换工作,希望能够实现更快的IT资源交付并帮助公司的开发人员为其网站更快地进行功能与应用程序更新。

  对于我们来说,最困难的事情是改变整个公司已习惯的业务流程;例如,请求服务器、运行一个应用程序或允许基于品质保证的测试工作,“MercadoLibre公司的高级基础设施工程师Leandro Reox说。

  直至去年年初的时候,IT基础设施团队已经认识到,它根本无法简单快速的提供服务器以满足公司开发人员和内部客户的要求 。规模扩张问题还涉及到基于NFS的NetApp FAS6280和FAS6080。

  实施一个基于服务的私有云计算将产生近乎实时的影响。在实施私有云计算之前,系统管理员们可在18月的时间里交付近2000台虚拟机。自从去年八月提供自助部署选项以来,基础设施团队坐观虚拟机数量增至6000台,Reox说。

  但是,虚拟机交付只是众多问题拼图中的一块。当MercadoLibre公司实施其开源云计算存储项目时, 它希望涉及其基础设施的每个部分,其中包括存储系统和数据库,以及通过私有云计算和公共云计算资源实现的服务。其视野也扩展到使用应用程序,或至少包括他们的前端,以便于在那些由Amazon.com或Rackspace公司运行的公共云计算上运行。

  仅仅为了一次营销活动,我们的业务增加就如同一个怪物一般,因此我们必须准备自动扩展规模,而应用程序架构的改变也赋予了我们以稳定的方式更快扩展规模的能力,“Reox说。

  新方法是存储基础设施发展的必然结果。为了弥补网络附加存储(NAS)和网络文件系统(NFS)规模扩展的限制,项目团队决定为其网站及其他静态信息的客户提供产品实施更具扩展能力的对象存储。他们还计划通过OpenStack系统上的冗余对象复制从根本上实现自动备份。

  Reox表示MercadoLibre公司出于其主要数据库速度和可靠性的考虑,将对其高端的NetApp FAS6280s和FAS6080s进行从文件到块存储的转换。团队采购NetApp FAS3270s用于虚拟机和MySQL数据库的块存储。开发人员可以编写批处理作业,以实现从NetApp到OpenStack对象存储的任意数据转换。

  为了让应用程序能够在公共云计算上运行,开发人员将需要把应用程序从他们用于数据访问的NAS系统中分离出来。这也就意味着,重写部分代码可实现通过API调用的对象存储系统数据访问。

  到目前为止,MercadoLibre公司使用Amazon的公共云计算只测试了数量有限的前端网络和应用程序服务器。开发人员将在未来几个月的时间里主要从事重新编写代码的工作,Reox说。

  在新模式下,为访问者提供页面访问的前端网络服务器可以在公共云计算上运行,但是通过由互联网URL发布的外部API,他们就可能访问任何他们所需的数据。而运行虚拟机和存储数据的URL则指向私有云计算。

  “我们可以在这个星球的任意位置只使用一个HTTP API调用就检索信息,”Reox说。

  虽然其优势可能巨大,但是其实现过程可能并不顺利。例如,OpenStack的早期发布期间相关文档极度缺乏,MercadoLibre公司的项目团队不得不深入研究代码以便于开发一个自定义API来完成OpenStack服务器集群工作负载平衡的功能。

  Reox表示,目前相关文档已得到了改善;一个OpenStack社区项目正在更新文档。不幸的是,其改善的速度并不能满足部分用户。

  OpenStack证明挑战

  位于美国的Dragon Slayer咨询公司总裁Marc Staimer说,他知道一家金融服务公司在四个月之后就结束了与OpenStack的合作,而另一家关注媒体和娱乐的公司则对OpenStac的文件大小限制感到不满。

  “他们认为,‘我们可以免费提供。’然后,他们在了解之后就变得非常失望,“Staimer说。“实施OpenStack是非常困难的。所有跟我谈论过的人都认为,你需要一些非常有才华的人来来使其高效运行。

  MercadoLibre公司有四个前系统管理员/IT基础设施工作人员开始其私有云计算工作,目前项目中有五人。OpenStack帮助他们提出请求,请他们提供鼎立支持并为开源软件做出贡献。

  “我们热爱开源,”Reox说。

  MercadoLibre公司的高级基础设施工程师Alejandro Comisario说,存储管理员们应当在他们的工作中为重要变更做好准备,甚至学习一些编程技巧,同时开始用新方法思考存储规模扩展问题。

  “还有大量的工作要做,但是实际上它是非常拥去,”Comisario说。“你将会觉得存储的每个块实际上是被更有效地使用,并被更为广泛地提供给每个人。最终,有效负载要多于其付出。”

  到目前为止,MercadoLibre的项目团队已实施了OpenStack软件平台的五个组成部分:“Nova”计算、“Nova”容量块存储、“Swift”对象存储、“Glance”镜像服务以及“Keystone”身份认证服务。(引号中的名称代表了代码名称。)

  在2011年7月,团队开始着手Nova计算软件的工作以便于为公司提供和管理虚拟机,这些虚拟机都在开源XenServer上运行,而Nova容量软件可使虚拟机块存储持久。Reox说,这两个组成部分的服务在8月份都向内部客户开放用以进行自助供应。

  而开发团队在12月开放给开发人员使用的OpenStack对象存储服务使用价格低廉的商品服务器集群以便于存储PB级的一般静态数据。

  “MercadoLibre公司遵循eBay模式,并拥有大量客户上传的临时图像文件。这简直就是为Swift量身定做的完美应用案例。对象存储是专为大批量相对较小文件而设计的,“位于波士顿云计算技术伙伴公司(CloudTP)的高级云计算架构师Beth Cohen说。CloudTP是Rackspace的合作伙伴,旨在帮助公司用户实施开源云计算解决方案,如基于OpenStack的Rackspace云计算:私有版。

  OpenStack Glance镜像服务存储MercadoLibre公司已定义的虚拟机镜像。开发人员查看现有镜像并选择其中最合适的,例如为MySQL数据选择一个Red Hat Linux镜像,或为Apache Tomcat服务器选择一个Ubuntu镜像。

  MercadoLibre公司还在去年年底花费了若干天用于实施Keystone身份认证服务,该服务处理访问资源与服务的认证和用户权限任务。例如,一个用户可能被允许访问对象存储服务,而不被允许创建一个虚拟服务器实例。

  Comisario表示,MercadoLibre公司自从启动OpenStack以来从未经历过重大中断事件。但是他知道,如果代理服务器上的身份验证服务发生故障,存储访问被中断,那么公司需要对此做出快速响应。

  “你知道的,它总是会在某个时候发生故障的”,他说。“你必须尽可能快地进行恢复。”

  2012年MercadoLibre公司计划在惠普公司服务器完全到位后把Swift对象存储进行全面投产。项目团队还计划使用OpenStack量子网络管理器和Melange IP地址管理实现网络层的虚拟化。

  目前,MercadoLibre公司使用光纤通道连接其NetApp设备和核心交换机,以及边缘交换机和核心交换机。在它的数据库服务器和交换机之间,它还拥有10G的以太网连接,而在动态链接聚合模式中是2Gbps。

  “也许在2013年年底,我们有望实现我们的私有云计算。我们正在快速而全力以赴地为这个目标而工作着,“Comisario说。“但是,我们为我们今天所取得的成绩而感到由衷的高兴。”

相关新闻

联系我们

400-822-8482

在线咨询:点击这里给我发消息

邮件:283165923@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code