吾读小说网 www.wdxsw.com,传奇1997无错无删减全文免费阅读!
“去IOE”这个说法,
是在王坚博士加盟百度研究院、原“大中台”事业群改组为易趣云。
隋波提出了公司系统平台的“自主研发”道路和“云计算”战略之后。
在去年初的长城会议上,正式确定的。
星河系旗下的电商、搜索、社交业务,都是平台级的应用。
随着业务发展,
无论是海量暴增的数据,还是大规模高并发的互联网行为、对计算能力的巨大需求……
现有的传统服务器架构和集中式Oracle数据库架构,已经越来越不适应业务扩展的需要。
不仅成本高,维护费用高。
甚至可能会导致,系统被主机和硬件厂商所“绑架”,不得不持续增加投入成本。
而随着星河系的盘子越来越大。
所需要付出的升级硬件和维护的代价,也会越来越惊人……
在这两年易趣618大促、淘宝双11促销活动,电商业务量暴增;百度全球化扩张步伐导致的数据存储和检索量激增;易迅在社交和游戏业务上的快速增长等情况下……
“去IOE”,就更加变得势在必行了!
所谓“去IOE”。
其核心是低成本、线性可控、去中心化(分布式):
“PC Sever替代IBM小型机;MySQL+自研数据库替代Oracle;去EMC,用中低端存储”。
简单来说,
传统的IOE代表的是集中式架构,而“去IOE”,就是推动分布式架构代替集中式架构。
其实质,与“云计算”战略是紧密相连的。
在今天的合伙人会议上,
王坚博士第一次向所有合伙人,详细阐述了目前“去IOE”和云计算的进度。
“像我们星河集团这样大规模的互联网应用,采用开源、开放的系统架构,这其实并不是什么新的发明。
国外的Google、亚马逊这些公司,都是采用的类似系统架构。
只不过,它们几乎一开始就没有采用IT商业公司的架构,所以他们不用“去IOE”。
而我们在前期,由于没有足够的技术实力来开发自有系统。
为了系统的稳定性和高性能的运算存储,采用了高端的IT商业公司架构。
现在基于集团业务发展的需要,同时也积聚了一定的技术实力。
是时机可以开展自主研发了。”
王坚显得颇有感触:
“当然,在这个过程中,困难是非常大的……
多亏了波总、庞总的支持,和所有团队的认同和协作。
如果没有技术、产品和业务等各团队的相互协同,这是一件不可能的事!”
根据他的介绍,去IOE的困难,主要是技术层面的……
比如,“去I”,技术架构是关键:
小型机作为IT系统的主要计算设备承载了大部分的业务,但从扩展性、性价比、核心能力掌控等角度而言,不适宜集团目前业务发展。
而X86单个CPU处理能力一直在提升,应用了分布架构和云计算技术,可以用一个数据中心去替代某一台大机。
不过,应用采用分布式架构,提升处理能力,必须对应用代码进行改造。
所以,应用层可以直接替换成廉价的X86服务器,难点在涉及到部分代码重构;
数据层(易趣)也可以采用X86服务器或者是数据库云平台,分析型业务(百度)则主要迁移到大数据平台。
“去E”的主要难点,仅限于技术架构,对应用基本无影响。
但同时,“去E”也需要在存储性能、可靠性和容灾方面考虑对策。
实际上,“去I”和“去E”,在技术上难度和复杂程度都不算太大……
“去IOE”真正的难点和重点,
是“去O”!
因为数据库非常难被替换。
它处在整个产品或者产业链最底层的位置,替换风险很大,但收益相比起来却小得多。
这也是为什么像IBM、微软这样的后来者,也无法取代Oracle。
而对于星河集团而言,“去O”的主要难点在于:
传统关系数据库都是通过外部硬件来保证可用性,在用便宜的PC机替换高端服务器之后,硬件更容易出故障了,如何保证数据库高可用?
高可用和数据一致性如何同时保证?
分布式系统怎么同时实现CAP的要求?(CAP指:一致性(cy, C)、可用性(Availability, A)、分区容错性(Partition Tolerance, P))
几十年来,这么多做数据库的厂商,国内国外基本没有人成功过……
而且从公司的业务发展的角度,也不可能等你几年把数据库做出来,再去发展业务。
更可行的做法,是先基于开源做出一些东西,让业务先往前走。
所以,目前王坚为首的技术团队,采用的是数据切分(sharding)的策略。
将部分海量数据应用,先从集中式Oracle切换到分布式MySQL集群,从纵向扩展到水平扩展,解决了数据库扩展性的问题。
同时,目前百度研究院正在研发自有的分布式关系数据库——OBase。
这里不得不提到一个人,阳振坤博士。
这也是一位“超级大牛”:
84级帝大数学系,硕士师从本系的张恭庆院士,后又转向计算机领域,博士师从计算机系的王选院士。
大学只用了3年,硕士1年多,24岁成为王选院士博士……
95 年其所在团队研究成果获国家科技进步一等奖(排名第四),1997 年, 32 岁被破格晋升为教授、99年成为帝大首批“长江学者奖励计划”特聘教授。
他是跟随王坚博士,从微软亚洲研究院“跳槽”,来到百度研究院的十几名科学家之一。
目前担任百度研究院系统数据库项... -->>
“去IOE”这个说法,
是在王坚博士加盟百度研究院、原“大中台”事业群改组为易趣云。
隋波提出了公司系统平台的“自主研发”道路和“云计算”战略之后。
在去年初的长城会议上,正式确定的。
星河系旗下的电商、搜索、社交业务,都是平台级的应用。
随着业务发展,
无论是海量暴增的数据,还是大规模高并发的互联网行为、对计算能力的巨大需求……
现有的传统服务器架构和集中式Oracle数据库架构,已经越来越不适应业务扩展的需要。
不仅成本高,维护费用高。
甚至可能会导致,系统被主机和硬件厂商所“绑架”,不得不持续增加投入成本。
而随着星河系的盘子越来越大。
所需要付出的升级硬件和维护的代价,也会越来越惊人……
在这两年易趣618大促、淘宝双11促销活动,电商业务量暴增;百度全球化扩张步伐导致的数据存储和检索量激增;易迅在社交和游戏业务上的快速增长等情况下……
“去IOE”,就更加变得势在必行了!
所谓“去IOE”。
其核心是低成本、线性可控、去中心化(分布式):
“PC Sever替代IBM小型机;MySQL+自研数据库替代Oracle;去EMC,用中低端存储”。
简单来说,
传统的IOE代表的是集中式架构,而“去IOE”,就是推动分布式架构代替集中式架构。
其实质,与“云计算”战略是紧密相连的。
在今天的合伙人会议上,
王坚博士第一次向所有合伙人,详细阐述了目前“去IOE”和云计算的进度。
“像我们星河集团这样大规模的互联网应用,采用开源、开放的系统架构,这其实并不是什么新的发明。
国外的Google、亚马逊这些公司,都是采用的类似系统架构。
只不过,它们几乎一开始就没有采用IT商业公司的架构,所以他们不用“去IOE”。
而我们在前期,由于没有足够的技术实力来开发自有系统。
为了系统的稳定性和高性能的运算存储,采用了高端的IT商业公司架构。
现在基于集团业务发展的需要,同时也积聚了一定的技术实力。
是时机可以开展自主研发了。”
王坚显得颇有感触:
“当然,在这个过程中,困难是非常大的……
多亏了波总、庞总的支持,和所有团队的认同和协作。
如果没有技术、产品和业务等各团队的相互协同,这是一件不可能的事!”
根据他的介绍,去IOE的困难,主要是技术层面的……
比如,“去I”,技术架构是关键:
小型机作为IT系统的主要计算设备承载了大部分的业务,但从扩展性、性价比、核心能力掌控等角度而言,不适宜集团目前业务发展。
而X86单个CPU处理能力一直在提升,应用了分布架构和云计算技术,可以用一个数据中心去替代某一台大机。
不过,应用采用分布式架构,提升处理能力,必须对应用代码进行改造。
所以,应用层可以直接替换成廉价的X86服务器,难点在涉及到部分代码重构;
数据层(易趣)也可以采用X86服务器或者是数据库云平台,分析型业务(百度)则主要迁移到大数据平台。
“去E”的主要难点,仅限于技术架构,对应用基本无影响。
但同时,“去E”也需要在存储性能、可靠性和容灾方面考虑对策。
实际上,“去I”和“去E”,在技术上难度和复杂程度都不算太大……
“去IOE”真正的难点和重点,
是“去O”!
因为数据库非常难被替换。
它处在整个产品或者产业链最底层的位置,替换风险很大,但收益相比起来却小得多。
这也是为什么像IBM、微软这样的后来者,也无法取代Oracle。
而对于星河集团而言,“去O”的主要难点在于:
传统关系数据库都是通过外部硬件来保证可用性,在用便宜的PC机替换高端服务器之后,硬件更容易出故障了,如何保证数据库高可用?
高可用和数据一致性如何同时保证?
分布式系统怎么同时实现CAP的要求?(CAP指:一致性(cy, C)、可用性(Availability, A)、分区容错性(Partition Tolerance, P))
几十年来,这么多做数据库的厂商,国内国外基本没有人成功过……
而且从公司的业务发展的角度,也不可能等你几年把数据库做出来,再去发展业务。
更可行的做法,是先基于开源做出一些东西,让业务先往前走。
所以,目前王坚为首的技术团队,采用的是数据切分(sharding)的策略。
将部分海量数据应用,先从集中式Oracle切换到分布式MySQL集群,从纵向扩展到水平扩展,解决了数据库扩展性的问题。
同时,目前百度研究院正在研发自有的分布式关系数据库——OBase。
这里不得不提到一个人,阳振坤博士。
这也是一位“超级大牛”:
84级帝大数学系,硕士师从本系的张恭庆院士,后又转向计算机领域,博士师从计算机系的王选院士。
大学只用了3年,硕士1年多,24岁成为王选院士博士……
95 年其所在团队研究成果获国家科技进步一等奖(排名第四),1997 年, 32 岁被破格晋升为教授、99年成为帝大首批“长江学者奖励计划”特聘教授。
他是跟随王坚博士,从微软亚洲研究院“跳槽”,来到百度研究院的十几名科学家之一。
目前担任百度研究院系统数据库项... -->>
本章未完,点击下一页继续阅读