李国杰徐志伟
一、关于网格技术
网格技术(包括Webservice)正在成为影响信息技术下一个高潮的最重要的核心技术。它正形成下一代操作系统和用户界面,进而促进新一代计算机应用。这一点Wladawsky-Berger(日本首相信息技术顾问委员会前主席,IBMCTO)在去年高性能计算机国际大会的主题报告“BeyondTechnology:On-DemandComputing”中做了精辟的介绍。
任何一种技术的发展可以分成四个阶段:(1)少数技术专家使用阶段,如计算机领域中的小型机一终端时代。此时,通常用户根本用不上计算机。(2)初期流行阶段(earlyadoption),此时更多技术专家以及通常用户开始使用,如计算机领域中顾客-服务器(微机-局域网)时代。这时,用户依然须要有一定的计算机知识,要挺好地使用则须要深入的知识。(3)公众认识阶段(publicrecognition),此时广大社会民众对该项技术有了初步意识和认同感,如计算机领域中的因特网时代。计算机技术已在公众中流行上去(如网咖)。用户依然须要晓得计算机的知识。(4)在所谓广泛使用时代(massadoption)或“后技术时代”(post-technologystage),用户早已看不见技术(也不须要晓得技术),只看得到技术带来的益处。对计算机领域而言,这个“后技术时代”就是按需估算时代、网格估算时代、UtilityComputing时代(这种名词是从不同角度说一个东西)。如今,我们正处于从因特网(Internet与Web)时代向按需估算时代演进的阶段。
网格技术不是遥远的空想,而是学术界与工业界正在竭力开发的技术,如今已有初步的产品出现,在2003-2025年时段内各大厂家将会推出新一代操作系统(网格操作系统)与用户界面(网格界面)。届时,一大批新型应用软件、使用模式、商业模式也会出现。
为了防止网格成为一种商业炒作和泡沫,科技界应当踏塌实实地开发网格技术及其应用。在GGF-5期间,常看到两种反映共识的声音:(1)竭力开发网格技术标准;(2)分阶段实现网格远景,每位阶段目标(包括技术目标和应用目标)具体有限。FranBerman建议经过三个阶段构造科学研究网格:
OGSA与Globus已成网格的主流体系结构。全球网格峰会(GGF)早已成为事实上的全球性的网格技术标准化组织。近五年来,与网格相关的另外两个组织(Peer-2-PeerWorkingGroup与NPI,即NewProductivityinitiative)已即将融入GGF,成为GGF的一个领域(Area)。目前,该领域确定了两个主要方向,即桌面网格(如Entropia)和电器网格(ApplianceGrid)。前者与联想笔记本公司的MicroGrid目标一致。这两个方面早已有了好多技术积累。
网格、Webservice、P2P、SemanticWeb等工作越来越结合为一体,日渐扩大网格的(应用领域)外延。例如,GGF成员早已在研究GSDL、GSFL、ApplianceGrid、SemanticGrid等课题。好多GGF成员觉得“Webservice是不是网格”、“Semanticweb是不是网格”之类教条式争辩完全没有意义。
网格的目的不只是科学估算,而是各类服务。其中,高速、安全、方便地共享与处理海量数据和信息将会是一个主要目标。FranBerman觉得,Teragrid构造的网格系统的主要优势不是13.6Tflopls的聚合估算能力,也不是40Gbps主干通讯能力,而是因为这种能力得到充分发挥,让数千名科技人员才能从全省各地实时地共享600TB的数据。
政府对网格研究的支持继续升温,这方面一直是德国最为积极。不仅现有的TeraGrid(DTF)、ETF、各种应用网格计划、MiddlewareInitiative以外,最值得注意的是NSFBluePanel早已酝酿了五年多的Cyberinfrastructure计划。这个计划作者之一的PaulMessina说,Cyberinfrastructure计划可望在今年得到批准,届时每晚会降低6亿港元的研究经费。网格是一个核心技术。
法国方面最积极的是美国(e-Science)。英国、意大利与法国也有相当投入。连原先不甚积极的日本,也启动了一个称为ACIGrid(ActionConcerteIncidative)的国家网格计划,牵头单位是INRIA(Michael.Cosnard@inria.fr)。这个五年计划的经费不到1000万港元,但不包括人员和设备投入(另有经费支持)。台湾与日本的网格计划早已启动。并各自组建了全省网格峰会,东京工业学院的西乡聪院士(他是GGF指导委员会成员)觉得,到2004财年,网格技术将成为俄罗斯信息技术领域的基础设施类大项目。
工业界已在大力开发网格产品和服务,这方面的领头公司是IBM与谷歌,其次是Platform、HP、Sun、Intel与BEA等公司。那些公司基本上都觉得网格与WebService本质上是一回事。但在产品推进的具体操作上,公司的主要力量在WebService,这与学术界重视估算网格、数据网格有所不同。Sun在Internet、Web、Unix系统的发展中起了重要作用,但在网格(含WebService)这一波浪潮中不如IBM和谷歌的作用显著。并且Sun起码在网格的3个方面发挥着重要作用:(1)J2EE环境;(2)Liberty联盟(身分与上下文);(3)基于CIM的服务器系统管理(SMC),它很可能会影响网格系统管理。Sun的WebService(包括SunONE以及N1体系结构)与网格战略本身特色并不显著。
国际科研界有以下三种共识:
第一,当前网格的研究开发工作事实上正在创造下一代的操作系统和用户界面。例如,IBM早已把WebSphere弄成了公司的一个品牌,甚至直接了当地说WebSphere就是“Internetoperatingsystem”。IanFoster说她们的Globus的目标是成为“分布式估算的Linux”.他进一步确认,Globus就是开放源码的网格操作系统核心。
第二,这些网格操作系统的基本结构承继了原先操作系统的做法,即一个核心(内核)加上一个框架,如同GNU/Linux一样。当我们说Linux操作系统时,我们实际上是指Linux核心中加上GNU环境(又名框架)。
第三,不论是学术界还是工业界(包括谷歌),都强烈希望只有一套开放的网格(WebService)技术标准。要注意的一点是OGSA。IanFoster等人的“Physiology”论文并不是OGSA体系结构的规范说明(Specification)。用他的话说,此文只是呼吁同行(acalltoarms),今后五年将是OGSA具体化和建立的时间,这种工作将具体在OGSI和OGSAArchitecture等小组里实现。为此,中国同行还有机会影响网格的总体结构标准。一定不能以为OGSA早已定型了。OGSA将先在J2EE和开放平台上实现,之后在.Net上实现。
二、关于操作系统
谷歌正在竭力占领下一代操作系统与用户界面市场。谷歌近几年大力降低研究开发经费,企图在2005年曾经推出网格操作系统与网格用户界面。2001年投入43亿港元,2002年投入52亿欧元linux内存管理,年增速达20%。另外谷歌近来公布要新招收5000名技术人员。
比尔盖茨觉得,现今的桌面操作系统、服务器操作系统、Internet/web有好多缺点,是效率很低、很笨拙的东西。它们将会被.Net赶超。而.Net就是谷歌的Internet操作系统,或则叫分布式操作系统。其实,谷歌也要开发相应的Office产品。
谷歌仍未即将公布它的产品里程碑,经过多种渠道搜集了有关.Net操作系统的一些信息,经整理总结如下。
(1)谷歌如今正在做的工作是开发谷歌“第四代”操作系统。
谷歌的四代操作系统
时间
产品名
特征
第一代
1983-1995
DOS
命令行微机操作系统
第二代
1985-1995
Windows1.0-3.2
图形化桌面系统
第三代
1995-2001
Windows95
WindowsNT
直至Windows2000
支持网路、Internet、Web(不再只是单机)
第四代
2000
.Net公布
最终成为网格操作系统,无缝支持网格及各类终端设备
2001
WindowsXP
2002
WindowsXPSP1
2004
LongHorn
2005
Blackcomb
(2)目前的.Net和XP只是(第四代操作系统的)过渡性产品
比尔盖茨觉得谷歌的产品开发在今后几年里会经历三波浪潮;目前的.Net产品是第一波(其目的是紧抓用户和第三方开发者);第二波不会有好多产品公布,但在技术上有实质进步;第三波内部名称叫LongHorn与BlackComb,将会采用好多新技术,包括抛弃第一波的一些技术。
为此,我们不要盲目跟踪.Net。像.NetMyServices这样重要的技术,谷歌也可能抛弃(比尔盖茨的原话是“we’velearnedfromthemarketandhadtomakesomechanges”)。我们可能会跟踪将很快被淘汰的东西。
(3)LongHorn/Blackcomb富含好多重要创新
(4)谷歌可能会采用与众不同的、更先进的技术路线
国外研究界甚至国际研究界有一种观点,觉得网格这样的技术一定是“中间件”技术,虽然把网格看成分布式操作系统,也觉得必须运行在各个服务器或顾客机的“本地”操作系统之上。这些观点不能说错误的,但却是一种片面甚至制约创新的观点。这就似乎是说Windows操作系统是一种中间件,由于它必须运行在DOS之上一样。如今看来,这些观点很显著是荒诞的。
当微机操作系统从DOS向视窗过渡的时侯,世界当时采用了两种技术路线:一种是谷歌的Windows1.0-3.0,另一种是IBM的OS/2。后者须要先在微机上安装DOS,前者则不须要。到了1995年,Windows3.0那个落后的方式就完全被淘汰了。
明天,谷歌和IBM虽然正好交换了角色。IBM(以及诸多其它厂商和科研界)其实是把网格操作系统(如WebSphere)构造在本地操作系统(如AIX红帽子linux下载,Linux)之上,而谷歌则显然在走OS/2的路,构造一个无缝的操作系统,既是网格操作系统,也是本地操作系统。谷歌的这些技术路线可能更为先进。其实,上述论断并不一定正确,由于我们尚不晓得谷歌战略的细节,IBM和科研界也可能会改变它们的策略。
综上所述,谷歌有今后几年里的动向特别值得关注。并且,它在思路上其实早已领先于其它厂商。假如运气好的话,2005~2010年谷歌将会保持并扩大它在操作系统领域的垄断地位。
谷歌的.Net战略也有一些潜在的风险。第一,这是一个浩大的创新工程,假如谷歌依然像先前那样封闭自行开发的活,成本很大,犯错误的机会也好多。第二,与IBM、HP、Sun等厂家相比,谷歌在服务器端的经验(如可扩充性等方面)一直较弱,而网格与Webservice的服务器端成份很大。
为了降低这些风险,比尔盖茨强调谷歌的.Net战略将支持、推动、采用开放的技术标准。这也是为何谷歌积极参与W3C、GGF、WSI等联盟的诱因。近来有消息说,谷歌公司也要推出基于LINUX的软件产品,这一动向值得我们关注。
三、关于机群系统
机群系统方面的有三个动态值得注重。
(1)非传统机群
我们熟知的机群主要是微机机群和服务器机群。科研界早已在研究其它类型的机群(我姑且称为非传统机群),例如:板卡机群、笔记本笔记本机群、PDA机群、专用设备机群等。
阿岗实验室的RickStevens早已构造了一个用于科学估算的由8个PS2(PlayStation2游戏机)组成的Linux机群,每位结点大概400欧元、峰值速率为6Gflopl/s。他的经验是,这些机群并不比微机机群性能价钱比更高,其主要诱因有三个:①主频太低;②内存系统不佳(没有Cache,显存带宽不高);③要取得高性能必须有很高超的汇编方法。
此外,Sony正在与IBM合作,开发运行Linux的PS3系统。此款机器将在2005年左右推出,单机成本仍会控制在400美金左右,芯片采用大规模并行结构和0.13u工艺,显存在3-6GHz左右,峰值速率为600Gflop/s。而且,此款系统将支持Cache并大大改善显存带宽。
这个消息的可靠性须要查证。假如属实的话,这类机群将才能大大增强一些半专用估算系统的性能价钱比。
(2)CIM可能成为机群管理的主流技术标准
这方面Sun做得最好。它的SMC有三个特征:①Solaris核心支持(而不是像其它产品,将系统管理做在核心之上);②SMC提供统一的框架;③各种具体系统(如服务器、客户端、机群、网格等)填上自己的内容和表示层。
采用CIM的另一个用处是,更容易实现机群管理和网格管理的无缝衔接,由于GGF已有一共识,要把CIM作为网格信息服务的主流技术标准。
(3)Linux机群正在步入华尔街金融界的核心业务领域
华尔街的金融界是技术是最保守的行业之一,由于它特别指出可靠性。它的核心业务仍然使用IBM小型机和Unix机。但去年开始,一些建行和其它金融机构经过大量测试和实验,已决定将核心业务往Linux机群上迁移。其缘由有三:
四、近年内可能取得的突破性创新(DisruptiveInnovation)
江绵恒副教授多次提醒我们要非常注意突破性创新。经过几年的调查、研究和国际交流,我们觉得:
网格是1995-2010年时段计算机体系结构、操作系统、用户界面领域最重要的突破性创新。它为中国提供了一个前所未有的机会。
说网格是突破性创新,是由于各类征兆都表明,像计算机历史上的IBMS/360系统、操作系统、关系数据库和Web一样,网格会形成计算机领域的新科学与新技术,致使业界重新洗牌(Paradigmshift),因而淘汰或赶超现有产品,开辟庞大的新市场。
(1)计算机体系结构领域的突破性创新
一些专家觉得,计算机领域的突破性创新只能来自元件层甚至更底层(如量子估算)。似乎并不然。与元件技术正交的计算机系统技术,也可能形成突破性创新。IBMS/360系统的推出,形成了通用计算机家族、计算机体系结构、操作系统等根本技术,淘汰了绝大部份的专用计算机市场,仅为IBM一家公司就带来了数千亿卢布的市场收入,改变了整个计算机产业的面貌。
现今世界上的分布式估算系统或网格估算系统领域,很像计算机在IBMS/360推出前的状况。它们大都是订制开发的专用系统织女星网格操作系统,也有小部份是基于无法流行开来的准通用技术(如CORBA等),它们甚至没有公共编码(这如同ASCⅡ标准下来之前计算机系统使用FIELDATA、ITA2、Murray’scode、Morse’scode的混乱状况一样)。这种系统无论是开发、部署、应用、管理、升级、集成的成本都很大。
如同IBMS/360对计算机系统领域所起到的突破性创新作用一样,网格也将是分布式系统的突破性创新。它正在形成通用分布式系统家族、标准的分布式系统体系结构、以及网格操作系统。与指出“分布”的传统分布式系统不一样,网格更指出将局域或广域的分布式系统看成一台虚拟的网格计算机。
这样一来,计算机界就不得不回答下列的科学和技术问题了:
对于这种问题的研究,将带动计算机科学与技术的发展,在体系结构、操作系统、用户界面领域引起Paradigmshift。
对于网格计算机的公共编码问题,业界早已有了回答织女星网格操作系统,那就是XML(W3C的HenryThompson称XML为分布式系统的ASCII码)。
对于网格计算机的体系结构问题,业界尚无明晰的回答,但已有一定共识,那就是OGSA/Globus。2003年推出的GlobusToolkit3.0(GT3.0)可能会是被广泛认可的网格操作系统的内核,而在2003年出的OGSASpecification则是其框架。另外一组则是Webservice的体系结构,如.Net。这两组结构可能会最终合成一体。要注意的是,上述结构的研究者在开发它们的时侯,主要是站在网格操作系统的层面考虑,对网格计算机的“硬件”体系结构则考虑不是甚少。这方面的工作还几乎是一片处女地,有好多创新的机会。这方面的工作事例有:
其实,这方面最重要的问题还是网格计算机的整体体系结构(architecture)。假如我们看一看传统CPU芯片的体系结构,我们可以把它分解成三个内容:(1)地址空间;(2)寄存器(包括状态寄存器);(3)指令系统。
地址空间是计算机体系结构的核心内容。它的一大进展发生在60年代,形成了数学地址、有效地址、逻辑地址、虚拟地址、动态轮询技术,进而促使分时系统、交互式系统、现代操作系统、有效的中级语言编程显得可能。
估算所织女星网格近来的一个研究进展就是在网格地址空间方面,即网格资源定位(轮询)的工作。我们提出了“网格社区”技术,将网格资源分成化学资源、逻辑资源和虚拟资源三个层次,对网格计算机的虚拟化工作作了有益的阐述,有助于大大减化网格编程的难度。
另一个进展是更基础层面的。在自图灵机以来的各类估算模型(如RAM、PRAM、BSP)中,地址空间的每位地址只能有读/写操作。我们提出了“主动存储计算机”(CAM)模型,降低了对地址的执行操作,有助于更好地研究网格计算机指令系统(即WSDL、GSDL等网格合同),以及网格算法的设计与剖析问题。
网格计算机的另两个不同是自主控制和异步。
(2)操作系统领域的突破性创新
这点已在谷歌.Net(LongHorn/Blackcomb)中已说明。其它厂家也在大力开发(如IBMWebSphere、BEA的Weblogic基础件等)。
这方面的Paradigmshift是:从单机操作系统转移到网格操作系统。
(3)用户界面的突破性创新
这方面的主要Paradiginshift可能是从面向过程、面向对象的模式奔向面向服务用户(所谓utilitycomputing)的模式转移,因而改变人们开发应用和使用网格的形式。这方面的反例包括:
上述改变之所以可能是由于网格服务库、网格操作系统、网格服务器软件和网格编程工具(如VisualStudio.Net)将才能提供强有力的基础设施支持。
应用软件的开发模式也会改变。一个软件系统不再是由一个统一的团队开发,而可以是由多个互不晓得的个人开发。用比尔盖茨的话说,开发一个部件的人不晓得另一个部件的功能和插口,甚至根本不晓得该部件的存在。
(4)中国的机会
比尔盖茨将谷歌的软件发展分成几个大的里程碑:BASIC、DOS、Windows、Internet/web、.Net。这也反映了软件领域的几个大的Paradinmshifts。
前几个阶段,直至Internet/web,中国都未以有机会参与进去。而现今网格阶段刚才盛行,2002-2005年间正是制订开放技术标准、产品定型、网格技术开始普及的时段。
从目前研究界的情况看,2010年曾经看不出有另一个计算机系统领域的突破性创新(或Paradigmshift)的征兆了。因而,2002-2005年正是我们最好的机会。
目前国际网格研究尚有不少缺陷
我们除了要看国际技术发展趋势,还要剖析国内研究有哪些弱点和问题,这能提示出我们的机会。,我们觉得美国网格研究起码有以下五个方面的缺陷。
(1)信息网格和知识网格刚才起步
目前美国的研究集中在估算网格、数据网格、商业网格(webservice)三个方面,在P2P和AccessGrid方面也有好多工作,但在信息网格/知识网格方面工作甚少。虽然GGF已有了SemanticGrid的一些工作,但还缺少内容。
目前估算所诸葛海小组在织女星知识网格方面的研究工作在国际同行中处于领先行列,但离形成像关系数据库这样的有影响的成果还有大量工作要做。估算所的织女星信息网格方向还有机会。
(2)网格应用开发界面与使用界面还很差
GGF的界面领域还没有工作组,只有几个研究组,都在做偏估算和数据的研究。OGSA/Globus主要提供API界面。IBM、HP、SUN、BEA、微软等都推出了类似VisualStudio.Net这样的工具。但它们属于网格计算机的库函数开发工具的层次。
估算所织女星网格小组在正研究开发的GSML软件包就是为了解决上述问题。目前国际同行尚未有相同工作。
(3)支持网格的超级服务器的需示尚不清楚
高性能计算机怎样支持网格?它的体系结构和操作系统该怎么改变?这种问题目前还没有答案。这是我们的创新机会。
这方面的一个进展是GGF关于使用CIM的共识。这样起码对Sun公司的服务器而言,网格与网格结点可以采用相容的资源信息服务标准,有助于网格与网格结点的无缝衔接。
(4)网格操作系统还不健全
网格系统软件是网格研究界投入最多的领域。但目前它仍有好多不健全的地方。例如:
(5)网格的基础研究还很薄弱
这方面国际上还极少成果发表。估算所在这方面已有诸葛海和徐志伟领头的四项工作,已取得一些初步成果。
2003年