IBM gör klusterberäkningsmotor Apache Spark kärnan till dess moln

IBM idag lovade att sätta Apache Spark databehandling plattform centrum i sina molntjänster.

Tekniken jätten planerar att bädda Spark i sina analyser och handelsoffer och erbjuda Spark som en molntjänst på sin Bluemix plattform.

Spark startades 2009 som en UC Berkeley forskningsprojekt för att skapa en kluster computing ram adresse mål arbetsbelastning dåligt betjänas av Hadoop. Det gick öppen källkod under 2010 och förra året hade mer än 450 deltagare. Dess skapare gick på att grunda Databricks.

På fem år har analys kluster ramverk Spark flyttade från ett forskningslabb till datacentret och produktions arbetsbelastning. Databricks VD Ion Stoica diagram sin uppgång.

Spark har olika fördelar jämfört med Hadoop s MapReduce utförande motorn när det gäller att bearbeta stora uppgifter, i både den hastighet med vilken den utför batchbearbetning jobb och större utbud av dator arbetsbelastning den kan hantera. Spark SQL stöder en HiveQL-kompatibel utförande SQL miljö, Spark MLLib möjliggör maskininlärning, Spark Streaming ger höghastighetsflöde databehandling och Graphx ge graf bearbetning.

Big Blue ser en roll för Spark tillhandahålla backend för appar och Internet of Things apparater – stödja realtidsanalys och förutsägelser från big data.

IBM kommer också att lägga mer än 3.500 IBM forskare och utvecklare att arbeta på Spark relaterade projekt på mer än ett dussin laboratorier i världen, donerar sin IBM SystemML maskininlärning teknik Spark öppen källkod ekosystem samt bidra till att ge utbildning för mer än en miljon uppgifter forskare och dataingenjörer på Spark. Denna utbildning kommer att ges i samarbete med AMPLab, DataCamp, MetiStream, Galvanize och Big Data University MOOC.

Spark kommer också att användas för att driva insikt plattform för IBM: s Watson Health Cloud – som IBM fordringar kommer att leverera snabbare resultat för läkare och medicinska forskare vid analys hälsodata befolknings.

Apache Spark 1,4 tillägger R språk och härdade maskin lärande, Är det blind tro eller sunt förnuft som håller CIO lojala till stordatorn,? MapR, Pentaho tillkännage nya versioner på Hadoop Summit, mesosphere lanserar sin mesos baserade datacenter OS plus en gratis version på AWS, hur stora uppgifter gått illa kan kosta dig ditt jobb, MongoDB tillägger BI slips, växlar upp för tillväxt

En av de organisationer som kommer att använda Spark tjänsten på Bluemix blir SETI Institute, som arbetar med IBM och NASA för att analysera terabyte rymden radiosignaler med hjälp av Spark maskininlärningsförmåga i en jakt efter mönster tyder på att det finns intelligent utomjordiskt liv .

“Med Spark as a Service på Bluemix, kommer vi att kunna arbeta med IBM för att utveckla lovande nya sätt att analysera signaldata som vi jaga efter tecken på intelligens på andra håll i kosmos”, säger Dr Seth Shostak, senior astronom och regissör av centrat för SETI Research.

Socialt företagande, Linkedin avslöjar sin nya blogging plattform, stora datamängder, är detta en ålder av Big OLAP,? Big Data Analytics, DataRobot syftar till att automatisera lågt hängande frukt uppgifter vetenskap, stora datamängder, MapR grundare John Schroeder steg ner, COO för att ersätta

IBM är ett av fyra grundande medlemmarna av UC Berkeley AMPLab, där Spark uppfanns först, och som ett resultat har ett nära samarbete med AMPLab forskare på projekt av gemensamt intresse.

Linkedin avslöjar sin nya blogging plattform

Är detta en ålder av Big OLAP?

DataRobot syftar till att automatisera lågt hängande frukt uppgifter vetenskap

Mer om stora datamängder

MapR grundare John Schroeder steg ner, COO för att ersätta