Programiranje

Microsoft pripelje razvijalce .NET v Apache Spark

Microsoft in .NET Foundation sta izdala različico 1.0 .NET za Apache Spark, odprtokodni paket, ki prinaša razvoj .NET v analitični mehanizem Spark za obsežno obdelavo podatkov.

Napovedan. 27. oktobra .NET za Apache Spark 1.0 ima podporo za .NET aplikacije, ki ciljajo na .NET Standard 2.0 ali novejšo različico. Uporabniki lahko dostopajo do API-jev Spark DataFrame, pišejo Spark SQL in ustvarjajo uporabniško določene funkcije UDF).

Okvir .NET for Apache Spark je na voljo na strani .NET Foundation na strani GitHub ali pri NuGetu. Druge zmožnosti .NET za Apache Spark 1.0 vključujejo:

  • Razširitveni okvir API za dodajanje podpore za dodatne knjižnice Spark, vključno z Linux Foundation Delta Lake, Microsoft OSS Hyperspace, ML.NET in Apache Spark MLlib.
  • Programi .NET za Apache Spark, ki niso UDF, kažejo enako hitrost kot aplikacije, ki ne temeljijo na UDF in temeljijo na Scali in PySparku. Če aplikacije vključujejo UDF, so programi .NET for Apache Spark vsaj tako hitri kot programi PySpark ali pa so morda hitrejši.
  • .NET za Apache Spark je vgrajen v Azure Synapse in Azure HDInsight. Uporablja se lahko tudi v drugih ponudbah oblakov Apache Spark, vključno z Azure Databricks.

Prva javna različica projekta je bila objavljena aprila 2019. Spodbujanje razvoja .NET za Apache Spark je povečano povpraševanje po enostavnejšem načinu za izdelavo aplikacij za velike podatke, namesto da bi se morali učiti Scalo ali Python. Projekt deluje v okviru .NET Foundation in je bil vložen kot predlog za izboljšanje projekta Spark, ki ga je treba neposredno vključiti v projekt Apache Spark.

Microsoft se v prihodnje ukvarja z ovirami, vključno z nastavitvijo predpogojev in odvisnosti ter iskanjem kakovostne dokumentacije, s primeri, kot so »pripravljene za uporabo« slike Dockerja in posodobitve dokumentacije .NET za Apache Spark, ki jih prispeva skupnost. Druga prednostna naloga je podpora možnostim uvajanja, vključno z integracijo s cevovodi devops CI / CD in objavo opravil neposredno iz Visual Studio.

$config[zx-auto] not found$config[zx-overlay] not found