Programiranje

Apache PredictionIO: lažje strojno učenje s tehnologijo Spark

Fundacija Apache je v svoj seznam dodala nov projekt strojnega učenja, Apache PredictionIO, odprto različico projekta, ki ga je prvotno zasnovala hčerinska družba Salesforce.

Kaj PredictionIO naredi za strojno učenje in Spark

Apache PredictionIO je zgrajen na vrhu Spark in Hadoop in služi napovedim, ki jih poganja Spark, iz podatkov z uporabo prilagodljivih predlog za običajna opravila. Aplikacije pošljejo podatke na strežnik dogodkov PredictionIO, da pripravijo model, nato pa poizvedujejo po mehanizmu za predvidevanja glede na model.

Spark, MLlib, HBase, Spray in in Elasticsearch so vsi v kompletu s PredictionIO, Apache pa ponuja podprte SDK-je za delo v Javi, PHP, Pythonu in Rubyju. Podatke je mogoče shraniti v različne povratne konice: JDBC, Elasticsearch, HBase, HDFS in njihovi lokalni datotečni sistemi so že podprti. Zadnji konci so vtični, zato lahko razvijalec ustvari vtični konektor po meri.

Kako predloge PredlogaIO olajšajo prikazovanje napovedi iz Sparka

Najpomembnejša prednost podjetja PredictionIO je sistem predlog za ustvarjanje mehanizmov strojnega učenja. Predloge zmanjšujejo težko dvigovanje, potrebno za postavitev sistema, ki bo služil določenim vrstam napovedi. Opisujejo morebitne odvisnosti drugih proizvajalcev, ki so morda potrebne za to delo, na primer ogrodje aplikacije za strojno učenje Apache Mahout.

Nekatere obstoječe predloge vključujejo:

  • Univerzalni mehanizem priporočil.
  • Razvrstitev besedil.
  • Analiza preživetja (za napovedi med neuspehom).
  • Označevanje tem z uporabo Wikipedije kot osnove znanja.
  • Analiza podobnosti.

Nekatere predloge se integrirajo tudi z drugimi izdelki strojnega učenja. Na primer dve predlogi za napovedovanje, ki sta trenutno v galeriji PredictionIO, za zaznavanje odtoka in splošna priporočila uporabljata izboljšave peneče vode H2O.ai za Spark.

PredictionIO lahko tudi samodejno oceni mehanizem predvidevanja, da določi najboljše hiperparametre za uporabo. Razvijalec mora izbrati in nastaviti meritve, kako to narediti, vendar je pri tem praviloma manj dela kot pri ročnem nastavljanju hiperparametrov.

Ko deluje kot storitev, lahko PredictionIO sprejema napovedi posamezno ali v paketu. Grupirane napovedi se samodejno vzporedno vzpostavijo v gruči Spark, če so vsi algoritmi, uporabljeni v nalogi za paketno predvidevanje, serializacijski. (Privzeti algoritmi PredictionIO so.)

Kje prenesti PredictionIO

Izvorna koda PredictionIO je na voljo na GitHub. Za udobje so na voljo različne Dockerjeve slike in Herokuov paket za izdelavo.

$config[zx-auto] not found$config[zx-overlay] not found