Vladna agencija, ki nam je prinesla internet, je zdaj razvila močan nov iskalnik, ki osvetljuje vsebino tako imenovanega globokega spleta.
Agencija za obrambne napredne raziskovalne projekte (DARPA) je pred letom dni začela delati na spletnem iskalniku Memex za globoko iskanje, ta teden pa je svoja orodja razkrila za Scientific American in "60 minut".
Cilj Memexa, ki ga razvija 17 različnih pogodbenih skupin, je zgraditi boljši zemljevid internetnih vsebin in razkriti vzorce v spletnih podatkih, ki bi lahko pomagali organom pregona in drugim. Medtem ko so se zgodnji poskusi osredotočili na kartiranje premikov trgovcev z ljudmi, bi lahko nekoč tehnologijo uporabili za preiskovalna prizadevanja, kot so boj proti terorizmu, pogrešane osebe, odzivanje na bolezni in pomoč ob nesrečah.
Dan Kaufman, direktor urada za informacijske inovacije pri DARPA, pravi, da je Memex namenjen temu, da nevidno vidi. "Internet je veliko, veliko večji, kot si ljudje mislijo," je za "60 minut" povedal vodja programa DARPA Chris White. "Po nekaterih ocenah nam Google, Microsoft Bing in Yahoo omogočajo dostop do približno 5 odstotkov vsebine v spletu."
Google in Bing ustvarjata rezultate na podlagi priljubljenosti in uvrstitve, vendar Memex išče vsebine, ki jih komercialni iskalniki običajno ignorirajo, na primer nestrukturirani podatki, nepovezana vsebina, začasne strani, ki se odstranijo, preden jih komercialni iskalniki lahko poiščejo, in po forumih za klepet. Redni iskalniki ignorirajo te globoke spletne podatke, ker jih spletni oglaševalci - kjer brskalna podjetja zaslužijo - ne zanimajo.
Memex avtomatizira tudi mehanizem plazenja temnega ali anonimnega spleta, kjer kriminalci poslujejo. Te skrite strani s storitvami, dostopne samo prek anonimnega brskalnika TOR, običajno delujejo pod nadzorom organov pregona, ki prodajajo prepovedane droge in drugo tihotapstvo. Kjer se je nekoč mislilo, da temna spletna dejavnost obsega približno 1000 strani, je White za Scientific American dejal, da lahko obstaja med 30.000 in 40.000 temnih spletnih strani.
Do zdaj je bilo težko videti ta spletna mesta na kakršen koli sistemski način. Toda Memex, ki ga Manhattan DA Cyrus Vance mlajši imenuje "Googlovo iskanje na steroidih", ne samo indeksira njihovo vsebino, temveč jo analizira, da bi odkril skrite zveze, ki bi lahko bile koristne za organe pregona.
Iskalna orodja DARPA so bila lani uvedena za izbrane organe pregona, vključno z novo enoto za odzivanje na trgovino z ljudmi na Manhattnu. Memex se zdaj uporablja v vseh primerih trgovine z ljudmi, ki jih preiskuje, in je igral vlogo pri pripravi vsaj 20 preiskav trgovine z ljudmi. Spletni pajek s polnjenjem lahko prepozna razmerja med različnimi kosi podatkov in izdela podatkovne zemljevide, ki preiskovalcem pomagajo pri odkrivanju vzorcev.
V predstavitvi za "60 minut" je White pokazal, kako lahko Memex sledi gibanju preprodajalcev na podlagi podatkov, povezanih s spletnimi oglasi za seks. "Včasih gre za funkcijo naslova IP, včasih pa za funkcijo telefonske številke ali naslova v oglasu ali geolokacije naprave, ki je objavila oglas," je dejal White. "Včasih obstajajo tudi drugi predmeti, ki prispevajo k lokaciji."
White je poudaril, da Memex ne posega po vdorih, da bi pridobil informacije. "Če je nekaj zaščiteno z geslom, to ni javna vsebina in Memex tega ne išče," je dejal za Scientific American. "Tega dela nismo želeli zamegliti po nepotrebnem, tako da smo povlekli spekter vohljanja in nadzora" - občutljiva tema po razkritjih NSA Edwarda Snowdena.
Memex je svoje ime (kombinacija "pomnilnika" in "indeksa") in navdiha dobil po hipotetični napravi, ki jo je leta 1945 opisal Vannevar Bush in ki je napovedoval izum osebnih računalnikov, interneta in drugih pomembnih dosežkov informacijske tehnologije v naslednjih 70 letih. Zdaj se zdi, da sta DARPA in Memex korak bližje futuristični policijski policiji Philipa Dicka, prikazani v "Manjšinskem poročilu".
Nov krog testiranj, ki naj bi se začel čez nekaj tednov, bo vključeval zvezno in okrožno tožilstvo, regionalno in državno policijo ter številne nevladne organizacije. Po poročilu Scientific American naj bi "preizkusil nove zmožnosti iskanja slik, ki lahko analizirajo fotografije, tudi če so deli, ki bi lahko pomagali preiskovalcem - vključno z obrazi trgovcev ali televizijskim zaslonom v ozadju - zamegljeni."
Z izumom boljših načinov za interakcijo in predstavitvijo informacij, zbranih iz večjega bazena virov, "želimo izboljšati iskanje vseh. Enostavna uporaba za neprogramerje je bistvenega pomena," je dejal White.
