BLOGG

Avmystifiera maskininlÀrningssystem med naturligt sprÄk

MIT-forskare skapade en teknik som automatiskt kan beskriva rollerna för enskilda neuroner i ett neuralt nĂ€tverk med naturligt sprĂ„k. I denna figur kunde tekniken identifiera “den övre grĂ€nsen för horisontella objekt” i fotografier, som Ă€r markerade i vitt. Kredit: Jose-Luis Olivares, MIT

Neurala nÀtverk kallas ibland för svarta lÄdor eftersom de, trots att de kan prestera bÀttre Àn mÀnniskor pÄ vissa uppgifter, ofta inte ens forskarna som designar dem förstÄr hur eller varför de fungerar sÄ bra. Men om ett neuralt nÀtverk anvÀnds utanför labbet, kanske för att klassificera medicinska bilder som kan hjÀlpa till att diagnostisera hjÀrtsjukdomar, hjÀlper forskarna att veta hur modellen fungerar förutsÀga hur den kommer att bete sig i praktiken.

MIT-forskare har nu utvecklat en metod som kastar lite ljus över det inre arbetet i black box neurala nĂ€tverk. Modellerade frĂ„n den mĂ€nskliga hjĂ€rnan, Ă€r neurala nĂ€tverk ordnade i lager av sammankopplade noder, eller “neuroner”, som bearbetar data. Det nya systemet kan automatiskt producera beskrivningar av dessa individuella neuroner, genererade pĂ„ engelska eller ett annat naturligt sprĂ„k.

Till exempel, i ett neuralt nÀtverk trÀnat att kÀnna igen djur i bilder, kan deras metod beskriva en viss neuron som att upptÀcka öron pÄ rÀvar. Deras skalbara teknik kan generera mer exakta och specifika beskrivningar för enskilda neuroner Àn andra metoder.

I en ny artikel visar teamet att den hÀr metoden kan anvÀndas för att granska ett neuralt nÀtverk för att faststÀlla vad det har lÀrt sig, eller till och med redigera ett nÀtverk genom att identifiera och sedan stÀnga av ohjÀlpsamma eller felaktiga neuroner.

“Vi ville skapa en metod dĂ€r en maskinlĂ€rande utövare kan ge det hĂ€r systemet sin modell och det kommer att berĂ€tta för dem allt det vet om den modellen, utifrĂ„n modellens neuroner, i sprĂ„ket. Det hĂ€r hjĂ€lper dig att svara pĂ„ den grundlĂ€ggande frĂ„gan: ‘Finns det nĂ„got min modell vet om som jag inte hade förvĂ€ntat mig att den skulle veta?’, sĂ€ger Evan Hernandez, doktorand vid MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) och huvudförfattare. av papperet.

Automatiskt genererade beskrivningar

De flesta befintliga tekniker som hjÀlper maskinlÀrande utövare att förstÄ hur en modell fungerar beskriver antingen hela det neurala nÀtverket eller krÀver att forskare identifierar koncept som de tror att enskilda neuroner kan fokusera pÄ.

Systemet som Hernandez och hans medarbetare utvecklade, kallat MILAN (mutual-information guided linguistic annotation of neurons), förbÀttrar dessa metoder eftersom det inte krÀver en lista med begrepp i förvÀg och kan automatiskt generera naturliga sprÄkbeskrivningar av alla neuroner i ett nÀtverk . Detta Àr sÀrskilt viktigt eftersom ett neuralt nÀtverk kan innehÄlla hundratusentals individuella neuroner.

MILAN producerar beskrivningar av neuroner i neurala nÀtverk som Àr utbildade för datorseendeuppgifter som objektigenkÀnning och bildsyntes. För att beskriva en given neuron inspekterar systemet först neurons beteende pÄ tusentals bilder för att hitta den uppsÀttning bildregioner dÀr neuronen Àr mest aktiv. DÀrefter vÀljer den en naturlig sprÄkbeskrivning för varje neuron för att maximera en kvantitet som kallas punktvis ömsesidig information mellan bildregionerna och beskrivningarna. Detta uppmuntrar beskrivningar som fÄngar varje neurons distinkta roll inom det större nÀtverket.

“I ett neuralt nĂ€tverk som Ă€r trĂ€nat för att klassificera bilder, kommer det att finnas massor av olika neuroner som upptĂ€cker hundar. Men det finns massor av olika typer av hundar och massor av olika delar av hundar. SĂ„ Ă€ven om “hund” kan vara en korrekt beskrivning av mĂ„nga av dessa neuroner, Ă€r den inte sĂ€rskilt informativ. Vi vill ha beskrivningar som Ă€r mycket specifika för vad den neuronen gör. Det hĂ€r Ă€r inte bara hundar; det hĂ€r Ă€r vĂ€nster sida av öronen pĂ„ schĂ€fer, sĂ€ger Hernandez.

Teamet jÀmförde MILAN med andra modeller och fann att det genererade rikare och mer exakta beskrivningar, men forskarna var mer intresserade av att se hur det kunde hjÀlpa till att svara pÄ specifika frÄgor om datorseendemodeller.

Analysera, granska och redigera neurala nÀtverk

Först anvÀnde de MILAN för att analysera vilka neuroner som Àr viktigast i ett neuralt nÀtverk. De genererade beskrivningar för varje neuron och sorterade dem utifrÄn orden i beskrivningarna. De tog lÄngsamt bort neuroner frÄn nÀtverket för att se hur dess noggrannhet förÀndrades, och fann att neuroner som hade tvÄ vÀldigt olika ord i sina beskrivningar (vaser och fossiler, till exempel) var mindre viktiga för nÀtverket.

De anvÀnde ocksÄ MILAN för att granska modeller för att se om de lÀrde sig nÄgot ovÀntat. Forskarna tog bildklassificeringsmodeller som trÀnades pÄ datauppsÀttningar dÀr mÀnskliga ansikten suddades ut, körde MILAN och rÀknade hur mÄnga neuroner som ÀndÄ var kÀnsliga för mÀnskliga ansikten.

“Att sudda ut ansikten pĂ„ detta sĂ€tt minskar antalet neuroner som Ă€r kĂ€nsliga för ansikten, men eliminerar dem lĂ„ngt ifrĂ„n. I sjĂ€lva verket antar vi att vissa av dessa ansiktsneuroner Ă€r mycket kĂ€nsliga för specifika demografiska grupper, vilket Ă€r ganska förvĂ„nande. Dessa modeller har aldrig sett ett mĂ€nskligt ansikte förut, och Ă€ndĂ„ sker alla typer av ansiktsbehandling inuti dem, sĂ€ger Hernandez.

I ett tredje experiment anvÀnde teamet MILAN för att redigera ett neuralt nÀtverk genom att hitta och ta bort neuroner som upptÀckte dÄliga korrelationer i data, vilket ledde till en 5-procentig ökning av nÀtverkets noggrannhet pÄ ingÄngar som uppvisar den problematiska korrelationen.

Medan forskarna var imponerade av hur vÀl MILAN presterade i dessa tre applikationer, ger modellen ibland beskrivningar som fortfarande Àr för vaga, eller sÄ kommer den att göra en felaktig gissning nÀr den inte kÀnner till konceptet den ska identifiera.

De planerar att ta itu med dessa begrÀnsningar i framtida arbete. De vill ocksÄ fortsÀtta att förbÀttra rikedomen av de beskrivningar som MILAN kan generera. De hoppas kunna tillÀmpa MILAN pÄ andra typer av neurala nÀtverk och anvÀnda det för att beskriva vad grupper av neuroner gör, eftersom neuroner arbetar tillsammans för att producera en utdata.

”Det hĂ€r Ă€r ett synsĂ€tt pĂ„ tolkningsbarhet som börjar nerifrĂ„n och upp. MĂ„let Ă€r att skapa öppna, sammansatta beskrivningar av funktion med naturligt sprĂ„k. Vi vill utnyttja det mĂ€nskliga sprĂ„kets uttryckskraft för att generera beskrivningar som Ă€r mycket mer naturliga och rika för vad neuroner gör. Att kunna generalisera detta förhĂ„llningssĂ€tt till olika typer av modeller Ă€r det jag Ă€r mest exalterad över”, sĂ€ger Schwettmann.

“Det ultimata testet av nĂ„gon teknik för förklarlig AI Ă€r om den kan hjĂ€lpa forskare och anvĂ€ndare att fatta bĂ€ttre beslut om nĂ€r och hur AI-system ska distribueras”, sĂ€ger Andreas. ”Vi Ă€r fortfarande lĂ„ngt ifrĂ„n att kunna göra det pĂ„ ett generellt sĂ€tt. Men jag Ă€r optimistisk att MILAN – och anvĂ€ndningen av sprĂ„ket som ett förklarande verktyg mer allmĂ€nt – kommer att vara en anvĂ€ndbar del av verktygslĂ„dan.”

Forskningen publicerades pÄ arXiv.


Konstgjorda nÀtverk lÀr sig att lukta som hjÀrnan


Mer information:
Evan Hernandez et al, Natural Language Descriptions of Deep Visual Features, arXiv:2201.11114 [cs.CV]arxiv.org/abs/2201.11114

Journalinformation:
arXiv TillhandahÄlls av Massachusetts Institute of Technology

Den hÀr historien Äterpubliceras med tillstÄnd av MIT News (web.mit.edu/newsoffice/), en populÀr webbplats som tÀcker nyheter om MIT-forskning, innovation och undervisning.

Citat:Avmystifiera maskininlÀrningssystem med naturligt sprÄk (2022, 27 januari)hÀmtad 27 januari 2022 frÄn https://techxplore.com/news/2022-01-demystifying-machine-learning-natural-language.html

Detta dokument Àr föremÄl för upphovsrÀtt. Bortsett frÄn all rÀttvis handel i syfte att privata studier eller forskning, fÄr ingen del reproduceras utan skriftligt tillstÄnd. InnehÄllet tillhandahÄlls endast i informationssyfte.

Back to top button

Ad blocker detected

You must remove the AD BLOCKER to continue using our website THANK YOU