MIT-forskare skapade en teknik som automatiskt kan beskriva rollerna för enskilda neuroner i ett neuralt nätverk med naturligt språk. I denna figur kunde tekniken identifiera “den övre gränsen för horisontella objekt” i fotografier, som är markerade i vitt. Kredit: Jose-Luis Olivares, MIT
Neurala nätverk kallas ibland för svarta lådor eftersom de, trots att de kan prestera bättre än människor på vissa uppgifter, ofta inte ens forskarna som designar dem förstår hur eller varför de fungerar så bra. Men om ett neuralt nätverk används utanför labbet, kanske för att klassificera medicinska bilder som kan hjälpa till att diagnostisera hjärtsjukdomar, hjälper forskarna att veta hur modellen fungerar förutsäga hur den kommer att bete sig i praktiken.
MIT-forskare har nu utvecklat en metod som kastar lite ljus över det inre arbetet i black box neurala nätverk. Modellerade från den mänskliga hjärnan, är neurala nätverk ordnade i lager av sammankopplade noder, eller “neuroner”, som bearbetar data. Det nya systemet kan automatiskt producera beskrivningar av dessa individuella neuroner, genererade på engelska eller ett annat naturligt språk.
Till exempel, i ett neuralt nätverk tränat att känna igen djur i bilder, kan deras metod beskriva en viss neuron som att upptäcka öron på rävar. Deras skalbara teknik kan generera mer exakta och specifika beskrivningar för enskilda neuroner än andra metoder.
I en ny artikel visar teamet att den här metoden kan användas för att granska ett neuralt nätverk för att fastställa vad det har lärt sig, eller till och med redigera ett nätverk genom att identifiera och sedan stänga av ohjälpsamma eller felaktiga neuroner.
“Vi ville skapa en metod där en maskinlärande utövare kan ge det här systemet sin modell och det kommer att berätta för dem allt det vet om den modellen, utifrån modellens neuroner, i språket. Det här hjälper dig att svara på den grundläggande frågan: ‘Finns det något min modell vet om som jag inte hade förväntat mig att den skulle veta?’, säger Evan Hernandez, doktorand vid MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) och huvudförfattare. av papperet.
Automatiskt genererade beskrivningar
De flesta befintliga tekniker som hjälper maskinlärande utövare att förstå hur en modell fungerar beskriver antingen hela det neurala nätverket eller kräver att forskare identifierar koncept som de tror att enskilda neuroner kan fokusera på.
Systemet som Hernandez och hans medarbetare utvecklade, kallat MILAN (mutual-information guided linguistic annotation of neurons), förbättrar dessa metoder eftersom det inte kräver en lista med begrepp i förväg och kan automatiskt generera naturliga språkbeskrivningar av alla neuroner i ett nätverk . Detta är särskilt viktigt eftersom ett neuralt nätverk kan innehålla hundratusentals individuella neuroner.
MILAN producerar beskrivningar av neuroner i neurala nätverk som är utbildade för datorseendeuppgifter som objektigenkänning och bildsyntes. För att beskriva en given neuron inspekterar systemet först neurons beteende på tusentals bilder för att hitta den uppsättning bildregioner där neuronen är mest aktiv. Därefter väljer den en naturlig språkbeskrivning för varje neuron för att maximera en kvantitet som kallas punktvis ömsesidig information mellan bildregionerna och beskrivningarna. Detta uppmuntrar beskrivningar som fångar varje neurons distinkta roll inom det större nätverket.
“I ett neuralt nätverk som är tränat för att klassificera bilder, kommer det att finnas massor av olika neuroner som upptäcker hundar. Men det finns massor av olika typer av hundar och massor av olika delar av hundar. Så även om “hund” kan vara en korrekt beskrivning av många av dessa neuroner, är den inte särskilt informativ. Vi vill ha beskrivningar som är mycket specifika för vad den neuronen gör. Det här är inte bara hundar; det här är vänster sida av öronen på schäfer, säger Hernandez.
Teamet jämförde MILAN med andra modeller och fann att det genererade rikare och mer exakta beskrivningar, men forskarna var mer intresserade av att se hur det kunde hjälpa till att svara på specifika frågor om datorseendemodeller.
Analysera, granska och redigera neurala nätverk
Först använde de MILAN för att analysera vilka neuroner som är viktigast i ett neuralt nätverk. De genererade beskrivningar för varje neuron och sorterade dem utifrån orden i beskrivningarna. De tog långsamt bort neuroner från nätverket för att se hur dess noggrannhet förändrades, och fann att neuroner som hade två väldigt olika ord i sina beskrivningar (vaser och fossiler, till exempel) var mindre viktiga för nätverket.
De använde också MILAN för att granska modeller för att se om de lärde sig något oväntat. Forskarna tog bildklassificeringsmodeller som tränades på datauppsättningar där mänskliga ansikten suddades ut, körde MILAN och räknade hur många neuroner som ändå var känsliga för mänskliga ansikten.
“Att sudda ut ansikten på detta sätt minskar antalet neuroner som är känsliga för ansikten, men eliminerar dem långt ifrån. I själva verket antar vi att vissa av dessa ansiktsneuroner är mycket känsliga för specifika demografiska grupper, vilket är ganska förvånande. Dessa modeller har aldrig sett ett mänskligt ansikte förut, och ändå sker alla typer av ansiktsbehandling inuti dem, säger Hernandez.
I ett tredje experiment använde teamet MILAN för att redigera ett neuralt nätverk genom att hitta och ta bort neuroner som upptäckte dåliga korrelationer i data, vilket ledde till en 5-procentig ökning av nätverkets noggrannhet på ingångar som uppvisar den problematiska korrelationen.
Medan forskarna var imponerade av hur väl MILAN presterade i dessa tre applikationer, ger modellen ibland beskrivningar som fortfarande är för vaga, eller så kommer den att göra en felaktig gissning när den inte känner till konceptet den ska identifiera.
De planerar att ta itu med dessa begränsningar i framtida arbete. De vill också fortsätta att förbättra rikedomen av de beskrivningar som MILAN kan generera. De hoppas kunna tillämpa MILAN på andra typer av neurala nätverk och använda det för att beskriva vad grupper av neuroner gör, eftersom neuroner arbetar tillsammans för att producera en utdata.
”Det här är ett synsätt på tolkningsbarhet som börjar nerifrån och upp. Målet är att skapa öppna, sammansatta beskrivningar av funktion med naturligt språk. Vi vill utnyttja det mänskliga språkets uttryckskraft för att generera beskrivningar som är mycket mer naturliga och rika för vad neuroner gör. Att kunna generalisera detta förhållningssätt till olika typer av modeller är det jag är mest exalterad över”, säger Schwettmann.
“Det ultimata testet av någon teknik för förklarlig AI är om den kan hjälpa forskare och användare att fatta bättre beslut om när och hur AI-system ska distribueras”, säger Andreas. ”Vi är fortfarande långt ifrån att kunna göra det på ett generellt sätt. Men jag är optimistisk att MILAN – och användningen av språket som ett förklarande verktyg mer allmänt – kommer att vara en användbar del av verktygslådan.”
Forskningen publicerades på arXiv.
Konstgjorda nätverk lär sig att lukta som hjärnan
Mer information:
Evan Hernandez et al, Natural Language Descriptions of Deep Visual Features, arXiv:2201.11114 [cs.CV]arxiv.org/abs/2201.11114
Journalinformation:
arXiv Tillhandahålls av Massachusetts Institute of Technology
Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.
Citat:Avmystifiera maskininlärningssystem med naturligt språk (2022, 27 januari)hämtad 27 januari 2022 från https://techxplore.com/news/2022-01-demystifying-machine-learning-natural-language.html
Detta dokument är föremål för upphovsrätt. Bortsett från all rättvis handel i syfte att privata studier eller forskning, får ingen del reproduceras utan skriftligt tillstånd. Innehållet tillhandahålls endast i informationssyfte.
