OpenAI:s nya språkgenerator GPT-3 är chockerande bra – och helt sinneslös
Getty
Att spela med GPT-3 känns som att se framtiden, Arram Sabeti, en San Francisco-baserad utvecklare och artist, twittrade förra veckan . Det sammanfattar ganska mycket responsen på sociala medier de senaste dagarna på OpenAI:s senaste språkgenererande AI.
OpenAI först beskrivna GPT-3 i en forskningsartikel som publicerades i maj. Men förra veckan började det droppmata programvaran till utvalda personer som begärde tillgång till en privat betaversion . För tillfället vill OpenAI att externa utvecklare ska hjälpa det att utforska vad GPT-3 kan göra, men de planerar att göra verktyget till en kommersiell produkt senare i år, och erbjuda företag en betald prenumeration på AI via molnet.
ska jag frysa mina ägg vid 35?
Arbeta mot framtiden där hela internet är en simulering av tidigare versioner av internet https://t.co/2dIjrlKNVG
— Julian Togelius (@togelius) 19 juli 2020
GPT-3 är den mest kraftfulla språkmodellen någonsin. Dess föregångare, GPT-2, släpptes förra året , kunde redan spotta ut övertygande textströmmar i en rad olika stilar när du uppmanades med en inledande mening. Men GPT-3 är ett stort steg framåt. Modellen har 175 miljarder parametrar (de värden som ett neuralt nätverk försöker optimera under träning), jämfört med GPT-2:s redan enorma 1,5 miljarder. Och med språkmodeller, storleken spelar verkligen roll .
Sabeti länkade till en blogginlägg där han visade upp noveller, sånger, pressmeddelanden, tekniska manualer och mer som han hade använt AI för att generera. GPT-3 kan också producera pastischer av vissa författare. Mario Klingemann, en konstnär som arbetar med maskininlärning, delade med sig av en novell som heter Vikten av att vara på Twitter, skriven i stil med Jerome K. Jerome, som börjar: Det är ett märkligt faktum att den sista kvarvarande formen av socialt liv i som folket i London fortfarande är intresserade av är Twitter. Jag slogs av detta märkliga faktum när jag gick på en av mina periodiska helgdagar till havet och fann hela platsen kvittra som en starebur. Klingemann säger att allt han gav AI:n var titeln, författarens namn och initialen It. Det finns till och med en ganska informativ artikel om GPT-3 skriven helt av GPT-3 .
Ännu ett försök till ett längre stycke. En imaginär Jerome K. Jerome skriver om Twitter. Allt jag seedade var titeln, författarens namn och den första 'It', resten görs av #gpt3
— Mario Klingemann (@quasimondo) 18 juli 2020
Här är fullängdsversionen som PDF: https://t.co/d2gpmlZ1T5 pic.twitter.com/1N0lNoC1eZ
Andra har funnit att GPT-3 kan generera vilken typ av text som helst, inklusive gitarrflikar eller datorkod. Till exempel, genom att justera GPT-3 så att den producerade HTML snarare än naturligt språk, visade webbutvecklaren Sharif Shameem att han kunde göra det skapa webbsideslayouter genom att ge den uppmaningar som en knapp som ser ut som en vattenmelon eller stor text i rött som säger VÄLKOMMEN TILL MITT NYHETSBREV och en blå knapp som säger Prenumerera. Till och med den legendariske kodaren John Carmack, som var banbrytande för 3D-datorgrafik i tidiga videospel som Doom och nu konsulterar CTO på Oculus VR, var nervös : Den senaste, nästan oavsiktliga upptäckten att GPT-3 kan typ skriva kod genererar en lätt rysning.
Det här är häpnadsväckande.
Med GPT-3 byggde jag en layoutgenerator där du bara beskriver vilken layout du vill, och den genererar JSX-koden åt dig.
VAD pic.twitter.com/w8JkrZO4lkvad är den lägsta lufttemperatur en människa kan överleva— Sharif Shameem (@sharifshameem) 13 juli 2020
Trots sina nya knep är GPT-3 fortfarande benägen att spy ut hatiskt sexistiskt och rasistiskt språk. Att finjustera modellen bidrog till att begränsa denna typ av utdata i GPT-2.
Jag menar, jag kanske bara är trött men jag kommer att vänta lite och se vilken sorts grym fördom som kommer ut av GPT-3. Åh, skriver den poesi? Trevlig. Åh, det spyr också ut skadlig sexism och rasism? Jag repeterar mitt chockade ansikte. #gpt3
— Kate Devlin 🎠(@drkatedevlin) 18 juli 2020
Ingen borde bli förvånad över detta. Hur förhindrar vi att detta händer av misstag? Har inte alla svar ännu, men finjustering av starka och generaliserbara normativa prioriteringar hjälpte med GPT-2 https://t.co/V12NM8ZtAH https://t.co/1bn6G6eWjM
— Mark Riedl (False Dragon) (@mark_riedl) 18 juli 2020
Det är heller ingen överraskning att många har varit snabba med att börja prata om intelligens. Men GPT-3:s människoliknande produktion och slående mångsidighet är resultatet av utmärkt ingenjörskonst, inte äkta smart. För det första gör AI:n fortfarande löjliga tjut som avslöjar en total brist på sunt förnuft. Men även dess framgångar har en brist på djup, läser mer som klipp-och-klistra jobb än originalkompositioner.
det som skyddar jorden från solvindar
Det här inlägget är en av de bästa GPT-3-utvärderingarna jag har sett. Det är en bra blandning av imponerande resultat och pinsamma felfall från enkla uppmaningar. Det visar på ett bra sätt att vi är närmare att bygga stora komprimerade kunskapsbaser än system med resonemangsförmåga. https://t.co/a5Nq006dMD
- Denny Britz (@dennybritz) 17 juli 2020
Detta stöder min misstanke att GPT-3 använder många av sina parametrar för att memorera textbitar från internet som inte är lätta att generalisera https://t.co/I7uS4iu2sn
— Mark Riedl (False Dragon) (@mark_riedl) 19 juli 2020
Exakt vad som händer inuti GPT-3 är inte klart. Men vad den verkar vara bra på är att syntetisera text som den har hittat någon annanstans på internet, vilket gör den till en sorts stor, eklektisk klippbok skapad av miljoner och åter miljoner textbitar som den sedan limmar ihop på konstiga och underbara sätt på begäran.
GPT-3 uppträder ofta som en smart student som inte har läst igenom och försöker busa sig igenom ett prov. Några välkända fakta, några halvsanningar och några raka lögner, sammanfogade i vad som först ser ut som en smidig berättelse.
— Julian Togelius (@togelius) 17 juli 2020
Det är inte för att tona ned OpenAI:s prestation. Och ett verktyg som detta har många nya användningsområden, både bra (från att driva bättre chatbots till att hjälpa människor kod) och dåliga (från att driva bättre desinformationsrobotar till att hjälpa barn att fuska på sina läxor).
Men när en ny AI-milstolpe kommer blir den alltför ofta begravd i hype. Till och med Sam Altman, som grundade OpenAI tillsammans med Elon Musk, försökte tona ner saker och ting : GPT-3-hypen är alldeles för mycket. Den är imponerande (tack för de fina komplimangerna!) men den har fortfarande allvarliga svagheter och gör ibland väldigt fåniga misstag. AI kommer att förändra världen, men GPT-3 är bara en mycket tidig glimt. Vi har mycket kvar att ta reda på.
Vi har en låg nivå när det gäller observationsintelligens . Om något ser smart ut är det lätt att lura oss själva att det är det. Det största tricket AI någonsin har gjort var att övertyga världen om att den existerar. GPT-3 är ett stort steg framåt – men det är fortfarande ett verktyg som gjorts av människor, med alla de brister och begränsningar som det innebär.
hej google var är
Ser så mycket på Twitter om GPT-3. Kom ihåg...
— Mark Riedl (False Dragon) (@mark_riedl) 18 juli 2020
Turingtestet är inte för att AI ska klara, utan för att människor ska misslyckas.
