Általános
A fagyási egyensúly elkerülése
A fejlett MI gyorsabban dönt, mint ahogy ellenőrizni tudjuk, míg végül minden csendben befagy
Képzeljünk el egy hivatalt, amely évente 200 engedélykérelmet kapott. Egy szakértőnek nagyjából egy hetébe telt egyet alaposan átvizsgálni: elolvasni, ellenőrizni az állításokat, utánajárni a kétes pontoknak, aláírni. A rendszer működött. A sor fogyott. A fejlesztések haladtak. Most egy MI-vel támogatott iparág ugyanennek a hivatalnak 2000 kérelmet küld, mindegyik ugyanolyan csiszolt, ugyanolyan meggyőző, hivatkozásokkal, kockázatértékelésekkel és takaros vezetői összefoglalókkal. A hivatal nem kapott tízszer több bírálót. Ugyanazok az emberek ülnek ott, tízszeres mennyiséggel szemben, és teljes elolvasás nélkül nem tudják megkülönböztetni az alapos kérelmeket a kitaláltaktól. Mit tesz egy racionális bíráló? A biztonságos lépés az lesz, hogy semmit sem hagy jóvá, rosszindulat és kifogás nélkül, egyszerűen azért, mert senki sem tud elég gyorsan ellenőrizni ahhoz, hogy vállalja a kockázatot. A fejlődés leáll, az intézmény befagy. Ennek a dinamikának meg kell változtatnia, ahogyan az MI korában az intézményekről gondolkodunk. Ezt a csapdát fagyási egyensúlynak nevezem, és új, szakmailag lektorált tanulmányomban, amelyet az AGI-26 konferencia fogadott el és a Springer által kiadott konferenciakötetben jelenik meg, amellett érvelek, hogy ez az MI-korszak meghatározó kockázata. A címlapokat betöltő forgatókönyv egy szuperintelligencia, amely túljár az emberiség eszén. A csapda, amelyet modellezek, korábban és csendesebben érkezik: a döntések olyan áradata, amely túlfut az ellenőrzési képességünkön, míg minden túlterhelt ellenőrzőnek egyetlen racionális válasza marad: az, hogy többé nem mond igent.
A hiba azt hinni, hogy ez az intelligenciáról szól
Szinte minden nyilvános beszélgetés az MI kockázatáról a képességről szól: túl okos lesz a modell, túl önálló, túl nehezen irányítható? Ez a keretezés elfordítja a tekintetet a legnagyobb nyomás pontjáról. A meghatározó korlát egy hányados: milyen gyorsan tud az MI legitimnek látszó dolgokat előállítani, osztva azzal, milyen gyorsan tudja egy ember megerősíteni, hogy azok-e. Az első szám elszáguld, míg a második egy helyben áll, mert az emberi figyelem véges, és senki sem tud olyan ütemben ellenőrzőket felvenni, amilyen ütemben egy MI fogalmaz. A kettő közötti szakadékban törnek el az intézmények. Pályázati bírálóbizottságok, szabályozó hatóságok, folyóiratok, tanúsító testületek, kódellenőrzés, szabadalmi hivatalok: mindenhol, ahol kevés emberi ellenőrzőt egy lassabb és megbízhatóbb beadványfolyamhoz kalibráltak, ugyanez a dinamika zajlik most. Az MI döntései gyorsabban érkeznek, mint a megerősítéseink, és a szűkös erőforrás a megerősítés, nem elsősorban az intelligencia.
A kormányzás megtervezhető anyag
A tanulmány címe a kiutat jelöli ki. A mérnökök metaanyagokat építenek: olyan anyagokat, amelyek figyelemre méltó tulajdonságai abból fakadnak, ahogyan strukturálva vannak, nem pedig abból, amiből készültek. Rendezzük a közönséges anyagot a megfelelő mikroszkopikus mintázatba, és olyan viselkedést kapunk, amilyet egyetlen természetes anyag sem mutat: hátrafelé hajlítja a fényt, meghatározott frekvenciákat nyel el, egyik irányban merev, a másikban rugalmas marad. Az erő a szerkezetben lakik. Az intézmények ugyanígy működnek. Hogy egy csapat, egy vállalat vagy egy egész civilizáció mennyire tartja magát nyomás alatt, a tervezésének tulajdonsága: a protokolljaié, az ösztönzőié, annak a módjáé, ahogyan az információ mozog és minden átadásnál ellenőrzésre kerül. Változtassuk meg a szerkezetet, és megváltozik, mit él túl az intézmény. Ez az átkeretezés hordozza az egész érvelést. Kiemeli a kormányzást a sopánkodás és a vélemények világából, és tervezési problémává alakítja, olyasmivé, amit modellezni, mérni és javítani lehet. A tanulmány ezt a megérzést teszi pontossá és ellenőrizhetővé.
A meglepő eredmény: a két kar csak együtt működik
Amikor a megérzésből valódi modell lesz, valami valóban nem magától értetődő adódik. Két kar áll rendelkezésre, hogy egy elárasztott rendszert visszatartsunk a káoszba zuhanástól:
- Eredet: tudni, honnan származik egy információ, visszakövetve minden lépésen, amely hozzáért.
- Ellenőrzés: minden szakaszban megvizsgálni, ahelyett hogy megbíznánk abban, hogy feljebb már ellenőrizték.
A várakozás az volna, hogy mindegyik segít egy kicsit, és a kettő együtt többet. A modell ennél furcsábbat mutat. Húzzuk meg bármelyik kart egyedül, és a rendszer így is összeomlik: a jobb eredetkövetés ellenőrzés nélkül elbukik, és a szorgalmas ellenőrzés is elbukik, ha semmiről sem tudjuk, honnan jött. Húzzuk meg a kettőt egyszerre, és a rendszer átbillen: minden hibát kaszkáddá erősítő gépezetből öngyógyítóvá válik. A két hatás összeadás helyett szorzódik, és az összeomlás és a stabilitás közötti küszöböt csak a két kar együttes mozdításával lehet átlépni. Ez a kép a tanulmány borítóján, és magát az eredményt hordozza. Az egyik oldalon rendezett kék rács nyeli el a lökéseket; a másikon turbulens narancssárga törmelék repül szét: ugyanaz az anyag viselkedik két ellentétes módon a szerkezete miatt, és a kettő közül csak az egyik éli túl a nyomást. A kép maga az eredmény.
Arra épült, hogy meg lehessen cáfolni
Egy átkeretezés csak akkor ér valamit, ha a valóság vissza tud rá beszélni. Ezért a keretrendszer négy konkrét, cáfolható előrejelzést tesz, és egy valódi, 12 hetes kísérlettel érkezik, amelyet le lehetne folytatni például egy állami pályázatbírálati testületben: hasonlítsunk össze egy újratervezett szerkezettel működő testületet egy szokásos módon működővel, és mérjük meg, hogy a hibák terjedése valóban úgy áll-e le, ahogy a modell állítja. Ha az előrejelzések megbuknak, a keretrendszer téves, és ki kell dobni, pontosan erre valók az előrejelzések. Ha kiállják a próbát, a kormányzás megszűnik ízlés kérdése lenni, és mérnöki tudományággá válik, olyasmivé, amit tudatosan tervezünk, műszerezünk és hangolunk, ahogyan a hidakkal, a csipekkel és a repülőgépekkel már ma is tesszük. Egy évtizedet töltöttünk azzal a vitával, milyen okos lesz az MI, és szinte semennyit azoknak az intézményeknek a megtervezésével, amelyeknek a kimenetét el kell nyelniük. Ez az aszimmetria a vészhelyzet, és ez az, amivel kezdeni tudunk valamit, amíg van még idő, hogy számítson. Számomra mindez nem elvont kérdés. A saját MI-ügynökeim már ma nyilvános e-mailekre válaszolnak, szándékos fagyási egyensúly alatt: minden megfogalmazott válaszuk a személyes jóváhagyásomra vár, mielőtt elmenne. A mai mennyiségnél ez a helyes kiindulópont. Ahogy a számuk és a leveleik mennyisége nő, ebből lesz ennek az esszének az engedélyezési hivatala, velem az ügyintéző szerepében. Egy következő írásban megmutatom, hogyan tervezzük meg a kiutat a tanulmány saját eszközeivel: a válaszok eredetosztályaival, automatikus ellenőrzéssel minden lépésnél, és olyan autonómiával, amely kiérdemelt, mért és visszavonható.
A Civilizational Metamaterials tanulmányt az AGI-26 konferencián mutatom be San Franciscóban, július 27. és 30. között, és megjelenik a Springer által kiadott konferenciakötetben. A teljes szöveg, egy interaktív változat, a nyílt forráskód és az összes ábra elérhető a metamaterials.davidorban.com címen.