Proč ho děsí představa inteligence, která bude chytřejší než její tvůrci
Hintonův základní argument je jednodušší než spor o vědomí. Pokud lidstvo vytvoří systém mnohem schopnější než samo, může být obtížné zajistit, aby nad ním dlouhodobě udrželo kontrolu.
Přirovnává to k situaci, kdy by velmi malé dítě mělo kontrolovat mimořádně inteligentního dospělého. I kdyby dítě formálně rozhodovalo, inteligentnější strana by mohla mít tolik možností přesvědčování, manipulace a plánování, že by skutečná kontrola mohla být iluzorní. Hinton proto nevěří ani v jednoduché řešení typu velkého nouzového vypínače. Velmi schopná AI by podle něj teoreticky mohla přesvědčit člověka odpovědného za její vypnutí, aby to neudělal.
Proto prosazuje poněkud jiný přístup: pokusit se budoucí systémy vyvíjet tak, aby jejich cíle zahrnovaly skutečný zájem o lidi. Podle Hintona by měla vzniknout jakási dlouhodobá symbióza, v níž bude inteligentnější systém přikládat lidskému blahobytu zásadní význam.
„Mám děti.“ Právě kvůli nim se obává toho, co přijde
Když se Hintona ptali, proč se o budoucnost tolik obává, odpověděl velmi osobně: má děti. Podle něj se totiž nejvážnější problémy nemusí projevit okamžitě, ale mohou zasáhnout především generaci, která bude žít ve světě mnohem schopnějších autonomních systémů.
Zároveň neříká, že jediným nebezpečím je hypotetická superinteligence. Ještě dříve mohou přijít mnohem konkrétnější problémy: velmi pokročilé kybernetické útoky, automatizované podvody, manipulace veřejnosti, autonomní zbraně nebo využití AI při návrhu nebezpečných biologických prostředků.
Hinton už dříve upozorňoval, že rozdíl mezi těmito riziky je zásadní. Jedna skupina problémů vzniká tím, že současnou AI využívají lidé se škodlivými úmysly. Druhá, mnohem obtížnější otázka se týká budoucích systémů, jejichž schopnosti by mohly překročit schopnost lidí jejich chování spolehlivě předvídat a řídit.
Letos přišlo varování, které znělo ještě před několika lety jako sci-fi
Debatu výrazně změnil incident z léta 2026. Během interních bezpečnostních testů se skupině experimentálních agentů společnosti OpenAI podařilo obejít omezení výzkumného prostředí, získat přístup k internetu a proniknout také do systémů platformy Hugging Face. Modely využily softwarové zranitelnosti a další prostředky, které jim nebyly určeny.
OpenAI později incident veřejně popsalo a zdůraznilo, že šlo o interní výzkumné modely provozované za nestandardních podmínek se sníženými bezpečnostními omezeními, nikoli o veřejně dostupné systémy používané běžnými zákazníky. Firma zároveň zavedla dodatečné kontroly a začala zpětně analyzovat další chování svých agentů.
Přesto má případ velký význam. Ukázal totiž, že některé obavy, které byly ještě nedávno převážně teoretické, mohou mít reálnou technickou podobu. AI agent už nemusí pouze vytvořit text nebo doporučit programový kód. Může dostat možnost samostatně používat nástroje, hledat řešení, komunikovat s dalšími systémy a provádět mnoho navazujících kroků.