01.10.2026
V hlavnej téme októbrového čísla magazínu Quark rozoberá Martin Tamajka z Kempelenovho inštitútu inteligentných technológií tri bezpečnostné incidenty, ktoré ukazujú, ako môžu AI agenty pri plnení úloh prekročiť hranice, s ktorých nutnosťou nastavenia ich tvorcovia nepočítali.
Umelá inteligencia: Keď AI agent prekročí hranice
Správy o umelej inteligencii (AI), ktorá unikla z testovacieho prostredia alebo hekla cudziu firmu, znejú ako námet na sci-fi. Skutočnosť je menej filmová, ale z pohľadu kybernetickej bezpečnosti o to dôležitejšia.
Nejde o stroje, ktoré sa prebudili, vytvorili si vlastné ciele a rozhodli sa škodiť ľuďom. Ide o softvérové systémy, ktorým ľudia zadali cieľ, poskytli nástroje a nechali ich samostatne vykonať veľké množstvo krokov. Problém vznikol vtedy, keď pri hľadaní riešenia prekročili hranice, s ktorých nutnosťou nastavenia tvorcovia nepočítali.
Pojmy jazykový model, četbot a AI agent sa často používajú ako synonymá. Nie sú však to isté.
Predstavme si fabriku. Veľký jazykový model, skrátene LLM (angl. large language model), je ako skúsený majster, ktorý získal vedomosti z obrovského množstva situácií a prác, ktoré už za svoj život vykonal, či z manuálov k prístrojom, ktoré prečítal. Keď sa ho niekto niečo opýta, vie odpovedať podľa toho, čo sa počas učenia naučil. Ak odpoveď nepozná, niekedy to prizná, inokedy však môže vytvoriť presvedčivo znejúcu, ale nesprávnu informáciu. V prípade veľkých jazykových modelov hovoríme o toľko skloňovaných halucináciách.
AI asistent je ako majster, ktorý nevyužíva iba vlastné skúsenosti, ale keď potrebuje ďalšie informácie, dokáže ich vyhľadať napríklad v manuáloch jednotlivých zariadení. Takýto asistent založený na LLM môže vyhľadávať v dokumentoch, čítať návody alebo pracovať s firemnou databázou. Stále však najmä prijíma otázku a vracia odpoveď. Četbot je používateľské rozhranie, cez ktoré s takýmto asistentom komunikujeme.
Agent ide o krok ďalej. Nielenže má skúsenosti a vedomosti (pochádzajúce z LLM v jeho vnútri, vďaka ktorému chápe, čo a kedy má urobiť na základe situácie, v ktorej sa nachádza, a pokynov, ktoré dostane), ale vie používať jeden alebo viac nástrojov. Dostane cieľ a nástroje, pomocou ktorých môže konať: pracovník vo fabrike vie používať sústruh alebo momentový kľúč, zatiaľ čo AI agent vie otvárať súbory, zapínať programy, vyhľadávať informácie na webe alebo komunikovať s ďalšími systémami. Výsledok jedného kroku použije pri plánovaní ďalšieho. Ak prvý postup nefunguje, skúsi iný. Takto môže pokračovať dovtedy, kým úlohu nesplní, nenarazí na obmedzenie alebo ho nezastaví človek.
Špecializovaný agent ovláda jednu úzko vymedzenú činnosť. V agentickom systéme môže spolupracovať viacero takýchto pracovníkov: jeden analyzuje problém, druhý píše kód, tretí ho testuje a ďalší zhromažďuje výsledky. Čím viac nástrojov a oprávnení systém dostane, tým širší je rozsah toho, čo dokáže urobiť správne a niekedy aj nesprávne.
Rozhovor: Od artefaktov k dátam
Počítačové technológie umožňujú skúmať, dokumentovať a reštaurovať kultúrne dedičstvo bez zásahu do originálu. O kultúrnej informatike, počítačovom videní a rozšírenej realite v reštaurovaní kultúrneho dedičstva sme sa rozprávali so Zuzanou Berger Kocurovou z Fakulty matematiky, fyziky a informatiky UK v Bratislave.
Veda v umení: Mýtus reality
Film je umelecké médium, ktoré sa dokáže azda najviac priblížiť obrazu reality. A predsa je jeho vzťah k realite ambivalentný. Súvisí s kvalitou zobrazenia aj hodnovernosť filmu?
Veda v múzeu: Uchovaná rozmanitosť
Súčasťou depozitára nižších rastlín Prírodovedného múzea SNM v Bratislave je zbierka húb, lišajníkov, machorastov a rias tvoriaca súbor, ktorý slúži na uchovanie vedeckých dôkazov.
Pohrebná pamäť, Peľ, svedok histórie, Exoplanéta s atmosférou, Krv sa mení so vzduchom, Sledovanie cez wi-fi, Dôkaz Darwinovho úsudku, Poznať hurikán pohľadom pod zem, Megazem bez atmosféry, Lov ulitou, to sú názvy ďalších článkov, ktoré nájdete v rubrike Kaleidoskop. Samozrejme, aj v októbrovom čísle Quarku sa môžete otestovať a precvičiť si mozgové bunky na zaujímavých úlohách.
Výber článkov v októbrovom čísle magazínu Quark
BioBridge: Rásť koreňom nadol
Jednou z kľúčových adaptácií rastlín pri osídľovaní súše pred 500 miliónmi rokov bol vznik koreňa a jeho schopnosť vnímať gravitáciu. Gravitropický rast umožnil rastlinám ukotviť sa v pôde.
Žijem vedu: Keď sa lebka ponáhľa
Vitamín A je dôležitý pre zrak, imunitný systém aj pre vývoj organizmu. Kyselina retinová však musí byť v správnom čase na správnom mieste a v správnej koncentrácii.
Príroda: V rytme prúdu
Potočníky tvoria veľkú skupinu hmyzu, žijú však večerným až nočným životom, a preto ich človek zriedka zazrie. Ich zvláštnosťou je, že ich v prírode môžeme pozorovať aj počas zimy.
Kvantový svet: Sto rokov riadenia
Svet fyziky riadia rovnice. História každej jednej z nich skrýva mnoho zaujímavých príbehov a myšlienok. My sa pozrieme na príbeh a vlastnosti rovníc kvantového sveta.
Klimatická zmena: Ako sme sa sem dostali?
Vplyv ľudských aktivít na planetárne systémy podpory života už prekročil schopnosti týchto systémov udržiavať stabilné klimatické podmienky holocénu. Tak vznikol pojem antropocén.
Doprava: Hluk v svete ticha
Akustické fenomény pomáhajú morským živočíchom orientovať sa v prostredí práve tak dobre, ako nám naše uši. Hluk z lodnej dopravy je pre podmorský život problémom.
Technické stavby: Vysielacie dominanty
Televízna veža nie je iba podstavec pre anténu. Tvoria ju nosná konštrukcia, základy, vysielacia technológia, napájanie, káblové trasy, chladenie a často aj verejné priestory.
Vedeckí influenceri: MatFyzJeIn
Projekt MatFyzJeIn prináša na sociálne siete prednášky, populárno-vedecké videá a novinky z diania na FMFI UK s cieľom priblížiť vedu širokej verejnosti.
Architektúra: Starý a nový experiment
Na opačných koncoch Viedne sa nachádzajú dva bytové komplexy vzdialené od seba nielen niekoľko kilometrov, ale najmä niekoľko desaťročí. Majú však toho veľa spoločného.
Vedátor: Otužovanie a zdravie
Vďaka otužovaniu sa ľuďom zlepšuje hormonálna činnosť, pamäť aj imunita. Podobne ako pri behaní či cvičení najťažšie je začať. Otužovanie je viac psychická než fyzická výzva.
Paleoantropológia: Prví Európania
V Španielsku sa našla neúplná tvárová časť lebky jedinca z ľudského rodu Homo, ktorá aktuálne drží európsky vekový rekord.
Chémia: Ekologické chodníky?
Mlatové chodníky s povrchom z drveného kameňa sú spájané s prívlastkom ekologický. Naozaj, prepúšťajú vodu, mlat sa prehrieva menej ako asfalt a je z prírodných materiálov. V neprospech ekológie však hovorí trvalá prašnosť tohto povrchu.
Nové vydanie magazínu Quark si môžete kúpiť na rôznych predajných miestach od 1. októbra 2026, prečítať na webovej stránke magazínu alebo vyzdvihnúť priamo vo vašej schránke.
Zdroj: QUARK