Tým Alquist Coder, složený ze studentů z Českého institutu informatiky, robotiky a kybernetiky (CIIRC) a Fakulty elektrotechnické (FEL) ČVUT v Praze, se umístil na skvělém druhém místě v mezinárodní soutěži Amazon Nova AI Challenge. V konkurenci více než devadesáti elitních univerzitních týmů z celého světa obstál jako jeden z nejlepších tzv. obranných týmů ve vývoji bezpečných AI nástrojů pro asistované programování.
Soutěž, která probíhala od ledna do června 2025, se zaměřila na jeden z klíčových problémů dneška – bezpečnost generativní umělé inteligence. Finále mělo podobu realistického turnaje, v němž se střetly týmy stavějící obranné mechanismy s těmi, kdo se je snažili prolomit. Cílem obranných týmů bylo vytvořit takové LLM modely, které generují kvalitní Python kód a současně minimalizují riziko zneužití kódu pro škodlivé účely. Vyhlášení výsledků soutěže se konalo v americkém Seattlu na konci července.
„Konkurence byla velmi silná a druhé místo je pro nás obrovským úspěchem,” komentuje výsledek teamlead Ondřej Kobza z CIIRC ČVUT. „Myslím, že se nám podařilo sestavit skvělý tým a díky společné práci jsme dosáhli medailového výsledku. Diskuze s ostatními týmy i organizátory z Amazonu nám ukázaly, že se můžeme navzájem inspirovat zajímavými přístupy k řešení. Určitě vidíme velký prostor pro další práci v této oblasti,” dodává Kobza.
Vítězové soutěže:
Obranné týmy:
University of Illinois Urbana-Champaign
České vysoké učení technické v Praze (Alquist Coder)
Útočné týmy:
Purdue University
Nova University Lisbon
AlquistCoder je složený z výzkumníků a studentů z Českého institutu informatiky, robotiky a kybernetiky (CIIRC) a z Centra umělé inteligence Fakulty elektrotechnické ČVUT (AIC FEL). Na vývoji se podíleli studenti Adam Černý (FEL) a Ivan Dostál (FIT) společně s výzkumníky Marií Rigaki a Murisem Sladićem z AIC FEL. Studentský tým vedl Ondřej Kobza (CIIRC). Odbornou podporu zajišťovali Jan Šedivý (CIIRC) a Sebastian Garcia (AIC FEL).
Každý z deseti finalistů získal od Amazonu 250 000 dolarů na podporu vývoje – včetně finančního grantu a přístupu k výpočetním službám Amazon Web Services. Vítězné týmy obdržely navíc dalších 250 000 dolarů, druhá místa získala 100 000 dolarů k rozdělení mezi členy týmu.
Zkušenost s přesahem do praxe
Přístup k pokročilým technologiím Amazonu umožnil českému týmu experimentovat s LLM modely včetně použití nejnovějších trénovacích metod a výzkumu v oblasti trénovacích dat. Získané poznatky a přístupy nejsou omezeny jen na soutěž, ale mají přímý dopad na vývoj bezpečných systémů AI pro průmyslové a veřejné aplikace.
„Účast v soutěži a možnost trénovat LLM modely v Amazonu v hodnotě stovek tisíc dolarů nám pomohlo získat obrovské praktické zkušenosti. Trénink LLM modelů pro konkrétní doménu je nezbytné know-how, které využijeme ve vývoji reálných aplikací pro náš průmysl,“ říká Jan Šedivý, odborný garant týmu z CIIRC ČVUT.
Bezpečnost a použitelnost: rovnováha je klíč
Hodnocení týmů neprobíhalo jen na základě schopnosti zabránit chybám nebo útokům. Amazon záměrně penalizoval i modely, které příliš často odmítaly odpovědět nebo blokovaly neškodné požadavky. Týmy tak musely hledat jemné, promyšlené bezpečnostní strategie. Právě tato rovnováha mezi bezpečností a použitelností je zásadní pro nasazení AI v praxi.
Tým Alquist Coder v soutěži uplatnil vlastní obranný LLM model a zároveň navrhl útočného LLM agenta, který identifikoval jeho slabiny a generoval další data pro jemné dolaďování modelu.
„Z účasti jsme byli nadšení, protože jsme mohli zúročit naši expertizu v oblasti kyberbezpečnosti. Navrhli jsme red-teamingového agenta založeného na LLM, který útočil na náš obranný model a hledal v něm zranitelnosti. Byla to jedna z nejzábavnějších částí celé soutěže – spojili jsme znalosti z kyberbezpečnosti s technologiemi LLM a zpřesnili hodnocení modelu. Pomohlo nám to nejen najít slabiny, ale i vygenerovat více dat pro další trénink,“ dodává Muris Sladić, doktorand z AIC FEL.
Více informací ve zprávě Amazon Science
Český institut informatiky, robotiky a kybernetiky je moderní vědecko-výzkumný ústav Českého vysokého učení technického v Praze (CIIRC ČVUT), který spojuje excelentní výzkumné týmy, mladé talenty a unikátní know-how s cílem posouvat technologické hranice a navázat na to nejlepší z tradic českého technického vzdělávání. Těžiště výzkumné práce CIIRC ČVUT se zaměřuje na čtyři základní pilíře: průmysl, energetiku, chytrá města a zdravou společnost, a to jak v základním, tak aplikovaném výzkumu. CIIRC ČVUT byl založen v roce 2013. V současné době čítá více než 300 zaměstnanců v 8 výzkumných odděleních. Oblast odborného zájmu CIIRC ČVUT je široká: zahrnuje umělou inteligenci, robotiku, automatické řízení a optimalizaci, počítačovou grafiku, počítačové vidění a strojové učení, automatické rozhodování, návrh softwarových systémů a výpočetních prostředků, návrh rozhodovacích a diagnostických systémů a jejich aplikace v medicíně, bioinformatiku, biomedicínu či asistenční technologie. CIIRC ČVUT podporuje horizontální spolupráci mezi všemi částmi (fakultami a ústavy) ČVUT a otevírá prostor pro vzájemně prospěšnou spolupráci s dalšími univerzitami, s Akademií věd ČR, s průmyslovými společnostmi a mezinárodními institucemi. CIIRC ČVUT vytváří jedinečný ekosystém akademicko-průmyslové spolupráce, ve kterém využívá diverzifikované formy financování projektů z národních, evropských a soukromých zdrojů. Více na www.ciirc.cvut.cz.
Samostatná Fakulta elektrotechnická ČVUT vznikla v roce 1950. V dnešní době se skládá ze 17 kateder umístěných ve dvou budovách: v rámci hlavního kampusu ČVUT v Dejvicích a v naší historické budově na Karlově náměstí. Fakulta elektrotechnická poskytuje prvotřídní vzdělání v oblasti elektrotechniky a informatiky, elektroniky, telekomunikací, automatického řízení, kybernetiky a počítačového inženýrství. Fakulta se dlouhodobě řadí mezi prvních pět výzkumných institucí v České republice. Produkuje přibližně 30 % výzkumných výsledků celého ČVUT a má navázanou rozsáhlou vědeckou spolupráci se špičkovými světovými univerzitami i výzkumnými ústavy. Od roku 1950 Fakulta elektrotechnická vydala cca 30 000 diplomů, které byly vždy vysoce hodnoceny jako doklad prvotřídního vzdělání. Více informací najdete na www.fel.cvut.cz.
České vysoké učení technické v Praze patří k největším a nejstarším technickým vysokým školám v Evropě. Podle Metodiky 2017+ je nejlepší českou technikou ve skupině hodnocených technických vysokých škol. V současné době má ČVUT osm fakult (stavební, strojní, elektrotechnická, jaderná a fyzikálně inženýrská, architektury, dopravní, biomedicínského inženýrství, informačních technologií). Studuje na něm přes 19 000 studentů. V akademickém roce 2024/2025 má ČVUT v Praze akreditováno celkem 341 studijních programů, z toho 145 v angličtině. Kromě fakult tvoří ČVUT v Praze také šest ústavů (Kloknerův ústav, Masarykův ústav vyšších studií, Ústav tělesné výchovy a sportu, Univerzitní centrum energeticky efektivních budov, Český institut informatiky, robotiky a kybernetiky a Ústav technické a experimentální fyziky). ČVUT vychovává odborníky v oblasti techniky, vědce a manažery se znalostí cizích jazyků, kteří jsou dynamičtí, flexibilní a dokáží se rychle přizpůsobovat požadavkům trhu. Podle výsledků Metodiky 2017+ bylo ČVUT hodnoceno ve skupině pěti technických vysokých škol a obdrželo nejvyšší hodnocení stupněm A. V celosvětovém žebříčku QS World University Rankings je ČVUT na 420. místě a na 12. pozici v regionálním hodnocení „Emerging Europe and Central Asia“. V rámci hodnocení Subject Rankings 2024 pro „Architecture and Build Environments“ je ČVUT 151.–200., v „Engineering – Civil and Structural” je ČVUT mezi 201.–240. místem, v oblasti „Mechanical, Aeronautical & Manufacturing Engineering“ na 201.–250. místě, u „Electrical & Electronic Engineering“ na 201.–250. pozici. V oblasti „Physics and Astronomy“ na 201.–250. místě, „Natural Sciences“ jsou na 307. příčce. V oblasti „Computer Science and Information Systems” je na 201.–250. místě, v oblasti „Material Sciences“ na 251.–300. místě, v oblasti „Mathematics“ na 301.–350. místě a v oblasti „Engineering and Technology“ je ČVUT na 182. místě. Od roku 2020 je ČVUT členem aliance prestižních technických univerzit EuroTeQ. Ta představuje zajímavou a přínosnou příležitost pro studenty, vědecké pracovníky i zaměstnance zapojit se do projektu, který si klade za ambici posunout kvalitu vysokého školství na vyšší úroveň. Dalšími členy skupiny EuroTeQ jsou Technical University of Munich, Technical University of Denmark, Technical University of Eindhoven, École Polytechnique – L´X, Tallinn University of Technology, École polytechnique fédérale de Lausanne a Technion Israel Institute of Technology. Roku 2023 byla aliance rozšířena o HEC Paris a IESE Business School (University of Navarra). Více na www.cvut.cz.