AI Act5 je první komplexní regulací umělé inteligence v Evropě. Bude mít dopad na obory jako jsou HR nebo finanční sektor, může výrazně ale zasáhne také výrobce zdravotnických prostředků využívajících umělou inteligenci. Počet takových výrobků přitom bude pravděpodobně stále narůstat. Například v USA bylo k dnešnímu dni schváleno přes 690 zdravotnických prostředků využívajících technologie AI.4
Cílem AI Actu je ochrana klíčových etických principů a základních práv při vývoji a využívání AI. AI Act se zaměřuje na regulaci systémů podle úrovně rizika: od systémů s minimálním rizikem po zakázané systémy. Mezi zakázané praktiky patří například social scoring, tedy tzv. hodnocení sociálního kreditu, částečně známé z některých zahraničních zemí.
Systémy s omezeným rizikem budou podléhat zejména požadavkům z hlediska transparentnosti, tzn. uživatel bude muset být informován, že je umělá inteligence využívána. Systémy s minimálním rizikem jsou zbytkovou kategorií, zahrnující všechny systémy, které bude možné i nadále používat podle současné právní úpravy.
Vysoce rizikové systémy jsou pak takové, které jsou na trhu EU povolené, ale budou podléhat přísným regulační požadavkům. Vysoce rizikové systémy zahrnují například biometrickou identifikaci či právě zdravotnické prostředky, využívající umělou inteligenci.
Nařízení vstoupí v platnost v květnu 2025, přičemž povinnosti pro systémy vysokého rizika začnou platit 24 až 36 měsíců poté. To by mělo zajistit výrobcům zdravotnických prostředků s AI komponenty dostatek času na adaptaci na novou právní úpravu.
Zdravotnické prostředky s prvky umělé inteligence se řadí mezi systémy vysokého rizika podle článku 6 AI Actu. Můžeme si pod nimi představit jak samostatná softwarová řešení s využitím umělé intelligence – například digitální asistenty pomáhající stanovit správnou diagnózu - tak kombinaci hardwaru a software – například nositelná zařízení pro monitorování srdeční činnosti s prediktivní analýzou.
Je důležité zdůraznit, že AI Act nemá nahradit stávající sektorovou legislativu, jako je například nařízení o zdravotnických prostředcích (MDR)6 nebo nařízení o diagnostických zdravotnických prostředcích in vitro.7 Působí jako doplňující rámec a zdravotnické prostředky tak budou muset splňovat dosavadní i nové regulatorní požadavky.
Požadavky AI Actu navíc dopadnou nejen na výrobce z EU, ale i všechny mezinárodní výrobce zdravotnických prostředků, které jsou distribuovány a používány na území EU. AI Act tedy ovlivňuje i firmy mimo EU, pokud jejich produkty budou používány na území EU.
Pro vysoce rizikové systémy, jakými jsou právě zdravotnické prostředky, bude klíčovou povinností implementace systému řízení rizik dle čl. 9 AI Actu.5 Ten bude třeba dodržovat v průběhu celého životního cyklu zdravotnického prostředku a zahrnuje identifikaci a vyhodnocení známých a předvídatelných rizik. Tato rizika mají být vyhodnocována nejen pro scénář, kdy je zdravotnický prostředek použit v souladu s určeným účelem, ale i pro případ nesprávného použití, které lze důvodně předvídat.
Pokud je tedy například vyvinut systém pro analýzu lékařských snímků pouze pro specifickou diagnózu, bylo by vhodné předvídat, že se může stát, že lékař bude tento software používat i k diagnostice jiných chorob. Na základě tohoto vyhodnocení vzniká pak povinnost přijmout vhodná opatření k řízení takových rizik. To může znamenat povinnost rizikům předcházet už během vývoje prostředku, nebo zajištění potřebných školení.
Další významnou kategorií povinností pro výrobce zdravotnických prostředků je správa dat. Systémy využívající umělou inteligenci jsou trénované na datových sadách. AI Act stanovuje standardy pro tato data.5 Požadavky jsou komplementární a někdy i překrývající se s již existujícím nařízením GDPR. Tréninková data musí být v souladu s AI Actem relevantní, reprezentativní, bez chyb a úplné.
To je vysoce aktuální požadavek právě pro oblast zdravotnických prostředků. Je známo, že řada dat využívaných k tréninku algoritmů obsahuje zkreslení. Některé skupiny pacientů (např. s tmavší barvou pleti) nejsou dostatečně reprezentované v tréninkových datasetech, což následně může vést k horší spolehlivosti diagnostických prostředků právě u takových pacientů. Známým příkladem jsou algoritmy využívané pro diagnostiku rakoviny kůže. Protože v tréninkových datových sadách je často výrazně podreprezentovaná tmavší barva pleti, algoritmy jsou často méně přesné pro tuto kategorii pacientů.3 Požadavek na reprezentativnost datasetů používaných k trénování algoritmů má tento nedostatek pomoci napravit.
Dalším novým požadavkem vyplývajícím z AI Actu5 bude implementace systému řízení kvality (QMS) pro AI, který by měl být integrován do existujícího QMS pro zdravotnické prostředky (například dle normy ISO/IEC 13485). Tento AI QMS zahrnuje procesy týkající se řízení rizik, technické dokumentace, transparentnosti, správného použití dat a lidského dohledu nad AI systémy.
Jednou z klíčových povinností je požadavek na zpracování komplexní technické dokumentace s uvedením údajů. Tato dokumentace musí obsahovat podrobný popis AI systému, jeho vývoje, testování a validace. Přísné požadavky na technickou dokumentaci mohou být náročně splnitelné zejména pro malé a střední podniky. Na to AI Act reaguje tím, že některé požadavky na dokumentaci pro tyto firmy budou zjednodušené.
I v České republice je řada startupů vyvíjejích zdravotnické prostředky s využitím umělé inteligence - ať už jde o využití softwaru s AI ve zobrazovacích metodách nebo třeba nositelná zařízení pro monitorování a prediktiviní analýzu srdeční činnosti. I na ty AI Act dopadne. Tím, že jde o nařízení a nikoli směrnici, bude ve členských státech přímo aplikovatelné, dopadnou na české vývojáře pravidla v plném rozsahu. Ač se čeští pacienti mohou radovat, že vývojáři budou mít třeba první povinnost mitigovat rizika vyplývající i z předvídatelného nesprávného použití přístroje, nová pravidla mohou přinášet i méně pozitivní dopady.
Pro malé podniky a startupy, na které už teď dopadají rozsáhlé regulatorní požadavky týkající se zdravotnických prostředků, se AI Actem výrazně rozšíří jejich povinnosti. Ty je přitom často velmi náročné naplnit - například požadavek na reprezentativnost dat bude narážet na fakt, že reprezentativní datové sady často nejsou k dispozici. Je proto na místě se ptát jestli tento nový právní rámec nebude mít negativní dopad na inovace v oblasti zdravotnických prostředků vyvíjených v České republice.
Cílem AI Actu je ochrana základních práv a etických principů v systémech využívající umělou inteligenci, včetně zdravotnických prostředků. Řada požadavků v nařízení uvedených jde jistě správným směrem. Například požadavek na reprezentativnost dat v trénovacích datasetech má potenciál odstranit nerovnosti v kvalitě diagnostiky pro pacienty, kteří by jinak mohli být opomíjeni. Přesto je na místě otázka, zda nové požadavky nebudou další překážkou pro vstup startupů vyvíjejících zdravotnické prostředky s inovativními technologiemi na evropský trh.
