Rozwiń » Kamery rozpoznające twarze bramki na lotniskach, drony skanujące las, żeby wykrywać nielegalne wysypiska i drony skanujące las na granicy, żeby wykrywać ruchy ludzi. Nawigacja w telefonie i nawigacja w autonomicznych pojazdach mówiące lodówki i oczywiście czat gpt systemy i urządzenia, które wykorzystują tzw tuczną inteligencję, już są wśród nas będzie ich coraz więcej i będą pełnić bardzo różne funkcje, czasem ich błąd niewiele nas kosztuje. Tyle co nadłożenie drogi w mieście albo rozczarowanie nie trafioną odpowiedzią czasem robi się poważnie, bo wchodzimy na pole medycyny rekrutacji policji czy wymiaru sprawiedliwości głównie z myślą o tych poważnych kontekstach 2 lata temu. Komisja Europejska rozpoczęła pracę nad pierwszą na świecie regulacją tego obszaru wbrew temu, co zwykle mówi się o prawie wychodzącym z Brukseli. W tym przypadku naprawdę nie chodziło o hamowanie innowacji, a wręcz przeciwnie w strategii komisji na pierwszym miejscu jest wspieranie rozwoju eadz dbanie o to, żeby Europa stała się konkurencyjne, są tam programy finansowania innowacji są piaskownice dla startupów prawno. Obowiązki pojawiają się dopiero tam, gdzie pojawia się ryzyko dla ludzi lub środowiska na pierwszy rzut oka takie podejście ma sens nie hamujemy rozwoju sektora, ale skupiamy się na tym, żeby najpoważniejsze użyczenia i spełniały wysokie standardy, tak jak wieśnialność przejrzystość nadzór człowieka dobór danych reprezentatywnych, żeby system nie popełnił błędów. I dobrze wykrywał wzorce w zachowaniu ludzi, Sęk w tym, że czasem naprawdę trudno przewidzieć, jakie użycie ja okaże się poważne w skutkach przy mikrofonie Katarzyna szmilewicz, witam was w kolejnym odcinku podkastu ponadtyką 40 poświęconym w tuznej inteligencji, a właściwie politycznym zamieszaniu wokół niej, jakie od 2 lat obserwujemy w debacie politycznej w Brukseli? Opowiemy o próbach psucza i poprawiania propozycji, jaką w 2021 roku położyła na stole komisji Europejska i o tym, co przed nami, bo prace nad tym aktem prawnym właśnie wchodzą w decydującą fazę dziś w podkaście gości Filip Konopczyński do niedawna analityk rynku ey w ID z NCBR komentator specjalizujący się właśnie w obszarze nowych technologii, a od stycznia ekspert fundacji panoptyk.
To jest pan optyką 40.
Cześć cześć.
Od kilku miesięcy śledzisz z bliska prace nad aktem o sztucznej inteligencji, które dzieją się w Brukseli, częściowo też w Polsce, bo przecież Polska ma wpływ na stanowisko rady, nie znudziło. Ci się jeszcze.
Nie nie znudziło się, natomiast jest to zdecydowanie jazda bez trzymanki, to znaczy wszystko to, co wiedziałem o europejskim procesie legislacyjnym o regulacjach, które tam powstają inaczej wygląda, kiedy kiedyś jest tak głęboko i to jeszcze po tej stronie po tej stronie niepolitycznej nie biznesowej tylko właśnie Obywatelskiej?
Może przypomnijmy, dlaczego w ogóle Unia Europejska zabrała się za ten temat, co było na początku tej walki. Teraz wiemy, że to jest walka, ale na początku to chyba nie wyglądało tak konfrotacyjnie, prawda ta propozycja komisji ona była dość miękka jak naprawy europejskie.
Wydaje mi się, że od tych powiedzmy drugiej połowy drugiej dekady 20.01. wieku w ciągu tych ostatnich 5 lat zaszły duże zmiany, jeżeli chodzi o podejście do polityk cyfrowych, to znaczy w 2016 roku, kiedy, kiedy powstawało RODO w 2018, kiedy pojawiały się te pierwsze łaj paipery o sztucznej inteligencji.
Czyli takie niewiążące jeszcze stanowiska komisji.
Także, tutaj Unia Europejska miała poczucie, że robi coś świeżego, że wchodzi w nowy obszar, który no jednak był bardzo mocno zdominowany przez prywatny firmy, ale także taką ideologię w sposób myślenia, w którym no państwo nie czuło się dobrze, instytucje publiczne tak trochę się ma cały z tym dużym biznesem, a wiele osób wierzyło, że jeżeli coś jest w internecie, to jest ponad granicczne. I no jak można regulować krzem tak i cyferki. Myślę, że między właśnie tym 2018 rokiem i czego w pewnym sensie efektem była to propozycja komisji z kwietnia 2021 roku, po prostu żyjemy w innym świecie. I tutaj z 1 strony takie duże czynniki międzynarodowe z drugiej strony no pewna masa krytyczne, które zostały osiągnięta w wyniku różnych wycieków takich popularnych dokumentów, które, które zaczęły pokazywać, że no internet to nie jest tylko takie proste narzędzie do tego, żeby łączyć się z kolegami i koleżankami. Z winą końcu świata, ale, że to są technologie, które wpływają na to, jak myślimy, jak żyjemy. No i tutaj co pewnie będzie najważniejsze w Unii Europejskiej, jak podchodzimy do takich procesów demokratycznych, natomiast to, co tak już bardziej szczegółowo tą drogę, którą przebył eact. No to 2021 roku, to miał być taki akt, który w zasadzie no był zdecydowanie dedykowany firmom, domyślnie pewnie nawet innowatorom niekoniecznie dużym firmom. No i to miał być taki nie chcę powiedzieć takie wskazówki, ale to.
Wytyczne może bardziej.
Wytyczne. No taka próba regulacji tego nowego rynku sztucznej inteligencji, gdzie no duży nacisk był położony np. i to zresztą znajduje odzwierciedlenie. Także w tej ostatecznej wersji, że te rozdziały poświęcone np. tzw San boksom tym piaskowownicom regulacyjnym to jest duża część tego aktu.
Certyfikacja, która ma gwarantować pewnie standard na rynku, ale niewiele kosztuje certyfikowanych, bo w zasadzie jest to procedura, na, która przede wszystkim obciąża certyfikujących. I mamy takie poczucie czytają na akt, że jeżeli ktoś taki certyfikat pozyska, no to potem już mówiąc, nie leci z tym i niewiele musi z tym robić w zasadzie, o ile dobrze przywołuje tamten moment w czasie. To hajby wokół, a jaj był tak silny, że nie wypadało nawet mówić, że powstrzymujemy rozwój wręcz przeciwnie i tak o tym mówiła komisja Europejska, ale pojawiły się tam pewne pomysły na obowiązki prawne dla tych ryzykownych użyć prawda.
Tak. No i to była ta puszka Pandory z punktu widzenia biznesu, a no źródło też myślę sukcesów i zadowolenia dla wszystkich, którym bliskie są wartości demokratyczne prawa człowieka prawa. Podstawowe i no ta ewolucja przebiegała właśnie od takiego aktu dedykowanego biznesowi. Zresztą tutaj może też warto powiedzieć, że to miało taki trochę charakter zaklenania rzeczywistości, że Unia Europejska często deklaruje i kolejni politycy kolejni przedstawiciele komisji deklarują, że tutaj Unia chce być liderem w świecie cyfrowym. No i wypadało właśnie coś zrobić miał być ten eja jak natomiast jak spojrzymy na tę drugą stronę na tą stronę podażową, ile się tak naprawdę wydaje na tego typu badania. To nie ma takiego przyrostu, tak więc no to jest taka próba zachęcenia i pokazanie jak bardzo Unii Europejska jest jest pro proei, natomiast no to tylko w ograniczonym zakresie mogło osiągać te cele. No ale od tego 2021 roku dużo się zmieniło i to zarówno w tej sferze technologicznej, bo możemy mówić o pewnych przełomach, jak i myślę, że to jest nawet ważniejsze w tej perspektywie. To jest to zmiana nastawienie opinii publicznej, no 3 lata temu ia interesował ekspertów interesował ludzi, którzy, którzy albo chcą na tym zarobić, albo są ja coś tacy bardzo zainteresowani niszeby tematami z końcem 2022 roku temat E ja stał się jednym z popularniejszych na świecie. I oczywiście wiemy, co było tego przyczyną.
No właśnie, co zatrzymajmy się przy przyczynie tego ostatniego wzrostu popularności w wyszukiwarkach terminu, a ja, chociaż chyba powiedziałam w kontrze tego też wydarzyło, to ja już nie wpisuję. Ja tylko w prezes wpisują czy AD gpt i pod wpływem pojawienia się w takim masowym dostępie w wielkich modeli językowych politycy w Brukseli też coś chyba zrozumieli. Prawda coś, co nie było dla nich oczywiste i Szcze rok temu, kiedy to wielkie firmy technologiczne mówiły dobra regulujcie systemy, które będziecie, które państwo będzie używać, które administracja będzie używać w tych poważnych kontekstach, tak jak medycyna czy wymiar sprawiedliwości, ale modele, które my tworzymy, które co bardzo ważne mogą być użyte w bardzo różny sposób. To co innego. I tu najlepiej było, jakbyście się nie mieszali.
Tak, bo jeszcze coś zepsujecie. No właśnie bardzo mocno zmieniłaś także narację, którą posługuje się sektor, przede wszystkim biznesowy sektor rozwoju. Ai to znaczy te 2 lata temu słychać było takie argumenty już w ogóle bez sensu, który regulować, bo to tylko wstrzymuje innowacje, teraz praktycznie nie znajdziemy kogoś takiego, kto byłby w stanie coś tak otwarcie powiedzieć, oczywiście co innego. Co się robi w sekrecie, ale, ale na poziomie tej szerszej komunikacji, wszyscy praktycznie zgadzają się, że ai powinno być tyczne, że powinno przestrzegać prawa, że powinno bronić takich podstawowych wartości i komponować się z tym z tym czy zrównoważonym rozwojem, czy po prostu z takim dobrym społecznym.
A co konkretnie miałoby robić? Co konkretnie miało być dziać? Się inaczej? Jeśli chodzi o rozwijanie modeli? Ja i w tym tych wielkich modeli językowym, bo to jest taka. No najnowsza część regulacji, która została doklejona w parlamencie europejskim.
Tak no, tutaj już przechodzimy do konkretów to, że ta dyskusja wokół jak tu była tak burzliwa, przede wszystkim od końcówki zeszłego roku to jest m.in. efekt właśnie popularności czata gpt i tego, że no okazało się, że takie wielofunkcyjne programy, które do niedawna no interesowały naprawdę wąską wąską grupę, pewnie kilkudziesięciu tysięcy może kilkuset tysięcy badaczy na świecie. Nagle się okazało, że po pierwsze, nastąpił pewien przełom inżynieryjny i to może działać szybko, to może działać sprawnie, to może dawać względnie adekwatne i dobre rezultaty. No i że to może być używane i to ta skala te możliwości zastosowania są tak ogromne nie znamy ich jeszcze do dziś, że no pojawiła się taka potrzeba, żeby to uregulować. Oczywiście nie wszyscy podzielali taką potrzebę. Tutaj, jeżeli chodzi o tych polityków, którzy, którzy są zaangażowani, czy byli zaangażowani w proces, a jak no to także tutaj nastąpiła. Taka tutaj brzydkie słowo na E synergia, to znaczy to coś, co miało być regulacją techniczną, nagle się okazało, że to jeststerkate trochę w wizytówka Unii Europejskiej. No ja byłem zszokowane, jak oglądałem nagranie ms nbsi, gdzie dragosz tu do rachy występuje jako gwiazda.
Wspomnijmy jeszcze ki kim jest dragosz?
To jest jeden z głównych głównych rozgrywających, tutaj byśmy tu widzieli, to jest sprawozdawca sprawozdawca tego tego procesu razem z ael włosem, który jest z Europejskiej partii ludowej dragoszcztu do raha reprezentuje reprezentuje RI niu, czyli no taką formację liberalną. I to oni tutaj mieli duży dużą rolę także w tych ostatnich zmianach, no ale jeżeli mówimy o tych dużych modelach językowych, to warto wspomnieć, że wg ustaleń zarówno politykom jak jak iatdogów korpet euro obserwatorii publikowały taki raport, w którym no pokazywały różne metody, kilkustopniowe metody, poprzez, które duże firmy tak jak micros czy Google prowadziły naprawdę agresywną kampanię lobbingową, prawdopodobnie dalej ją prowadzą m.in. jednym z celów było to, żeby nie wprowadzać regulacji tych dużych modeli językowych. Co no wydaje się dziwne i jest ewidentnie sprzeczność z tym, co te firmy mówiły otwarcie, natomiast ta kampania udało się tylko częściowo, bo tutaj wiele środowisk wiele osób mówił o takim po tej stronie społecznej. Mówię o takim sukcesie tych negocjacji, że ten jak udało się poprawić co moim zdaniem jest prawdą, natomiast, jeżeli chodzi o te regulacje dla dużych modeli językowych, to no sam Fakt, że one się pojawiły w bardzo krótkim czasie. Jak pisałem, jakieś analizy próbowałem zrozumieć te dokumenty to kilkurot nawet terminologia się zmieniała, bo wcześniej to było, że nawet popy seai pojawiały się pomysły, że to może być jednak czy nawet i a ja i w końcu stanęło na feejszym model, czyli termin, który nie był obecny wcześniej tej legislacji. Taki modele podstawowe tutaj będziemy szukać tego słownictwa, no i w zasadzie okazało, że jest osobny rozdział, w którym reguluje się role odpowiednich. Tutaj uczestników tego.
Celu to, używając tego przykładu, bo myślę, że nie damy rady i nie ma sensu na tym etapie wchodzi głęboko przepisu, który będą się jeszcze nieraz zmieniały w toku negocjacji, które są przed nami, może, używając tego przykładu. Spróbuj powiedzieć co dla osób, które dziś niepokoją się tym, jak może w praktyce być używany cza gpt, które przecież może się mylić, może generować fałszywe podpowiedzi może używać danych ludzi w sposób nieuprawniony itd. jak taka technologia czy ona podfund regulacji będzie bardziej ucywilizowana, albo inne w jakiś ram, które dadzą nam poczucie bezpieczeństwa? Czy w twojej ocenie wcale niekoniecznie?
Wydaje mi się, że tak, to znaczy to nie są bardzo mocny przepisy. Natomiast sam Fakt, że taki model podstawowy będzie musiał być zgłoszony i to w komisji Europejskiej tak.
W bazie danych publicznejej.
Publicznie dostępnej to jest z takim podstawowym opisem po drugie, będą duże obowiązki informacyjne zwią związane z tych dokumentacją techniczną z rekordami z logami, które będzie taki twórca deweloper provder takiego modelu będzie będzie musiał przekazać każdemu każdej firmie każdej instytucji, która będzie z niego korzystać. To jest taki kolejny element. No ten model będzie musiał co do zasady przestrzegać przestrzegać dużej części regulacji, które dotyczą tego tej kategorii sztucznej inteligencji wysokiego ryzyka, więc są takie przepisy, które sprawiają, że prawdopodobnie to będzie, to będzie jednak lepiej nadzorowane. No ale z drugiej strony i tutaj dlatego mówię o tym bardzo połowicznym sukcesie, bo te kary, które będą mogły te firmy dostać, no to są są najniższe w całej tej regulacji, więc jeżeli.
Dostać jeśli nie będą przestrzegały tych obostrzeń, czyli wypuszczą na rynek czat gpt i 17, które będzie znowu rozwijane w sposób szybki i bez możliwości zweryfikowania czegoś nauczył tak dalej zapłacą maksymalnie.
2%, więc jeżeli stworzył taki system, który będzie generował tylko rasistowski, tylko seksistorskie po prostu treści tylko i wyłącznie tylko i wyłącznie prowadził dezinformację, to po kieszeni ich to mocno nie uderzy i z punktu widzenia akcjonariuszy w zasadzie nie chcę tak brzydko mówić, ale poza tym, że oczywiście taki system można zakazać tego używanie. Można zakazać myślę, że w tym przypadku to jest dotkliwsza kara niż te 2% obrotu, no bo to jest niska stawka podatkowa, że tak powiem za wykroczenie, ale, ale sam Fakt, że można, że komisja we współpracy jajów jest będzie mogła wydać taki zakaz korzystania z pewnego modelu. No to jest to jest jakaś sankcja tak rzecz firmy chce zarabiać. Jest.
Tak to się pojawia w kontekście choćby dyskusji etiktoków, trochę trochę inny trochę inny obszar, ale jednak powiązany tak, czyli z moment firmy technologiczną, które rozwija technologię bardzo dla społeczeństwa atrakcyjno. Relatywnie jeszcze nową i pojawią się poważne pytania o bezpieczeństwo danych o tego mogą być użyte no i jednym z argumentów jest to, że jak już nie będzie innych środków, to Unia zakaże. No ja te zakazy mogą być skuteczne, to się przekonamy, bo jeszcze takiego ośrodka wcześniej komisja nie miała nie używała.
I czy to będzie taki zakaz, że wystarczy będzie wypin, a sobie włączyć? Czy to będzie faktyczna faktyczne sankcja?
Tak będzie do obejścia dla użytkowników, ale to wtedy jest bardzo ciekawe, bo wspominaeś o tym agresyw do lobbingu, może właśnie to jest jego istota, czyli ten wynik ta liczba, która na koniec pojawia się w sankcjach. To jest jednak kluczowa sprawa. Przypomniało mi się, jak Facebook zostało oskarżony, wtedy jeszcze Facebook nie meta o no istotny spowodowanie istotnych naruszeń w tej grze wyborczej WSA na etapie profilowania wyborców metodami kempik, ale przecież ono byłoparte o systemy Facebooka. Facebook dopuszczał tego typu profilowanie, dlatego do niego wróciły oskarżenia i wtedy też pojawiła się wysoka kara i dzień po tej wysokiej garze akcja rusze spowodowali, znaczy giełda wyceniła Facebooka wyżej na zasadzie takiej ulgi okej, tylko tyle. No niestety gramy dalej, więc tu też możemy widzieć tego typu efekty, ale wspaniało się w takim ryzyku czy innego typu systemy używane w kontekście rekrutacji edukacji i medycyny, czy one będą w jakiś istotny sposób jeszcze bardziej obwarowane. Np. będziemy mogli dowiedzieć, jakie ryzyka one generują dla ludzi im przeciwdziałać?
No taka jest intencja tutaj twórców tej regulacji. Ten mówimy tutaj art szóstym, który właśnie dotyczy tych systemów wysokiego ryzyka i no ta lista po pierwsze, tych systemów, które są objęte, będą objęte tymi regulacjami tymi dodatkowymi obowiązkami jest szersza niż to było 2 lata temu, co co powinno cieszyć, bo, bo te technologie nie stoi w miejscu i no ważnych, żeby obszary takie jak np. bezpieczeństwo publicznej policja czy medycyna czy rynek pracy. Czy szkoła były objęte właśnie, jeżeli używamy eaja, których, który działa w takich obszarach, to powinno być to traktowane jako obszar wysokiego ryzyka. Tutaj z jej z takich innowacji legislacyjnych, z czego też należy się cieszyć trzeba powiedzieć, że do tej listy dopisano także w ostatnim momencie systemy rekomendacyjne w przypadku tych bardzo dużych platform, tak, czyli tychloów, więc to jest jakieś potencjalnie.
Tu wprowadziliśmy pojęcie z innej regulacji prawnej regulacji prawnej, którą u nas stworzyła niedawno i ono już jest przyjęta już działa dla wielkich platform internetowych, takich jak wspomniane przeze mnie meta czy czy YouTube czy tictot, bo tu nie mówimy firma, mówimy Platforma, a system rekomendacyjny to jest to, co powoduje, że widzimy na ekranie takiej innej treści prawda.
To co sprawia, że jesteśmy tak bym powiedział, że jesteśmy tym, kim jesteśmy taki szczególnie, jeżeli urodziliśmy się nie wiem w ciągu ostatnich 20 kilku lat.
No i to wszystko np. czegoś co dla legi legislatorów europejskich w wcale nie wyglądało na poza, kiedy ryzyko no bo przecież to jest taka zabawka dla konsumenta. Prawda to, że ja sobie skreluje Instagrama czy Facebooka, czyli tych taka komu to szkodzi, no i te ostatnie kilka lat uświadomiło, co bardzo ważne, że jednak szkodzi ma.
Szkodzi tak, że mamy mamy badanie i mamy. No wiele przykładów z życia widzimy, jak ludzie się zmieniają, widzimy te straszne historie często, ale oczywiście to dotyczy szerszego obszaru, natomiast to, co no moja odpowiedź jest trochę warunkowa, to znaczy ja nie wiem, czy to będzie efektywna regulacja w zakresie tych systemów wysokiego ryzyka, m.in. dlatego że ta no ta procedura ten taki mechanizm uznania czegoś za wysokiego ryzyka. On jest po prostu, jakby dziura skomplikowany i jak czytałem, że to musi być duże ryzyko znaczący ryzyko wywołanie szkody. No to jest po prostu poletko dla prawników, korporacje prawnicze pewnie już się cieszą, bo tutaj na poziomie pozwów na poziomie odpowiedzi na pozwy będzie będzie po prostu dużo pieniędzy do zarobienia i też firmy będą mogły na różne sposoby wykazać, że, że to ryzyko nie było duże np. natomiast natomiast zdecydowanie wydaje mi się, że no jednak pod pewnymi z pewnymi zastrzeżeniami, ale to jest sukces tak wydaje mi się, że to jest sukces taki mówię tutaj i o tym art. 6 i art piątym, gdzie są te zakazy, bo to jest pewnie coś, co co jest najbardziej jakby, jakbyśmy mieli 1 taką rzecz. Wskazać z tego eja jak tu no to myślę, że te praktyki zakazane to jest dokładnie to tak, że tutaj Unia Europejska.
Np. co byłoby zakazane, gdyby ta wersja elementu się utrzymała w negocjacjach?
No to nie jest bardzo długa lista, ale ona obejmuje m.in. system kredytu społecznego w sytuacji, czyli to, co znamy z chiń, czyli takie profilowanie. I w pewnym sensie karanie obywateli za za działania, które nie są powiązane bardzo szereg różnych działań np. nie wiem kupujemy zło rzeczy w sklepie, w związku, z czym ostatecznie dostajemy wyższą ratę kredytu. No to jest taki skrajny przykład, ale wiemy, że tego typu eksperymenty prowadzone są w różnych miejscach w Chinach. No i no i to budzi niepokój zakazane są systemy ai, które intencjonalnie manipulują, szukają naszych podatności, kategoryzują biometrycznie na podstawie cech wrażliwych, systemy, które takie jak np. klirwiua, i które które tworzą taką no właśnie.
Bazę.
Bazę twarzy na podstawie wszystkich treści, które, które są u nas w internecie, czyli zdjęć, ale nie tylko w internecie także kamer przemysłowych, tak więc no tutaj jest taki sygnał, który Unia wysyła tego nie chcemy tych najbardziej ryzykownych najbardziej groźnych systemów, także np. systemów i to jest myślę coś, co będzie bardzo rozwojową. Technolog technologii, to znaczy systemy, które zmieniają stany emocjonalne osób. Tak co to może w zakresie w zakresie no tutaj padany jest przykład, znaczy tutaj ten zakaz dotyczy resortów siłowych, że tak powiem, czyli systemu bezpieczeństwa policja prokuratura jakieś inne agencje, które mogą. No tutaj wchodzimy niemalże w saejfae, ale to są technologie dostępne, które np. są w stanie zdalnie wywołać. Nie wiem, strach lęk albo jakieś inne szok, tak wobec wobec manifestantów, np. wobec konkretnej osoby.
O czym warto powiedzieć, że ta regulacja, bo każdym foku tego, że ona jest dziura, waż ona jest takim trochę szwajcarskim serem, czy też piramidą postawiona głowie i tak często nie mówiliśmy, bo bardzo wąski jest ta zakaz obowiązków wobec tego, jak szeroki jest rynek i zastosowania jednym z ogromnych wyłączeń nie jestbezpieczeństwo publiczny prawda. Czyli, czyli tutaj nie należy spodziewać się raczej, żeby działania służb specjalnych, bo nieobjęte to jest niemożliwe, bo to jest poza kompetencją Unii Europejskiej do regulowania. Policja być może już tak.
No tutaj myślę, że jeżeli wybiegamy trochę w przyszłość, czyli przynajmniej tych kilka następnych miesięcy wprzód to w tej w tym pejzażu politycznym europejskim będzie walka. Myślę, że głównie o to znaczy czy obszar bezpieczeństwa wewnętrznego bezpieczeństwa Narodowego. Czy on tak jak chciałaby rada Unii Europejskiej, bo znamy tą wersję jeszcze z jesieni zimy zeszłego roku, która no po prostu wyłącza o prze bezpieczeństwa Narodowego i publicznego z regulacji może też warto wspomnieć, że eejc wbrew temu, co niektórzy mówią nie dotyczy. No ważnych obszarów, tak, gdzie dzieje się ten postęp ea i czy nie dotyczy wojskowości, nie dotyczy obszaru badań, czyli, jeżeli słuchają nas żołnierze, naukowcy to mogą nie słuchać.
To jest bardzo ważne, bo ta taki Mite temat tego, że Unia tutaj nam coś skomplikuje i np. przegramy w wonitechnologicznej z Chinami taka obiegowa krytyka jest zupełnie bezzasadna. To nie jest od to jest jednak mimo wszystko o rynku.
To jest o rynku i tutaj naukowcy, czy badacze czy innowatorzy mogą się powinni się interesować jaktem dopiero kiedy chcą na tym zarobić tak wcześniej na poziomie projektowym na poziomie badawczym nie ma takich obowiązków albo one się znajdują, gdzie indziej. Też warto powiedzieć, że i to Pada Pada w tym akcie to jest taka konstrukcja pewnego minimum regulacyjnego i prawnego. Tak, jeżeli państwa członkowskie albo Unii Europejska będzie chciała działać sektorowo i zakazywać używania czy systemowe jajczy po prostu pewnych działań wybranych obszarach. To może to robić, tak. Więc w tym sensie to nie zamyka, to nie zamyka dyskusję o tym, jak regulować sztuczną inteligencję. Z czego bardzo się cieszę, bo to jest aktualnie zawód, który wykonuje więc, ale wręcz otwiera te pole do tego, żeby działać także na poziomie i unijnym i na poziomie Narodowym.
Myślę, że ta dyskusja rzeczywiście będzie ciekawa i będzie eskalować wraz z tym, jak dużo będzie pojawiało się tego typu systemów właśnie w różnych sektorach. Też takich bardzo w odczuciu ludzi poważnych, ale przypomnijmy jeszcze o co się wspierają polityzmów. Wspomniałeś już o kwestii wyłączeń. To jest fundamentalna sprawa dla rządów, ale w parlamencie też iskrzyło, prawda wokół zakazu wokół koncepcji wysokiego ryzyka. Co z tego jeszcze może wrócić to z tego było ważne w debacie?
Tak no tutaj te punkty, które pewnie będą budzić największy spór, to właśnie to czy bezpieczeństwo narodowe czy bezpieczeństwo publiczne będzie, czy nie będzie objęte tym aktem. I tutaj możemy podejrzewać, że wiele państw będzie jednak chciało ograniczyć te kompetencje. No w pewnym sensie komisji Europejskiej tak do tego, żeby w zakresie ich polityk wewnętrznych, tak więc tutaj mamy ten spór federalizacji, to narodowe.
O tym chyba powiedzieć, a to jest ważne, że ostatecznie ten akt byłby egzekwowany nadzorowany byłoby jego wykorzystanie przede wszystkim przez taką nową agendę quaz i agendę unijną biuro do spraw ey i to jest ten punkt zapalny. No bo tu pojawia się kolejny byt na poziomie europejskim, który mógłby w jakimś sensie wchodzić w te kompetencje rządów.
Tak, to znaczy w zasadzie w takim sensie formalnym to główne kompetencje zachowuje komisja Europejska, a ten eya Office, no ale będzie monitorowałwalluował. I co jest tutaj bardzo ważne współpracował m.in. z ekspertami ze społeczeństwem obywatelskim, do czego będzie zobowiązany, no ale akceptował standardy tworzył rekomendacje, więc w takim sensie prawa w praktyce on będzie miał bardzo dużą rolę w sensie formalnym, to komisja będzie tym dużym dużym chłopcem, który do, którego państwo musi się udać. Jeżeli, jeżeli następuje jakiś problem, no ale to nie jest tak, że państwa członkowskie nie będą miały kompetencji, no bo będą takie też lokalne narodowe państwowe instytucje odpowiedzialne za ten obszary. Ja i one mają być powołane i one także będą współpracować. Natomiast wracając do tego pytania spór polityczny. No, więc tutaj tak oczywiście zakres tak co w jakim obszarze będzie obowiązywał drugi obszar, który jest bardzo istotny, to są no właśnie zakazy, które ostatecznie rzutem na taśmy nieco mniejszą większością członków tych połączonych komisji w Unii Europejskiej zostały przyjęte jako zakazy. Tak jako ta wersja wersja, która wyszła z tej właśnie z komisji innkoilib. Natomiast i tak bardzo mnie zaciekawiło, bo nie wszyscy deputowani, także znaczy część deputowanych przede wszystkim jak jak słyszymy z Europejskiej partii ludowej, z ipp, której członkami z ramienia Polski jest m.in. Platforma i PSL, ale także częściowo deputowani riniu, czyli bardziej liberalni głosowali przeciwko zakazowi pewnych technik biometrycznych. Tak takiego biometrycznego rozpoznawania osób w miejscach publicznych w czasie rzeczywistym.
No właśnie, tym chodzi o ten obszar, który najbardziej kojarzy się z owym wielkim bratem, o którym wspomniałeś, to jest taki obszar o tyle zapalny, że no niewiele rzeczyste regulacji, o której dziś mówimy i słychać te rozmowy, ona jest skomplikowana. Rusza ludzi, mówiąc kolokwialnie, a to rusza i właśnie ciekawe, że to ten obszar czy eja i rozpoznające czy się rzeczywistym nasze twarze na podstawie cech biometrycznych, które włapują kamerę, a wyłapują oraz takich, które robią to chwilę później, ale również skuteczniej pozwalają np. kogoś wyśledzić, kto wraca z demonstracji lub na nią podąża, że taki system wzbudziły te wielkie kontrowersje i to przeciwko nim przeciwko i wyłączeniu głosowali między nimi liberałowie.
Tak tak i cenryści, że tak powiem, no i to jest to jest dla mnie zagadka, bo tłumaczę, to sobie tak, że no być może chodzi, bo jak byłem parę miesięcy w Brukseli i rozmawiałem też doradcami właśnie z zakresu polityki, polityk cyfrowych tych głównych tych głównych partii. No słyszałem, że i PIP np. chciałby pójść na prawo także, że, więc interpretuje to z 1 strony jak i taki ruch pokazujący, że my chcemy się troszczyć o bezpieczeństwo i będziemy walczyć z terrorystami.
Takieczenia oka do wyborców bardziej konserwatywnie.
To bardziej tak do bardziej prawicowych wyborców, więc to jest to jest 1 powód, a drugi to jest coś na co nie mam potwierdzenia, ale tak jak słucham komentarzy, przede wszystkim amerykańskich innowatorów, którzy generalnie rozumieją potrzebę tej regulacji. I tak podchodzą do niej dosyć pragmatycznie, no to zwracają uwagę, że no szczególnie w Stanach mocno rozwija się sektor właśnie oparty na bioometrii. Ta biometria mamy zastosowanie w różnych obszarach, także w pracy, tak więc chodzi.
O sprawdzanie, kto wchodzi.
Kto wchodzi. No ale też jak się czuje, czy jest efektywny, czy uśmiecha czy się uśmiecha itd. itd. więc myślę, że tutaj z 1 mamy takie trochę wypieczenia innym ogniu z 1 strony chodzi właśnie o tą kwestię pokazania, że, że się dba o te bezpieczeństwo, że na tych dworcach kolejowych dworzec wkótnie będzie bezpieczny nie nastąpi temat tak terrorystyczny, ponieważ będziemy śledzić wszystkich, którzy tam wchodzą. I to też jest ciekawe, bo jeżeli pomyślimy właśnie o tych bazach biometrycznych, które mają rozpoznawać przestępców, no to nie jest tak, że te bazy, żeby one działały, to nie wystarczy, że one będą uczone na twarzach przestępców, one muszą być na dużej liczbie właśnie tych wizerunków twarzy uczony, więc teoretycznie no może być tak, żeby taki system działał dobrze, to musi mieć wszystkich obywateli w swojej bazie. No.
Też powiedzieć, oczywiście bardzo ważnym o rozmaitych użyciach tego samego modelu i to jest coś, co warto podkreślić. I już wspomnieliśmy o tym, że modele jako takie, czyli to, co jest komponentem kluczowym dla systemu coś, co powstaje wcześniej niż system i jest bardziej abstrakcyjny. Może być użyte w różny sposób. To jest no to mięso ea i prawda i to ten model, który uczy się np. rozpoznawać twarze rozpoznawać, głos analizować tekst, tak jak czat gpt i kreować tekst oparty na prawdopodobieństwie wystąpienia słów w jakiś kolejności. Zresztą no genialnie skutecznie to robi te modele mogą być użyte w różny sposób. I jeżeli chcemy zakazać Unia mówi nie używajmy na rynku modelu tego typu do w kontekście bezpieczeństwa rynek tzw wie, że to jest ten sam model, który posłużę im w banku, czy w innym miejscu, gdzie sprzedadzą go za dobre pieniądze. No to jest taka taka potrzeba deregulacji, nawet jeśli to, co powiedzieć mi z prawdą, że badania nie są objęte żadnym zakazem i badać można to jednak sam Fakt, że może sprzedać coś bardzo podobnego raz służbą raz Bankowi innym razem pracodawcy. To jest atrakcyjny dla biznesu.
No oczywiście, i to można zrozumieć tutaj Biznes jest po to, żeby generować zysk tutaj nikt nie ma zamiaru.
A my tego, że, że system będzie kupiony przez państwo w 1 celu, a potem przysiąknie do innego obszaru. Np.
no to jest zwiększy się taka techniczna, możliwość stosowania pewnych praktyk. Przecież też wiemy, że instytucje publiczne nie muszą mówić w czasie rzeczywistym wszystkiego, co robią, tak więc tutaj te do zmianę takich FANT jnik tego systemu czy doprecyzowanie funkcji, którą ma pełnić jest jak najbardziej możliwe. Natomiast to, co wydaje mi się tutaj może nawet ważniejsze w kontekście tych właśnie czy tych modeli podstawowych czy eaja tego tzw ogólnego przeznaczenia jest to, że te systemy będą jednak objęte po pierwsze, pewnymi wymogami związanymi z dostarczaniem informacji, więc będzie łatwiej prześledzić, to, gdzie nastąpił np. jakiś błąd, czy to zawiódł dostawca tego systemu, czy to właśnie ten, kto go implementował, przekręcił to, żeby on nie wiem nie nie szukał zaginionych owieczek, tylko jednak polował na ludzi, więc tutaj tutaj to rozróżnienie, myślę, że jest myślę, że jest sensowne. No i jeżeli chodzi o te no funkcje i wykorzystanie ja przez państwo tutaj widzę trochę inny problem, to znaczy po pierwsze, trochę nie wyobrażam sobie sytuacji, w której lokalna agenda odpowiedzialna za ai każe instytucje publiczną, która de facto pochodzi od tej samej partii. Czy od tego same do tego samego rządu, więc tutaj tutaj widzę jakiś paradoks, a to jest możliwe, jeżeli dany system będziezgłoszony, tylko w Polsce, to będzie podlegał tylko polskim regulacjom, więc tutaj widzę tutaj widzę takie wąskie gardło, albo może raczej taki potencjał do nadużyć. No druga rzecz jest taka, że no nie do końca wiemy, w jaki sposób komisja Europejska będzie teraz karać polskie instytucje publiczne albo czy firmy prywatne, ale te instytucje jest bądź karać. Je no trochę możemy sobie wyobrazić, jak to np. w kraju takim jak Polska będzie wyglądać te kary nie są ogromne, skoro nie płacimy kar w innych obszarach. No to tutaj tutaj to, że komisja na podstawie analizy ey i owiis wyda jakąś decyzje, może nie być nie być bardzo skuteczne.
Ale może dlatego można tego główną osią tej regulacji są obowiązki dla dostawców systemów i to jest tą miejsce, gdzie mogę sobie wyobrazić większą skuteczność. Prawda, czyli nie tyle Polski ZUS lub Polska policja byłby karane za to, że wzięły sobie system, którego miały używać, taka użyły inaczej popełniały na tym użyciu błędy czy stworzył jakieś zagrożenia, ale sam dostawca takiego systemu, który pozwolił na tego typu użycie, ale tu ta nasz rozmowa rozmowa dobrze pokazuje meandry stosowania, a ja jak tu i tego.
I szalenie trudno.
Jest tu tak otwartych przestrzeni do interpretacji rozmaitych luk wyłączeń nieprecyzyjnych pojęć, które będzie można tak jak powiedziałem, wcześniej rozgrywać prawniczo rozgrywać w sądzie, ale szczególnie między instytucjami, więc tak naprawdę bardzo ciężko jest dziś mówić, co będzie wiemy, że stawki są wysokie, że opinia publiczna po raz pierwszy od dawna patrzy politykom na ręce i to jest dobre. Co przed nami w takim razie, jakie jeszcze etapy zostały tego sporu politycznego tych negocjacji i kto z kim będzie negocjował?
No, więc tak następny duży punkt to jest głosowanie plenarne w parlamencie europejskim planowany na 13 czerwca, miało być wcześniej. No ale posłowie tutaj poświęcili częśćeństwo i wakacji.
No nie pierwszy raz poświęcają rada, bo to jest na tyleąca dyskusja, że ona się przyciąga i przyciąga, ale może uda się tak.
W czerwcu tego czasu no wg tych pierwotnych zapewnień te kompromisy, które zawarto na poziomie tych 2 komisji powinny przełożyć się na to, że w tej wersji akt zostanie przyjęty. No ale słyszymy także jeszcze nie potwierdzonym głosu, że mogło pojawić się kolejne poprawki plenarne. I tutaj tutaj nie ma nie ma pewności, jak to będzie wyglądać.
I to będzie ważny moment dla mediów dla opinii publicznej, żeby patrzeć, która partia, która grupy polityczna składa poprawki do tej wersji, o której dziś rozmawiamy, do której się odnosimy, która nie jest najgorsze, jak na wszystkie, które mamy podkreślając, że one są ogólnie, no nie najmocniejszym przykładem regulacji.
Żebyśmy to inaczej.
Zrobiliśmy, gdybyśmy mogli to zrobić od początku byłoby to byłoby to i na regulacja to i taki są najlepsze co co mamy na stole i od tego najlepszego, co mamy na stole w głosowaniu plenarnym mogą pojawić się wyjątki? To będzie dość jasnenalaracja. Myślę od każdej grupy politycznej, co tak naprawdę oni by chcieli w tym obszarze regulacji eja i zrobić, a więc to taki punkt bardzo czytelny komunikat dla opinii publicznej w czerwcu, a potem.
No potem wkraczamy w trudny w trudny kilkumiesięczny proces tego dialogu trójstronnego trilogu, w którym parlament Europejski. No na podstawie tego mandatu, który, który otrzymałem na głosowaniu plenarnym, będzie negocjował razem z radą Unii Europejskiej pod egidą komisji czy razem razem z komisją ostateczne treści. No i możemy się spodziewać właśnie tych sporów pomiędzy wersją parlamentu Europejskiego, która jest tak jak wspominamy, lepsza od tego, co było wcześniej. No i tego, co postanowiła rada no i tutaj te różnice w tym akcie między tą wersją zeszłego roku, a wersją parlamentu są już istotne tak i one dotyczą masy rzeczy, bo nawet nie wspomnieliśmy o tym, że ważną poprawką jest to, że my jako obywatele będziemy mieli prawo zaskarżyć, odwołać się od decyzji podjętej no decyzji, której jesteśmy przedmiotem celem, jeżeli to jest system wysokiego ryzyka, to jest to jest cenna cenna zmiana nie wiemy, jak ona będzie faktycznie wykorzystyna, bo to jest bardzo trudne udowodnić, nawet wiedzieć o tym, że nastąpiła taka takie zdarzenie, jeżeli to nas dotyczy no, ale to jest symbolicznie istotne. No bo nie jesteśmy nie jesteśmy jesteśmy jako obywatele mamy swoje miejsce w tej.
Rzecz wyciągnięci tak nie widzę w czasie nas wcale nie było. Czy prawo do wyjaśnienia w podobnym kontekście dla ludzi? Tak kilka takich rzeczy dotyczących ludzi, rzeczywiście parlament wprowadził i o to na pewno będą spore już powinniśmy, że będą spore o zakres, czego wyłączenia z tej regulacji najpewniej też obszary ryzyka. Prawda i te zakazy to też będzie coś, z czym rządy zobaczymy jak Polski rząd się do tego odniesie, ale obawiam się, że Ruda rada będzie ciągnęła kołterkę w swoją stronę, żeby tego było jak najmniej.
Myślę, że tak i tutaj ta logika no taka właśnie tego E jaktu, który tak tak jak wspominaliśmy, to jest dziwna regulacja, bo to trochę jest o bezpieczeństwie produktu trochę regulacji rynku i a no będzie w kontrze do takiego podejścia sektorowego, czyli, jeżeli po prostu wyłączamy pewien obszar, tak jak wyłączamy obronność. Wyłączamy badania i rada, czyli ministrowie premierzy będą zapewne chcieli wyłączyć obszar bezpieczeństwa Narodowego. No jak wiemy, bezpieczeństwo narodowegoowe to jest czy.
Też publiczny, czyli?
Jeszczeszerzeczne tak, to w zasadzie może to może być wszystko, bo to może być faktycznie atak terrorystyczny, ale to może być np. promowanie treści w jakiejś aplikacji zagranicznej, która nam się nie podoba taki np. narusza nasze wartości. Albo obraza obraża uczucia religijne, więc tutaj to już jest należy tylko i wyłącznie do wyobraźni rządzących, co będzie uznane za to bezpieczeństwo narodowe. No, więc to wydaje mi się, że tutaj będzie to największy spór. No jak już się to gadają to z Górki i za 2,5 roku albo za 2,5 roku, bo jeszcze będzie okres przejściowy, jakby firmy się mogły nauczyć, żeby można było powołać ten zarówno E. Ja i Office jak i te lokalne instytucje, które będą to nadzorować. Fajnie, było, jakby ci ludzie byli także wykształceni i kompetentni to także jest jeden z wymogów, które jest tam wprowadzony ey i litches jako jako osobny punkt. No i wtedy za 2,5 roku będziemy mieli i będziemy mieli taki E jak no i pozostaje trzymać kciuki, żeby się nie pojawiło jeszcze kolejne innowacja, która wywróci ten akt, ale tutaj trzeba powiedzieć, że tak już może, zmierzając do podsumowania, są takie mechanizmy takie bezpieczniki, które sprawiają, że ten, że ten akt może się dobrze zestarzeć, to znaczy z 1 strony ta definicję sztucznej inteligencji, którą przyjął parlament, zakładając, że rada tego nie zbombarduje jest szersza niż to, co było na początku i obejmuje większą liczbę systemów. Więc, więc tutaj.
Jest mniej z izbaziech psychologicz neutralna mniej zapięta o konkretne techniki prawda.
Dokładnie tak, bo to jest kolejne ryzyko, możemy sobie przyjąć eja jak to potem pojawi się nowe technologia, też, którą będziemy nazwali sztuczną inteligencją, ale ona nie będzie objęta tą definicją i do widzenia. Tak to będziemy musieli no procedować coś na nowo i wymyślać, natomiast tutaj ta definicja jest na tyle szeroka i obejmuje także systemem, które działają trochę trochę samodzielnie, a trochę pod kontrolą człowieka. I tutaj tutaj to jest 1 bezpiecznika, a drugi bezpiecznik jest taki, że komisja będzie mogła modyfikować listę tych obszarów wysokiego ryzyka, czyli ten spór, jeżeli chodzi o spór o to, co jest objęte tymi dodatkowymi wymogami m.in. wymogiem może warto warto to powiedzieć przeprowadzenia oceny potencjalnych skutków naprawa podstawowe, a w niektórych przypadkach także na środowisko to jest coś, o co m.in. pan optykąn walczył, ale, ale nie tylko, bo to jest taka zmiana, która no w pewnym sensie jest dobrze symbolizuje. To, czego chcieliśmy tak, czego to społeczeństwo Obywatelskiej, organizacje strażnicze chciały, czyli właśnie tego wprowadzenia minimalnego obowiązku dla dla firm, których chcą zarabiać na eiu w tych takich wrażliwych obszarach, no, żeby się zastanowiło, jakie to może mieć skutki? Czy to może tam?
I czasem też ujawniły wyniki swojej czym się podzielić swoje refleksji?
Tak i to jest.
I to mamy i rozumiem, że w tym zakresie możemy też się spodziewać zmian. No de facto zakaz regulacji, czyli że okaże się już tak się używania tego aktu, że nowo obszary stają się w oczywisty sposób ryzykowny dla ludzi, to będą one mogły być tam dopisane bez otwierania na nowo tego potwornie złożonego procesu. Le legislacyjnego, którym dziś trochę powiedzieliśmy.
To jest ten głos optymistyczny, to jest też mękaowy, może w wyjątkowy możemy sobie wyobrazić, że, ponieważ no musimy się troszczyć także o życie zawodowe lobbystów, przecież to są tysiące ludzi, mają urodziny na utrzymaniu i będzie także możliwość usuwania pewnych systemów i pewnych obszarów. No co jest jednak ryzykowne, więc ten lobbing się może przenieść już na poziom bardziej techniczny na poziomie komisji Europejskiej. No niemniej, niemniej jest to w takim sensie teoretyczny dobre dobra regulacja, bo dobry przepis, ponieważ no pozwala trochę się dostosowywać temu prawo do zmieniające się rzeczywistości technologicznej, a także użycia. No może się okaże, że np. E ja i używany w szkolnictwie nie powoduje żadnych szkód, pewnie tak nie jest, ale, ale może sobie to wyobrazić, albo, że powstaną takie techniki jaj, które działają np. w zakresie infrastruktury krytycznej, że w ogóle jest świetne w ogóle nic złego się nie wydarzy. Żaden czarnobyór. Żadna czar fukuthima.
Tu akurat zgłoszę zdanie odrębne o, tyle, że obowiązki, których rozmawiamy one niczego nie wykluczają systemów z rynku, one tylko służą temu, żeby upewnić się, że to właśnie tak jak opisały, że to właśnie tak działa, więc myślę, że tutaj ufaj i kontroluj to będzie to powinny być dywiza komisji, żeby tego jednak nie puszczać, bo okiem i żeby szczególnie takie rzeczy, które wpływają na to, co się, z czym zderzy i co, kiedy pojedzie i jak będzie działało w infrastrukturze, żeby to jednak było sprawdzane. No cóż zobaczymy, myślę, że ten nasz dzisiejszy przegląd stanu prac w Brukseli i regulacji wzdłuż inteligencji pokazuje jedno, jak wysokie są te stawki. Jak trudno jest je sensownie uregulować i jak dłużej jest tutaj zmiennych? Mogę tego zadklarować, że pana apteką on będzie temu przeglądał, że wspólnie z obecnym dziś w rozmowie Filipem Konopczyńskim będziemy te przepisy analizować pilnować ich i dalej o nie walczyć, więc temat zapewne też wróci w podkaście. Pan 4 0-A w tym momencie żegnam się z wami przy mikrofonie była Katarzyna szemielewicz.
I Filip kulepczyńskim. Bardzo.
Dziękuję, dziękujemy do usłyszamy.
Pan optykąn 4. Zwiń «
PODCASTY AUDYCJI: PANOPTYKON 4.0
-
50:10 W studio: Anna Cieplak , dr hab. Michał Krzykawski
-
51:38 W studio: Anna Grabowska-Siwiec , Sylwia Kuligowska
-
34:00 W studio: dr Jakub Piwowar
-
33:17 W studio: Kosma Złotowski
-
52:01 W studio: Marek Biernacki
POSŁUCHAJ RÓWNIEŻ
-
-
02.10.2023 08:20 Poranek Radia TOK FM23:54 W studio: Karolina Wigura , Paweł Wroński
-
02.10.2023 08:00 Poranek Radia TOK FM12:22 W studio: Michał Kamiński
-
02.10.2023 07:20 Poranek Radia TOK FM12:23 W studio: Joanna Scheuring-Wielgus
-
02.10.2023 07:40 Poranek Radia TOK FM16:24 W studio: Małgorzata Kidawa-Błońska
-
02.10.2023 06:40 Pierwsze Śniadanie w TOK-u13:41 W studio: prof. Krystyna Skarżyńska
-
02.10.2023 06:59 Codzienny podcast gospodarczy07:52 TYLKO W INTERNECIE
-
02.10.2023 06:34 Tajemnice muzeów
-
-
02.10.2023 06:20 Pierwsze Śniadanie w TOK-u08:50 W studio: Andrzej Sadecki
-
-
-
02.10.2023 09:00 EKG - Ekonomia, Kapitał, Gospodarka14:46 W studio: Paweł Olechnowicz
-
02.10.2023 09:20 EKG - Ekonomia, Kapitał, Gospodarka25:11 W studio: Anna Popiołek , Jolanta Ojczyk , Karolina Hytrek-Prosiecka
-
02.10.2023 06:00 Pierwsze Śniadanie w TOK-u11:12 W studio: dr Marta Czapnik-Jurak
-
02.10.2023 12:00 Dzień po wyborach
-
02.10.2023 10:00 Pod dyktando
-
-
02.10.2023 12:00 A teraz na poważnie10:54 W studio: Bartosz Arłukowicz
-
-
02.10.2023 10:00 OFF Czarek38:21 W studio: prof. Inga Iwasiów
-
02.10.2023 13:00 Połączenie23:49 W studio: Tomasz Maćkowiak
-
-
02.10.2023 11:40 Kultura Osobista13:35 W studio: prof. Przemysław Czapliński
-
02.10.2023 14:40 Magazyn Europejski14:50 W studio: prof. Marek Safjan
-
02.10.2023 14:20 Połączenie08:24 W studio: prof. Joanna Zajkowska
-
-
02.10.2023 17:00 Wywiad Polityczny13:28 W studio: dr Katarzyna Lubnauer
-
02.10.2023 13:40 Połączenie22:03 W studio: mec. Maria Ejchart
-
DOSTĘP PREMIUM
TOK FM Premium 40% taniej. Radio TOK FM bez reklam, podcasty z audycji i podcasty tylko dla Subskrybentów.
KUP TERAZSERWIS INFORMACYJNY
-
TOK FM
-
Polecamy
-
Popularne
-
GOŚCIE TOK FM
-
Gazeta.pl
-
WYBORCZA.PL