REKLAMA

Algorytmy w polityce społecznej. Jakie mogą być pułapki?

Magazyn filozofa  - Tomasz Stawiszyński
Data emisji:
2021-04-10 13:00
Prowadzący:
Czas trwania:
26:26 min.
Udostępnij:

AUTOMATYCZNA TRANSKRYPCJA PODCASTU

Transkrypcja podcastu
Tomasz Stawiszyński przy mikrofonie z nami są dr Karolina sztandar sztandar ska dzień dobry dzień dobre i dr Marianna Zielińska dzień dobry dzień dobre i panie obie pracują na wydziale socjologii Uniwersytetu Warszawskiego potwierdzane w i za te panie współ autorkami wraz z Michałem kutnowskim dla odmiany z Instytutu filozofii socjologii Polskiej Akademii Nauk tekstu pt. czy algorytmy wprowadzają w błąd metaanaliza algorytmu profilowania bezrobotnych stosowanego w Polsce, który Rozwiń » to tekst ukazał w studiach socjologicznych dotyczy sprawy, które tutaj już nieraz rozmawialiśmy to znaczy algorytmów tytułowych właśnie w szczególności tego stosowanego przez 5 lat w Polsce 201420142019 roku algorytmu profilu mającego osoba bezrobotna i decydującego o tym do jakiej grupy je przydzielić zaraz powiemy o tym konkretnym algorytmie, ale na początek może zapytał o to piszą panie też oczywiście o tym w swoim tekście z jakiego rodzaju skalą zjawiska mamy do czynienia, kiedy mówimy o algorytmach to nie jest kwestia tylko profilowania na stronach internetowych w mediach społecznościowych związanego nie wiem z zakupami naszymi wyborami konsumenckimi tylko to jest jakaś potężna już gałąź życia społecznego, która bardzo wielu obszarach funkcjonuje często nawet nie zdajemy sprawę z tego, że jesteśmy właśnie przez algorytmy rozmaicie kwalifikowani i oceniani i profilowaniu rzeczywiście jest także takie algorytmy czy zautomatyzowane systemy podejmowania decyzji czy jakieś takie modele matematyczne, które są zintegrowane z oprogramowaniem komputerowym coraz częściej są używane i coraz częściej są używane w polityce publicznej nawet pojawiło się w kontekście my się głównie zajmujemy polityką społeczną w kontekście polityki społecznej pojawią się takie określenia, gdyż to łatwe z tej, ponieważ na całym świecie coraz częściej ud używa się tego rodzaju narzędzi dlatego właśnie uwierzyłyśmy, że bardzo istotne, żeby zbadać jak to narzędzie używane w Polsce funkcjonowało, bo było to jedno z pierwszych narzędzi w Polsce no już nie funkcjonuje nieprzypadkowo już, dlatego że też, że rozmaite organa uznały, że to jest rozwiązanie, które pod wieloma względami wadliwe i źle funkcjonuje no właśnie, dlaczego już nie mamy tego algorytmów w przypadku tych instytucji, które zajmują się polityką społeczną w Polsce ja myślę, że akurat jeśli chodzi o ten algorytm to, o czym piszemy w artykule, czyli to, że to był bardzo złe narzędzie pod kątem takim metodologicznym nawet sobie tak w zespole nazwaliśmy ten arco algorytm horrorem statystycznym ze względu na zakres błędów popełnianych to jak bardzo napływ w tak fundamentalnej podręcznikowe, ale to nie był powód główny, dla którego ten algorytm wycofano chodziło o dane tak nie główny powód był taki, że Trybunał Konstytucyjny w reakcji na nie interes jak się nazywa formalnie to pismo Rzecznika Praw Obywatelskich tak, bo Rzecznik Praw Obywatelskich wystąpił do Trybunału Konstytucyjnego, żeby Trybunał stwierdził czy to narzędzie jest konstytucyjne czy jest niekonstytucyjne Trybunał uznał, że to narzędzie jest niekonstytucyjna, dlatego że dane, które były przetwarzane nie były sprecyzowane w ustawie tylko w rozporządzeniu jest na Kreml tak naprawdę nie był powód, dla którego trzeba było już zlikwidować cen to narzędzie wystarczyło wtedy przepisać do ustawy o nocie chciałby przejść przez proces legislacyjny jest to nie był jak jedyny powód może może warto dodać też Maria Zielińska tak ja w tym w tym rozporządzeniu także na niesprecyzowane tak naprawdę no, jakiego co jest w środku tej czarnej księdze wtedy to jest bardzo ważny element taki związane w ogóle z działaniem algorytmów polityce publicznej, że to są takie czarne skrzynki, w których tak naprawdę ukryty jest to co no powinno się znaleźć legislacji, a tego nie ma tak czy i nie wiadomo tak naprawdę co się dzieje z tymi danymi w środku i nawet w tym w tym rozporządzeniu tego nie było tam były tylko takie bardzo enigmatycznie ujęte czynniki które, które będą brane pod uwagę przy profilowaniu, ale to jest w ogóle problem tego obszaru, którym rozmawiamy w przypadku algorytmów np. stosowanych przez sądy w sytuacjach decydowania o tym czy ktoś ma pójść do więzienia czy też ma mieć wyrok w zawieszeniu czy jest ryzyko recydywy czy niema ryzyka recydywy w stanach Zjednoczonych np. bardzo intensywnie tego rodzaju rozwiązania są stosowane no też nie wiadomo właściwie jakiś sposób algorytmy pracują i to jest chyba jeden z głównych problemów, bo to są narzędzia dostarczane przez instytucje komercyjne przez firmy różnorakie, które zajmują tworzeniem takich rozwiązań i one po prostu w ramach tajemnicy handlowej i ochrony przed konkurencją nie zdradzają przepisów na NATO co rok natomiast utrzymywanie algorytmów w tajemnicy niekoniecznie tylko wynika z tajemnicy handlowej może być toczyć istotny czynnik, ale też same instytucje publiczne w tym przypadku było to akurat ministerstwo pracy polityki społecznej też dopóki ten algorytm działał i dopóki nie przegrało tych danych w sądzie czy na pewno porozmawiamy za chwilę też by nie chciało udostępnić tych danych może nie było tam problemu związanego z tajemnicą handlową także Energa nie chciało, ale dlatego że, dlaczego nie chciał adres przytoczone wyjaśnienia ministerstwa natomiast podatnik jest suchy Fest nie ministerstwo uważało, że jeżeli będzie znana punktacja, który używał, która była powiązana z tym narzędziem to wtedy osoby bezrobotne, które będą rejestrować urzędy pracy będą doskonale stanie manipulować tą punktacją, ponieważ osiedle dostawało, odpowiadając na pytanie urzędników i Teresy oraz dystansuje tak jak zapowiadałem chodzi o to, że bardzo często Tal tego rodzaju algorytmy oparte są specyficznym rozumieniu specjalnym podejściu do obywateli, że zakłada myśli się tych instytucjach publicznych wtedy niejako czymś co tworzymy dla nich, ale stawia się, jakby obywateli w tym przypadku osoby bezrobotne od razu w roli takiej takich potencjalnych oszustów, którzy będą próbowali grać systemem i wygrać coś i w i twierdzisz, że na wyniki algorytmu nie będą rzetelna i będą wiarygodne jak ktoś będzie znał jego działań i ten ma pan tak ustawiał żeby, żeby zostać sprofilowane zgodnie ze swoim życzeniem tak wiele nie wiem czy to jasne że, skąd pochodziły te dane, bo tam kwestionariusz, który z osobą bezrobotną religię przeprowadzały uczy przeprowadzała urzędniczka i część danych była zaciągana systemu wypłukiwane zgromadzono już przez urzędy pracy natomiast część pochodziła z tej rozmowy, która sama w sobie tylko specyficzna jak zakładano, że jeżeli ktoś będzie znał to punktację czy chociażby ten kwestionariusz to będzie chciał to z rozmowy tak ustawić, żeby im by no osiągnąć jakiś swój cel jest modna jest moim mogłem tutaj dodać, bo to był przykład tego algorytmu taka się też państwo by setne do książki broń matematycznej zakłady tras w języku polskim Katalonii to tam jest przykład algorytmu, który oceniał nauczycieli i ci nauczyciele też nie będzie on wpływu na to dzisiaj zwolnić ze będą dalej zatrudnień tam też nie były znane te kryteria tak, żeby też warto pamiętać, że to jest też istotne cechy różnych tych algorytmów tego tego naszego również tak ale, toteż jest właśnie kwestia kontrowersyjna, bo mamy do czynienia z wieloma publikacjami, które kwestionują sposób funkcjonowania tego typu tego typu narzędzi np. wskazują te publikacje na to, że tam się produkują w tych strukturach, które mają być takie obiekty wizowa i właśnie analizować dane w sposób zupełnie wolne od różnych uprzedzeń przesądów, które mogą podlegać osoby ludzkie to, że bardzo często właśnie dokładnie tak się dzieje to znaczy, że osoba algorytm liczna ma dokładnie takie same przez sądy i też reprodukuje pewne uprzedzenia która, które osoba ludzka, która stworzyła osoby albo rytmiczną zaś też miała, więc to to jest spory problem chyba dzisiaj tak albo nawet nie musiało być to mogłoby z 1 strony właśnie wynikiem uprzedzeń twórca algorytmu, ale mogą albo algorytm nauczył albo mogą być właśnie wynikiem tego, że algorytm się uczył zdanych, które już zawierały takie skrzywienie np. nie dotyczyły równym stopniu jakich grupa osób w stanach jest bardzo dużo badań pokazujących jak algorytmy czy różne takie zautomatyzowane systemy produkują rasizm np. tak natomiast tym my się wydaje, że w przypadku tego naszego algorytmy to coś, choć ciekawe to, że my odkryliśmy, że syn są bardzo uczyły, aczkolwiek danych o łącznej oderwane oderwane od danych, czyli te mamy jeszcze jakiś inny poziom który, że problem nie jest tylko produkowanie uprzedzeń skrzywień w danych bądź twórców jego tylko tutaj problemem było to, że ten algorytm był oderwany danych dobrze to wrócimy wobec tego po informacjach do tej rozmowy już specyficznie horrorze statystycznym związanym z tym z tym algorytmem funkcjonującą przez 5 lat w Polsce porozmawiamy z nami są dr Kalina Karolina sztandar sztandar ska i dr Marianna Zielińska no już jesteśmy ponownie na antenie dr Karolina sztandar sztandar ska i dr Marianna Zielińska raz jeszcze dzień dobry dzień dobry jest jeszcze o algorytmach rozmawiamy specyficznie o algorytmie do profilowania osób bezrobotnych stosowanym w Polsce w latach 20142019 uznanym przez Trybunał Konstytucyjny za niekonstytucyjne, a przez was uznanym za cóż horror statystyczny właśnie dlaczego, dlaczego no to może zacznijmy od takiego najbardziej Marianna Zielińska najbardziej podstawowego problemu dotyczącego tego narzędzia to znaczy tego, że nie wiadomo co mierzył na pewno nie była żadna obserwowana własność tak jak na świat obserwowany może być długo trwa długotrwałe bezrobocie jest sobie np. definiujemy, że osoba długotrwale bezrobotne jest taka, który jest 12 miesięcy zarejestrowana w urzędzie pracy nad obrotem możemy i różne rzeczy empirycznie sprawdzić na tej podstawie natomiast gorzej wtrąca tylko Marianka dopowiem, że można przewidywać, że on będzie długotrwale bezrobotne na to jest też bardziej skomplikowane natomiast tutaj badana była pewna wewnętrzną właściwość osób bezrobotnych twórcy narzędzia nie mogli się zdecydować nawet jak nazwać z tą tę właściwość czasem funkcjonowało jako potencjał zatrudnienia czasem jako potencjał aktywności zawodowej aktywizacyjne nadejściu własność była nie obserwowali tak jak poprzednio obserwowana jest inteligencja czy zdolności matematyczne, a możemy je sobie zmierzyć tylko poprzez pewne obserwowane przejaw, jeżeli sobie weźmiemy ten przykład zdolności matematycznych no to mierzenie zdolności matematycznych wygląda taki sposób, że dajemy ludziom, jakie zadania rozwiązania no i jedni rozwiązują, jakiej drodze gorzej oczywiście, że mówi o tym by w uproszczeniu tras ale gdy mówimy, że ten, który związał lepiej no to ma wyższe zdolności matematyczne i łapanki by zmierzyć i logicznie brzmi tak tutaj zastosowało taką samą logikę modelu psychopatycznego, czyli na wzięta ten potencjał zatrudnieniowy postanowiono zmierzyć przez pewne pewne, jakie obserwowano przejawy i wśród tych obserwowanych sprzyja były np. takie takie czynniki jak płeć wiek czy miejsca zamieszkania my teraz jak sobie popatrzymy na relację przyczynowo skutkowych, które tutaj jest założona no to nawet na tzw. zdrowy razem brzmi to dość absurdalnie po to, by oznaczało, że potencjał zatrudnieniowy, gdyby taką przyczyną tego, jaką mamy płacić czy gdzie mieszkam, a tak bardzo czeka brzmi prawda brzmi dość absurdalnie, aby był tylko początek kłopotów w tym 10 i co dobrze ja już ja ja naprawdę się Wojciech chor. Zając czekam na te kolejne ciąg dalszy do medycznego kuria pełno flag już daje do obrony praw druga kwestia to oprócz tego, że się, że pomylił kierunek zależności zależności przyczynowo-skutkowej to też punktację, którą dostawałyby osoby bezrobotne nie bardzo wiedząc, że nie odzwierciedlała szans na podjęcie pracy o to znaczy mogą panu teraz zadać takie taką zagadkę jak dobrze pewno nie będą miały rozwiązanie szkodzi, ale taką zagadkę chętnie rozwiązać twórcy narzędzia, bo musieli zdecydować jak stworzyć kwestionariusz, który miał badać to nie wiadomo, o co ten potencjał jakiż to musi zdecydować jak poszczególne odpowiedzi punktować na jej przy założeniu, że te punkty jednak, o czym mają świadczyć tak np. jak pan miał powiedzieć co będzie ważniejsze dla szans na podjęcie pracy czy to, że ktoś się bezrobotny od 12 do 24 miesięcy czy to, że ktoś nie zna języków obcych jak pan, kiedy są co jest istotniejsze jeśli chodzi o potencjalne znalezienie pracy bardzo no właśnie oni ryczeli no za bardzo szlam, a oni wiedzieli, że próbowali domysł nic i te punkty nie były wyznaczane na podstawie analiz danych empirycznych to było nasze odkrycie się pewną pozycję, czego nam najpierw intuicji osób uczestniczących w zespole, który stanowi dużym stopniu urzędnicy urzędów pracy i urzędnicy ministerialni później były one zmieniane pod kątem takiego wskaźnika w kręgach ja nie chcę wchodzić pewnie jakoś bardzo szczegóły, o co chodzi tylko chciałem powiedzieć między, jakie były tego konsekwencje chodzi o to, że ustalono pewien wskaźnik, który miał ocenić czy w ogóle to narzędzie może zostać wypuszczony do użycia czy nie to było właśnie to Alfa Cron Bacha i potem jak im się nie zgadzało i to Alfa było za niskie powinno być wyższe to zmieniali tę punktację i np. wiek wyszła z tego przykładu znajomość języków obcych to było 3× istotniejszym uznać za 3× istotniejszy czynnik niż to czy ktoś jest bezrobotna 12 do 24 miesięcy nawet więcej niż trzykrotnie i ich by ta punktacja w żaden sposób nie odzwierciedla tego, jaką i być jak jest wpływ danego czynnika na sytuację rynku pracy natomiast była zmieniana i dlatego my też tak nazwaliśmy były te dane manipulowane tak punkty Unii zmieniano tyle rasy, a to Fakro ba było na satysfakcjonującym poziomie tego można stwierdzić, że to jest jakiś rodzaj torturowania danych tak w lot jak w konwencji horroru całą kulturę pojęciem względnym to jest to nie jest termin ten termin używany statystyczny artykułach tak chcieliśmy go, bo on oznacza to, że jak naukowiec będzie próbował coś dowieźć i będzie tak długo manipulował danymi to w końcu do wiedzy tak natomiast przy okazji złamie ileż zasad metodologicznych z tego wszystkiego co panie mówią wyłania się obraz tego algorytmu jako czegoś co w zasadzie przypomina pamiętną maszynę, która robi ping sensu życia Monty Pythona może też pamiętają, którzy nas słuchają jeśli nie to odsyłam do tego genialnego filmu tam zaraz na początku pojawia się właśnie taka maszyna, która robi dźwięki to jest niezwykle istotne obiekt w szpitalu pewnym, w którym się cała ta historia rozpoczyna natomiast no trudno stwierdzić co ona ta maszyna właśnie robi poza tym, że robi piękne, że jest bardzo ważna i trochę tak to wygląda, ale jak to się właściwie stało, że coś takiego powstało i że powstało właśnie taki sposób, bo zakładam że, że są jakieś instytucje albo są jakieś osoby, które się zajmują tworzeniem takich narzędzi, że on się znają na tym rozumieją na czym polega wiedzą co się to robi mają jakąś metodologia do tego wszystkiego no jak to właściwie stało, że takie narzędzie w Polsce Anno Domini 2014 zostało w ogóle wdrożona, ale że powstało jak do tego doszło tak o tym będzie jeszcze pisać w szczegółach nie chcę za dużo zdradzić ceny pierwsze pełne takim ogólnym poziomie reportaż śledczy jeszcze czuje jak socjolożka śledczy od jakiegoś czasu tak zdecydowanie nawet szukam szukam takich pojęć wcale nie jest specjalnie używane w ale może je umowa o nową dziedzinę no osób dyscyplina Prostak może dostanę za to punkt Echa dziękuję, ale tak poważniej, jakby kimś takim ogólnym poziomie to odpowiem na to pytanie w ten sposób, że cały, że takie problemy z tworzeniem tego rodzaju algorytmów i z kontrolą jakości polega na tym, że one powstają zakulisowo to znaczy tak jak nam odmówiono dostępu do tych danych Fundacja Panoptykon musiała pójść do sądu, żeby je wygrać na szczęście wygrała byśmy się tego wszystkiego nie wiedzieli nawet nie mielibyśmy wglądu w to narzędzie nie moglibyśmy go przeanalizować nie ma wglądu narzędzie niema wglądu też proces powstawania jego i to na pewno by umożliwia nawet niedostrzeżenie takich błędów tak to z wyjątkowych Izby w ogóle te błędy chwyciliśmy one mogłyby zostać zupełnie przez nikogo niezauważone i tak na takim ogólniejszą poziomie, a co do tego jak to mogło powstać w Polsce to może Marianna odpowie z Aten tylko rąbek tajemnic no tak czy jesteś trochę żeśmy już uchylił rąbka tajemnicy mówiąc trochę o tym jak powstawało narzędzie, ponieważ ono powstawało w taki sposób, że najpierw stworzono właśnie przy udziale urzędników urzędów pracy nie tylko również ministerstwo pracy ten kwestionariusz, który był podstawą zbierania danych, które potem my algorytm mniej w tej czarnej skrzynce i jakie powstały to narzędzie, jakim też powstały pewne założenia związane z tym jak to narzędzie powinno funkcjonować dopiero wówczas zdecydowano na taką kwalifikację tego narzędzia do złożenia tego i tego aparatu matematycznego i teraz cała ta praca taka statystyczna no one się musiał jakoś zmieścić w tych ramach jakoś zmierzyć z tym jak jest kwestionariusz i i to tu był jakiś problem na tej linii po z 1 strony mieliśmy taki trochę proces oparty na doświadczeniu trochę taki zdroworozsądkowy, a z drugiej strony mieliśmy ten aparat matematyczny, który został ułożony i jakby skwantyfikować coś co tak naprawdę na niebyt czy przy czym na początku było planowane jako taki proces certyfikowania czy może bardziej jakościowe, dlatego że trzeba pamiętać, że to jest także urzędnicy też mogli zmienić decyzję algorytm to miało być takie narzędzie doradcze pomagające w pracy na pewno w praktyce niczego nie robili to nie jest jakieś szczególnie zaskakujące tak wyważone, ale taką tendencję do tego, żeby wierzyć narzędziom nie jest takie łatwe żeby, żeby korygować narzędzie, które ma być przecież obiektywnie druga rzecz, która nam się wydaje tutaj bardzo ważna jest to, że to było bardzo pani, że nic nie znaczy to jest także że to by profilowanie było wpisane w całą taką reformę urzędów pracy im, która była bardziej całościowa, ale która no nie być w dużej mierze bezkosztowa, a także tam po prostu był problem, więc zwyczajni i myślę i wydają się, że po też coś miało znaczenie, a proszę powiedzieć czy czy to jest także no nie wiem my o tym w ogóle nie wiemy jeszcze bardzo wiele takich kompletnie dziwacznych źle zaprojektowanych mierzących niczego algorytmów w różnych miejscach nie wiem życia społecznego publicznego w Polsce funkcjonuje jesteśmy właśnie przez różne istotne podmiot, a to państwowe, a to nie państwowe profilowanie właśnie z pomocą czegoś takiego i to się później po prostu odbijane jakiś konkretnych aspektach naszego życia czy to jest jakaś efemeryczna historia jednostkowa i taka wpadka, która stanowi wyjątek od reguły ani reguły raczej mówię o Polsce z tutaj chyba nie ma takiej jednoznacznej odpowiedzi, bo wiemy tylko od niektórych algorytm się są, ale z tymi algorytmami też tak właśnie na ten problem polega, że możemy w ogóle o nich nie wiedzieć, więc tak trochę nie wiemy znamy czubek góry lodowej czy to po prostu dopiero w Polsce wprowadzane wiemy, że jest algorytm, który przydziela sprawy sędziom wiemy, że nie jest profilowanie podatkowe, tak więc Mané z VAT-em chce się wyłudzenia VAT-owskie próbuje też jak wyznaje znajdować te firmy, które są odpowiedzialne za to natomiast tak naprawdę nie wiemy na tym polega ten cały ten cały trik tak, że my właściwie nie mamy pojęcia czy nie jesteśmy przedmiotem oceny, jakie narzędzia matematycznego nie ma przy tym jak i jakości to narzędzie matematyczne jest miejmy nadzieję, że nie takie jak stres pytaliśmy, ale nic nie nie możemy zakładać, że jest E-pit resztek, a w każdym razie ten algorytm, który nam mniej Katarzynie Murawskiej wybiera gości tematy audycji oczywiście robi algorytm fantastycznie wytypował i temat was właśnie, bo ta rozmowa niezwykle ciekawa mam duży niedosyt, więc zapraszam z góry na jakąś kontynuację w nieodległej przyszłości oby jeszcze od algorytm ma więcej pomówić tymczasem bardzo serdecznie za tą rozmowę dziękuję dr Karolina sztandar sztandar ska dziękuję bardzo, dziękuję wartym i dr Marianna Zielińska dziękuję bardzo, bardzo z wydziału socjologii Uniwersytetu Warszawskiego no i te audycje też kończymy Katarzyna Murawska ją wydawała się nazwą Tomasz Stawiszyński wszystkiego dobrego dobrego weekendu zdrowia do usłyszenia Zwiń «

PODCASTY AUDYCJI: MAGAZYN FILOZOFA - TOMASZ STAWISZYŃSKI

Więcej podcastów tej audycji

REKLAMA

POPULARNE

REKLAMA

DOSTĘP PREMIUM

Słuchaj podcastów TOK FM bez reklam. Skorzystaj z 40% rabatu, wybierz pakiet "Aplikacja i WWW" i słuchaj wygodniej z telefonu!

KUP TERAZ

SERWIS INFORMACYJNY

REKLAMA
REKLAMA
REKLAMA