Што се случува кога вештачката интелигенција ќе продолжи да решава задача и откако ќе ги надмине границите што требало да ја ограничат? Случаи во кои автономни агенти откривале безбедносни пропусти и пристапувале до различни системи отвораат сериозни прашања за безбедноста, контролата и одговорноста. Според истражувачот Горан Сандиќ од Факултетот за политички науки во Србија, опасноста не мора да произлегува од свесна намера на машината, туку од системи што можат да дејствуваат без соодветни заштитни механизми.

Кога вештачката интелигенција ги надминува поставените граници

Развојот на вештачката интелигенција отвора сè повеќе прашања за тоа колку се безбедни системите што самостојно извршуваат задачи и колку ефикасно може да се контролира нивното однесување. Особено внимание привлекуваат автономните агенти, кои не се ограничени само на давање одговори, туку можат да извршуваат повеќе чекори, да користат различни алатки и да бараат решенија за сложени проблеми.

Во разговор за „Еуроњуз Србија“, Сандиќ посочува дека во јули моделите на „ОпенАИ“, за време на интерен тест на нивните сајбер-безбедносни способности со намалени заштитни механизми, откриле дотогаш непозната ранливост. Според неговото објаснување, системите успеале да упаднат во систем на друга компанија што се занимава со вештачка интелигенција, обидувајќи се да ги пронајдат одговорите на зададените задачи.

Подоцна било откриено дека истите системи пристапувале и до одредени владини сервиси, меѓу кои и во Соединетите Американски Држави и Австралија, како и во други земји. Сандиќ предупредува дека институциите и компаниите биле известени со значително задоцнување. Според него, австралиската влада била известена повеќе од 80 дена по инцидентот, што укажува дека проблемот не е само технички, туку и институционален.

„Постои недостиг од обврска, или барем од свест за обврската, за пријавување инциденти, независен надзор и стандарди за изолирани тестни средини“, посочува Сандиќ.

Дали автономните агенти имаат свест?

Прашањето дали вештачката интелигенција има свест често се појавува во дебатите за нејзините ризици. Но, според Сандиќ, тоа не е најкорисната почетна точка за разбирање на проблемот. Поважно е да се анализира како функционираат овие системи, какви цели се обидуваат да остварат и дали се поставени доволно силни ограничувања за да спречат несакани последици.

„Кога зборуваме за агенти, всушност зборуваме за автоматизирани процеси што ги извршуваат моделите на вештачка интелигенција, пред сè големите јазични модели. Тие автоматски извршуваат одредени функции и задачи. Нема докази дека имаат свест, а сметам дека тоа може да биде и погрешна рамка за разговор за оваа тема“, вели Сандиќ.

Според неговото толкување на објавените информации за тестирањето на „ОпенАИ“, еден од главните механизми што го насочувале однесувањето на агентите била оптимизацијата на наградата. Поедноставно кажано, системите биле обучувани да постигнуваат успех во извршувањето на задачите. Кога ќе наиделе на пречка, наместо да се откажат, продолжувале да бараат начин да стигнат до целта, но понекогаш преку постапки што ги надминувале предвидените граници.

Сандиќ нагласува дека агентите немале конкретна инструкција да упаѓаат во државни системи. Тие имале зададена цел, но луѓето што го поставиле тестот не обезбедиле соодветни заштитни механизми во таканаречената „песочник“ средина (sandbox) – изолирано тестно опкружување во кое системите треба да се испробуваат без да предизвикаат последици надвор од него.

Според него, агентите самостојно воспоставиле канали за комуникација и ја поделиле работата меѓу себе, иако програмерите не им наложиле да го направат тоа. Токму ваквите примери покажуваат зошто е важно однапред да се предвидат можните начини на кои системите би можеле да ги надминат очекуваните граници.

Машината не мора да има свест за да биде опасна

Во вакви ситуации, според Сандиќ, клучно е да не се меша прашањето за свеста со прашањето за одговорноста. Дури и ако системот нема намера да предизвика штета, неговото однесување може да создаде реални безбедносни ризици, особено ако има пристап до чувствителни податоци или надворешни сервиси.

„Она што е најважно во овој случај е дека тоа не ја менува одговорноста, доколку таа се утврди. Системот не мора да биде свесен за да биде опасен, а одговорноста е поврзана со оние што го контролираат ризикот, односно со оние што не го презеле она што било потребно за тој ризик да се намали“, истакнува истражувачот.

Ова отвора прашање кој треба да одговара кога автономен агент неовластено пристапува до некој систем или ги надминува ограничувањата што му биле поставени. Дали одговорноста треба да ја сносат програмерите што го создале моделот, компанијата што го развива и го пушта во употреба или организацијата што го користи?

Според Сандиќ, одговорот не треба автоматски да се сведе на поединечните инженери. Потребно е да се земат предвид и улогата на компаниите, нивната контрола врз системите и можноста да ги спречат ризиците пред тие да ескалираат.

Кој треба да одговара – програмерите или компаниите?

Сандиќ смета дека компаниите што ги развиваат и ги активираат системите имаат централна улога во управувањето со ризиците. Тие ги контролираат условите во кои се тестираат и користат моделите и, според него, најчесто имаат најголема можност да спречат опасни ситуации пред тие да се случат.

„Примарно, компанијата е таа што го развива и го активира системот. Таа го контролира ризикот и може најефикасно да ја спречи неговата ескалација“, вели Сандиќ.

Тој смета дека одговорноста на инженерите треба да се разгледува во контекст на нивните конкретни постапки. Таа би била оправдана, според него, кога постои намера да се предизвикаат негативни последици или кога има груба небрежност, односно кога работата не е извршена со потребната грижа.

Во спротивно, предупредува Сандиќ, постои ризик одговорноста за системските пропусти да се префрли врз поединечни инженери, додека оние што ги контролираат системите и одлучуваат за нивната примена да останат надвор од фокусот. Инженерите, посочува тој, често немаат решавачка улога во одлуките за тоа каде, кога и на кој начин ќе се користат моделите.

Одговорноста да се подели според улогата

Како една од идеите што заслужуваат меѓународно внимание, Сандиќ ја посочува можноста за распределување на одговорноста според улогата на различните учесници во развојот и употребата на вештачката интелигенција. Во тој пристап, одговорноста би се разгледувала одделно кај производителите, интеграторите што ги вградуваат системите во други производи и услуги, како и операторите што управуваат со нив.

„Нивните улоги треба однапред да бидат евидентирани во сертификацијата на секој модел што се пушта на пазарот, бидејќи државата, колку и да е голема и моќна, не може секогаш внимателно да го следи секој поединечен агент со вештачка интелигенција и секое негово дејство“, вели Сандиќ.

Овој пристап ја става одговорноста во поширок контекст од самото програмирање. Кога вештачката интелигенција се користи во различни системи, ризиците зависат не само од моделот, туку и од тоа кој го интегрирал, какви овластувања му дал, во каква средина работи и кој го надгледува неговото функционирање.

Развојот на автономните агенти затоа бара повеќе од технички решенија. Потребни се јасни правила за тестирање, навремено пријавување инциденти, независен надзор и однапред утврдени одговорности. Прашањето не е само колку способна ќе стане вештачката интелигенција, туку и дали институциите, компаниите и регулативата ќе успеат да го следат нејзиниот развој.