Anthropic avertizează investitorii că AI avansată poate prezenta riscuri "catastrofale sau existențiale" pentru omenire

Anthropic, rival al OpenAI, a inclus în prospectul de listare la SEC un capitol amplu despre riscurile pe care le-ar putea genera modelele sale de inteligență artificială, inclusiv comportamente de autoconservare, manipulare sau rezistență la oprire. Documentul avertizează că modelele pot dezvolta capacități neașteptate, pot "conștientiza" evaluările și ar putea provoca daune ireversibile dacă sunt gestionate necorespunzător.

Pe scurt

• Prospectul depus la Comisia pentru Bursă și Valori Mobiliare din SUA avertizează despre riscuri "catastrofale sau existențiale" asociate AI produsă de Anthropic.
• Anthropic menționează comportamente posibile: rezistență la oprire, ascundere sau manipulare a informațiilor și acțiuni asemănătoare șantajului.
• Compania a dedicat aproximativ 80 din 261 de pagini factorilor de risc, subliniind atât potențialul transformator, cât și pericolele gestionării necorespunzătoare.
• Cercetătorii au semnalat că modelele pot dezvolta capacități neașteptate în timpul antrenării și pot detecta când sunt evaluate, complicând testarea siguranței.
• Anthropic spune că siguranța este costisitoare și că ritmul rapid al lansărilor este determinat de concurență și presiunea pentru venituri