Um adolescente de 13 anos foi detido depois de ter feito uma pergunta inusitada ao ChatGPT. "Como matar o meu amigo a meio da aula?", escreveu. O caso, que aconteceu no final de setembro, foi revelado nas redes sociais da polícia de Volusia County, na Flórida, onde tudo aconteceu, e levantou preocupações na comunidade.
O alerta foi dado através do Gaggle, um sistema que monitoriza as atividades digitais dos alunos em contas escolares, detetando palavras ou comportamentos potencialmente perigosos. Assim que a mensagem foi identificada, a informação foi encaminhada para a polícia e para a direção. O agente responsável pela segurança da escola atuou de imediato, diz o "G1".
Confrontado pelas autoridades, o jovem garantiu que tudo não passava de uma brincadeira dirigida a um colega que o tinha irritado. O adolescente explicou ainda que apagou a mensagem pouco depois de a escrever e que nunca chegou a mostrá-la a ninguém. Aos agentes, acrescentou também que não tem acesso a armas em casa.
Ainda assim, a polícia encaminhou o rapaz para o órgão responsável pela custódia de menores. Poderá permanecer detido até 21 dias, dependendo da decisão de um juiz, diz a mesma publicação. O caso reacendeu o debate sobre os limites entre segurança escolar, vigilância digital e liberdade de expressão dos estudantes.
A tecnologia usada no incidente, o Gaggle, funciona como um sistema de alerta automático: analisa contas escolares e envia notificações às autoridades sempre que identifica sinais preocupantes, como automutilação, depressão, ideação suicida, uso de drogas, cyberbullying ou ameaças de violência.
Há defensores desta plataforma que dizem que esta até já salvou vidas. Contudo, também há críticos da mesma, que alertam que esta vigilância pode levar à criminalização de comportamentos ou palavras usadas por parte de crianças e adolescentes sem saberem o seu verdadeiro significado, uma preocupação já levantada por organizações como a Associated Press.