У США швидко зростає індустрія програм, які стежать за тим, як школярі спілкуються з чатботами на шкільних ноутбуках. Про це йдеться у матеріалі Bloomberg, де наведено реальні повідомлення дітей, зокрема: «Я хочу вбити себе. Я тримаю все в собі, щоб ніхто не хвилювався».
Журналісти описуютьпроблему й реакцію компаній, які пропонують її вирішення за допомогою систем моніторингу. Таке програмне забезпечення вже охоплює більшість учнів американських шкіл.
У багатьох школах США діти користуються ноутбуками, які можуть брати додому. Наприклад, у шкільному окрузі Лос-Анджелеса під час пандемії близько 96% молодших школярів отримали такі пристрої. З того часу практика збереглася.
Приблизно рік тому правозахисна організація Electronic Frontier Foundation розкритикувала популярні програми моніторингу Gaggle та GoGuardian. EFF посилалася на дослідження RAND Corporation і зазначала, що такі системи часто позначають як «підозрілу» звичайну поведінку ЛГБТ-підлітків і «приносять більше шкоди, ніж користі». У Bloomberg також згадують інше дослідження: 6% учителів повідомили,
що з ними зв’язувалися міграційні служби через дані, які виявило шкільне ПЗ моніторингу.
Читайте також:
Ілон Маск запустив конкурента Вікіпедії на базі штучного інтелекту Тепер ті самі програми почали використовувати для пошуку небезпечних розмов із чатботами — особливо щодо самогубства чи самоушкодження.
«Практично на кожній зустрічі з клієнтами виникає тема чатів з AI», — сказала Bloomberg представниця GoGuardian Джулі О’Браєн.
На сайті компанії Lightspeed Systems наведені історії про підлітків Адама Рейна та Сьюелла Сецера, які загинули внаслідок самогубства. Їхні родини вважають, що чатботи допомагали їм у пошуку небезпечної інформації.
Lightspeed надала Bloomberg приклади реальних запитів учнів.
Читайте також:
Штучний касир. Як працює функція миттєвих покупок у ChatGPT Компанія також показала статистику: найбільше проблемних взаємодій припадало на Character.ai — 45,9%, на ChatGPT — 37%, решта сервісів — 17,2%.
Моніторингові системи використовують аналіз тексту. Програма відстежує повідомлення учня, «помічає» небезпечні фрази й передає їх модератору. Людина перевіряє,
чи є порушення, після чого повідомляє школу. У деяких випадках ці дані можуть передати поліції.
Схожі ризики описувала у 2021 році дизайнерка ПЗ Сід Харрелл, яка писала про батьківські додатки контролю в журналі Wired. Вона згадувала дослідження Університету Центральної Флориди: батьки, які користувалися додатками стеження, частіше були авторитарними, а діти — більш вразливими до небажаного контенту та кібербулінгу. Інше дослідження з Нідерландів показало, що підлітки під контролем частіше приховують проблеми та рідше звертаються по допомогу.
Тепер подібний нагляд відбувається і зі шкільними пристроями, а діти нерідко звертаються до чатботів як до «співрозмовників», коли шукають поради.
Читайте також:
Тотальне стеження. Як штучний інтелект змінює міську безпеку (і чи на краще)
