Нейронки: эволюция или коллапс?
Наткнулся на статью с интересным опытом, что будет если нейросети обучать на ее данных? спойлер: нейронки деградируют. Возможно вы тоже слышали, что для обучения новых GPT не хватает настоящих человеческих текстов, и поэтому уже проводили эксперимент и скармливали сгенерённые тексты (нейроканнибализм или тут другие продукты, на выходе?). В общем какой результат - модель отупела, и развитие в таком направлении явно не пойдёт. Вместо этого, похоже, развитие пойдет через глубокое изучение вводных, долгие «раздумья, "самопроверяющееся" ответы.
В целом, параллели можно провести и в нашем мире: наш вид сначала обогащался за счёт соседей, развивался, эволюционировал становился разнообразнее, а потом все стало – усреднённо, шаблонно, однотипно и упрощённо, так например работает теория смешанных рас, когда различий не остается и все мы немножчко все))).
Или например интерфейсы – какое разнообразие было вначале, даже когда были высокие графические ограничения, а сейчас всё начинает сливаться в какую-то общую массу и переиспользование паттернов.
Что также из этого следует, что за счет высокой скорости развития нейросетей: один из вариантов, что после гигантского скачка неизбежно последует гигантское схлопывание, то есть настоящий коллапс.
Мы не получим супер разумную машину, мы получим биполярный разум который просто отравится своими данными и на все вопросы будет отвечать 42.
Такие вот мысли перед сном. За статью спасибо Денису.
🔗 Читаем материал полностью можно тут: https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html
#e_text
🔗 Пишу о полезном: снятся ли Егору нейросети
🔗 И о личном: Предпоследняя нервная клетка
