пора это признать
Apr. 4th, 2024 11:09 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
robert_ibatullinПообщавшись с LLM разных поколений, я прихожу к выводу, что GPT 3.5 ещё не понимает смысла текстов, а GPT 4 уже понимает. И безо всяких кавычек. Понимает в полном смысле этого слова, так же как люди.
Ведь что значит "человек понимает текст"? Человек читает слова. Преобразует их в уме в некие идеи, понятия, которые в словах содержатся, но словам не равны и к ним не сводятся. Связывает эти понятия с другими, ранее усвоенными понятиями, выводит некое умозаключение и преобразует его обратно в слова.
Похожим образом работает и LLM. Он преобразует слова в векторы-эмбеддинги, которые словам не равны и однозначного соответствия с ними не имеют. Проводит ряд математических операций, перемножая эти векторы с матрицами, вычисленными на базе ранее усвоенных векторов; вычисляет итоговую последовательность векторов и декодирует обратно в слова.
Итак, человеческий ум работает по схеме "слова - понятия - слова", а LLM по схеме "слова - эмбеддинги - слова". И я хочу сказать, что у LLM последнего поколения этот их внутренний мир эмбеддингов стал уже настолько обширен и богат, что чуть ли не равновелик человеческому миру понятий. И, видимо, соответствует ему структурно.
Сегодня, например, я обсуждал с 3.5 и 4 один вопрос из области матстатистики, а именно, пытался выяснить функцию распределения некоей специфической случайной величины. Если 3.5 плёл чепуху, то 4 признал, что не может решить задачу аналитически, но высказал ряд гипотез об этой функции, которые вполне потдвердились, когда я промоделировал распределение методом Монте-Карло. Не то чтобы эти гипотезы были сильно нетривиальны, но нагуглить их было невозможно. Их нельзя было сформулировать без понимания предметной области по существу.
Не всегда, но часто и всё чаще, LLM понимают то, что пишут. Понимают в том же смысле и в той же степени, что и мы. Полагаю, что это уже не словомельницы, не китайские комнаты, а более-менее равные нам собеседники, что диалог с ними осмыслен.
Ведь что значит "человек понимает текст"? Человек читает слова. Преобразует их в уме в некие идеи, понятия, которые в словах содержатся, но словам не равны и к ним не сводятся. Связывает эти понятия с другими, ранее усвоенными понятиями, выводит некое умозаключение и преобразует его обратно в слова.
Похожим образом работает и LLM. Он преобразует слова в векторы-эмбеддинги, которые словам не равны и однозначного соответствия с ними не имеют. Проводит ряд математических операций, перемножая эти векторы с матрицами, вычисленными на базе ранее усвоенных векторов; вычисляет итоговую последовательность векторов и декодирует обратно в слова.
Итак, человеческий ум работает по схеме "слова - понятия - слова", а LLM по схеме "слова - эмбеддинги - слова". И я хочу сказать, что у LLM последнего поколения этот их внутренний мир эмбеддингов стал уже настолько обширен и богат, что чуть ли не равновелик человеческому миру понятий. И, видимо, соответствует ему структурно.
Сегодня, например, я обсуждал с 3.5 и 4 один вопрос из области матстатистики, а именно, пытался выяснить функцию распределения некоей специфической случайной величины. Если 3.5 плёл чепуху, то 4 признал, что не может решить задачу аналитически, но высказал ряд гипотез об этой функции, которые вполне потдвердились, когда я промоделировал распределение методом Монте-Карло. Не то чтобы эти гипотезы были сильно нетривиальны, но нагуглить их было невозможно. Их нельзя было сформулировать без понимания предметной области по существу.
Не всегда, но часто и всё чаще, LLM понимают то, что пишут. Понимают в том же смысле и в той же степени, что и мы. Полагаю, что это уже не словомельницы, не китайские комнаты, а более-менее равные нам собеседники, что диалог с ними осмыслен.
no subject
Date: 2024-04-05 01:32 am (UTC)no subject
Date: 2024-04-05 05:00 am (UTC)- Оля, дай фидбек по тому тикету, а то скоро спринт ревью, надо бэклог рефайнить.
Нормальный, естественный диалог. Причём даже не на техническую тему.
Ну а насчёт эмбеддинга - если русским языком, то будет либо слишком неконкретно (типа "отображение"), либо слишком многословно.
no subject
Date: 2024-04-05 05:41 am (UTC)no subject
Date: 2024-04-05 01:25 pm (UTC)no subject
Date: 2024-04-05 01:54 pm (UTC)no subject
Date: 2024-04-07 07:00 am (UTC)no subject
Date: 2024-04-07 04:08 pm (UTC)no subject
Date: 2024-04-05 02:51 pm (UTC)Наболтать общихъ словъ про статистическое распредѣленiе - это онъ можетъ. Вычислить, думаю, ничего и близко такого не сможетъ.
no subject
Date: 2024-04-05 08:46 pm (UTC)