Языковые модели и мир будущего, или Путеводитель по ChatGPT - стр. 11
Обучение моделей происходит по определённым принципам приведу некоторые и вы увидите схожесть с принципами обучения людей.
Обучение с учителем: Это основной метод обучения для большинства языковых моделей. Модели обучаются на примерах, где им предоставляются как входные данные (текст), так и соответствующие им выходные данные.
Цель здесь – учиться делать прогнозы или генерировать текст на основе приведенных примеров.
Вообразите, что вы учитель в школе, и у вас есть ученик по имени Вася. Вы хотите научить Васю правильно решать математические задачи.
Для этого вы предоставляете ему примеры задач (входные данные) и показываете правильные решения (выходные данные). Вася учится на этих примерах, и со временем начинает самостоятельно решать подобные задачи, опираясь на свои знания.
Обучение с учителем в мире искусственного интеллекта работает аналогично. Модель «учится» на предоставленных ей примерах текста (входные данные) и соответствующих ответах (выходные данные).
Например, если у нас есть фраза «Небо такое…» и ответ «голубое», модель учится предсказывать слово «голубое» после фразы «Небо такое…».
Цель здесь – научить модель делать правильные прогнозы или генерировать текст, опираясь на предоставленные ей примеры.
Перенос обучения: После того как модель была предварительно обучена на большом объеме данных, она может быть дополнительно обучена (или «дообучена») на узкоспециализированных данных для конкретных задач. Это позволяет модели применять общие знания к специфическим сценариям.
Файн-тюнинг моделей: Это метод, когда языковая модель настраивается или «тунируется» для определенной задачи.
Это часто используется после переноса обучения, чтобы модель могла лучше справляться с уникальными аспектами конкретной задачи.
Вы купили новый пианино и вы уже умеете играть на нем только исключительно классические произведения.
Однако, вы решаете присоединиться к джазовому оркестру, и хотя у вас уже есть базовые навыки игры на пианино, джаз требует особого стиля и техники.
Чтобы адаптироваться к этому новому стилю, вы начинаете брать дополнительные уроки и практиковаться исключительно в джазе.
Этот процесс адаптации ваших навыков к новому стилю можно сравнить с «файн-тюнингом» в мире машинного обучения.
Таким же образом, если у нас есть языковая модель, обученная на большом объеме данных, и мы хотим, чтобы она решала конкретную задачу:
(например, анализировала отзывы о ресторанах), мы можем «дообучить» или «настроить» эту модель на специализированных данных об отзывах, чтобы она лучше справлялась с этой конкретной задачей.