7 секретов нейронных сетей. Или моделирование разума ИИ - стр. 9
6. Софт-скиллы: Кроме технических навыков, нейронщики также должны обладать хорошими коммуникативными навыками. Они должны быть в состоянии эффективно объяснить свою работу непрофессионалам, а также сотрудничать с командами и клиентами.
Это динамичная и быстро развивающаяся область, и нейронщики постоянно обучаются и адаптируются к новым технологиям и методам.
Вознаграждением за эту сложную работу является возможность работать на переднем крае технологического прогресса и внести свой вклад в развитие нашего понимания искусственного интеллекта.
Позволим себе сказать из всего вышесказанного, что, «данные "– это сырье для ИИ, а «датасеты» – это тщательно подготовленные наборы этих данных, созданные профессионалами.
Они играют важную роль в обучении и развитии ИИ, формируя его понимание мира. Как человека формирует его опыт и знания, так и ИИ формируют его датасеты.
Датасеты являются ключевым компонентом в обучении искусственного интеллекта, особенно в обучении с учителем, наиболее распространенной форме машинного обучения о которой мы будем говорить в дальнейших главах.
В этой главе нам нужно понять что такое дата сеты, почему они важны и из чего собираются. Датасеты состоят из большого числа примеров, каждый из которых включает в себя входные данные и соответствующий им ожидаемый результат, или «метку».
Например, в задаче классификации изображений датасет может включать в себя тысячи фотографий собак, каждая из которых помечена как «собака», и тысячи фотографий кошек, каждая из которых помечена как «кошка».
Это самый простой и понятный пример для человека, превращается в трудную задачу для ИИ, как определить что такое кошка и что такое собака человеку, который с рождения был слепым и чудесным образом прозрел.
Для такого человека что такое собака и что такое кошка требует длительного обучения. Простого объяснения что кошка произносит «Мяу», а собака лает явно будет недостаточно.
Примерно такие же процессы обучения происходят и с нейронной сетью. Когда модель нейронной сети обучается на таком датасете, она стремится «уловить» закономерности в входных данных, которые позволяют ей правильно предсказывать метки.
В нашем примере модель учиться распознавать характеристики и признаки на изображениях, которые делают его изображением собаки или кошки.
Больше того, датасеты играют ключевую роль не только в обучении модели, но и в ее оценке. Обычно датасет разделяется на две или три части: обучающую выборку, валидационную (или проверочную) выборку и тестовую выборку.
Модель обучается на обучающей выборке, настраивается с помощью валидационной выборки и проверяется на тестовой выборке. Это позволяет убедиться, что модель обобщает извлеченные из данных закономерности, признаки, а не просто запоминает ответы на конкретные примеры.