Путеводитель по изучению ИИ в 2024 году
Абсолютно бесплатное руководство по изучению ИИ, подготовленное для хакеров и программистов
Если Вам понравился этот путеводитель, Вы можете найти меня в Twitter, а также на LinkedIn! Кроме того, я буду очень рад Вас видеть здесь – именно тут каждую неделю я делюсь со своими подписчиками самыми свежими и актуальными новостями.
Итак, Вы хотите разобраться в том, что такое ИИ, но не знаете, с чего начать?
Еще в 2020 году я составил список Top 20 бесплатных массово-открытых онлайн-курсов по изучению Data Science, ML и ИИ. Но затем я понял, что не совсем верно заставлять людей проходить множество различных курсов по одним и те же темам, новички в этих темах просто-напросто потеряются.
Для того чтобы не застрять в теории и научиться работать с ИИ, необходимо много практиковаться, научиться писать алгоритмы с нуля и реализовывать самые разные проекты.
В этой статье я хочу совершенно бесплатно научить Вас основам работы с ИИ, по крайней мере, я очень постараюсь это сделать.
Для начала я вкратце расскажу Вам о том, что представляет собой данный путеводитель, и дам несколько советов по поводу того, как лучше организовать свое обучение, опираясь на информацию, содержащуюся в этой статье.
Подход «сверху-вниз»
Эта статья составлена по принципу "сверху вниз" - сначала код, потом теория…
Мне нравится ситуация, когда возникает какая-либо задача и для того, чтобы решить ее, необходимо научиться чему-то новому. Поэтому, если мне нужно в чем-то разобраться, я буду искать соответствующую информацию, изучать ее, осмысливать, а потом применять ее на практике.
Например, я хочу стать AI –инженером, который хорошо знает, что такое тонкая настройка LLM. Пока эта цель для меня недостижима, поскольку мне не хватает определенных знаний и навыков.
Если Вам интересны другие специализации в области ИИ, в частности, компьютерное зрение или обучение с подкреплением (RL), обязательно напишите мне (Twitter и Linkedin), и я с удовольствием поделюсь с Вами ценной информацией.
Прежде чем приступить к изучению полезных ссылок, запомните две важные вещи:
Учитесь вместе с другими
Объем информации касательно ИИ просто огромен, при этом всегда будет то, чему стоит поучиться - практически каждый день появляются новые революционные идеи и амбициозные проекты.
Самая большая ошибка, которую Вы можете допустить, - это осваивать новую информацию изолированно от других энтузиастов. В этом случае Ваши возможности сильно ограниченны; все, что Вы сможете сказать, это то, что Вы когда-то прошли какой-то обучающий курс (хотя ничего особо из него не вынесли просто потому, что Вы не поняли и трети его содержания) …. Гораздо важнее то, ЧТО Вы вынесли из этой информации, как Вы смогли применить ее на практике. Есть ли что-то такое, чем Вы можете поделиться с другими людьми и сподвигнуть их на выработку новых решений и идей.
Итак, изучайте новую тему совместно с другими людьми.
Вырабатывайте привычку создавать что-то новое:
- Ведите блог или напишите руководство;
- Принимайте участие в общественных хакатонах;
- Задавайте и отвечайте на вопросы в сообществах в Discord;
- Работайте над проектами, которые Вам интересны;
- Делитесь своим опытом и находками в социальных сетях
Кстати, говоря о социальных сетях, в частности, о Twitter,
Если Вы хотите следить за настоящими профессионалами в своей области, то знайте, что Twitter - самая ценная социальная платформа из тех, на которых можно работать.
На кого стоит подписаться - Список, составленный Сухаилом (Suhail).
Как эффективно работать с Twitter - руководство по работе с Twitter .
Пишите посты в Twitter. Будьте искренни, излагайте информацию исключительно по существу, без воды, задавайте конкретные вопросы. Используйте руководство по написанию холодных писем.
Как твинуть в Twitter? Прочитайте «Анатомию Twitter», составленную создателем Instructor, который увеличил число своих подписчиков с 0 до 14 тысяч человек за считанные месяцы.
Если Вы читайте эту статью, не забудьте подписаться на мой аккаунт в Twitter!
Напишите мне в личном сообщении о проектах, над которыми Вы работаете. Я с удовольствием присоединюсь к интересным крутым проектам!
Итак, учитывая вышесказанное, перейдем к делу.
Математика
ML в значительной степени опирается на три столпа математики: линейную алгебру, Сalculus, теорию вероятность и статистику. Каждый из них играет важную роль в обеспечении эффективного функционирования алгоритмов.
- Линейная алгебра: инструментарий для представления данных в виде матриц и векторов, которыми можно легко манипулировать и преобразовывать в средства обработки информации;
- Calculus: двигатель оптимизации, позволяющий алгоритмам ML эффективно обучаться и совершенствоваться;
- Теория вероятности и статистика: основа для принятия решений в условиях неопределенности, позволяющая алгоритмам ML предсказывать результаты.
Исчерпывающая серия статей о математике для ML с точки зрения программиста: Математика для ML (код).
Если Вас интересует подход к линейной алгебре, основанный на коде - Вычислительная линейная алгебра (видео, код) (авторы - основатели fast.ai)
Введение в линейную алгебру для ML c использованием Python.
Если Вам интересен более традиционный подход, обратите свое внимание на лекции Королевского колледжа Лондона, посвященные линейной алгебре.
Посмотрите видео «Основы линейной алгебры» и «Основы Calculus», размещенные на канале Youtube под названием 3Blue1Brown.
Смотрите видео об Основах статистики, размещенное на канале StatQuest.
Дополнительные материалы
- Книга: Математика для ML
- Статья: Calculus матрица, необходимая для глубокого обучения (Deep Learning)
Инструменты
Python
Следующие материалы подготовлены неподражаемым Дэвидом Бизли, автором книги «Python. Книга рецептов»:
- Для новичков: Практическое программирование с Python.
- Если Вы уже знакомы с Python, обратите свое внимание на Продвинутый уровень пользования Python
Также рекомендую посмотреть видео программиста Джеймс Пауэлла
Прочитайте статью Основы проектирования на базе Python.
Дополнительные материалы:
- Книга: Простой Python, 2 издание (код)
- Подкасты: Настоящий Python & Пишем на Python
PyTorch
Посмотрите руководство по PyTorch , подготовленное Алладином Персоном
Информативные веб - публикации, посвященные PyTorch:
Протестируйте свои знания в области PyTorch с помощью srush/Tensor-Puzzles: Собираем пазл. Прокачай свои навыки в области PyTorch
Дополнительные материалы
ML
Прочитайте книгу 100 страниц о ML
Пишем с нуля
Попробуем написать алгоритмы с нуля?
Обратите внимание на следующие репозитории:
Хотите пощекотать себе нервы? Тогда Вам сюда.
Посоревнуемся?
Примените свои знания на практике, участвуя в соревнованиях:
- Примите участие в соревнованиях, проходящих на таких платформах, как bitgrit и Kaggle; прочитайте эту статью.
- Внимательно ознакомьтесь с успешными проектами прошлых лет
Участвуйте в сторонних проектах
Почитайте статью, посвященную ML , написанную Викки Бойкис
Также очень интересно прочитать то, что она пишет о своем опыте, приобретенном в ходе создания Viberary, системы семантического поиска книг.
Получите доступ к набору данных и постройте на их основе свою собственную модель (например, используйте earthaccess).
Создайте пользовательский интерфейс с помощью streamlit и поделитесь с ним на Twitter.
Развертываем построенные модели
Запускайте модели в производство. Узнайте, как контролировать модели, отслеживайте результаты экспериментов и делитесь ими с Вашими единомышленниками.
Ресурсы, которые могут Вам пригодиться:
- Сделано с помощью ML
- DataTalksClub/mlops-zoomcamp: Бесплатный курс по MLOps
- chiphuyen/machine-learning-systems-design
- Evidently AI — проектирование систем ML: 300 примеров
- stas00/ml-engineering: Электронная книга на тему ML
Дополнительные материалы:
- ML с помощью PyTorch и Scikit-Learn (код)
- [1811.12808] Оценка модели, выбор модели, выбор алгоритма в ML
- Введение в ML · MLIB
Глубокое обучение (Deep Learning)
Нравится подход «сверху – вниз»? тогда начните с fast.ai.
Fast.ai
Понравилась fast.ai? Ознакомьтесь с Подробным руководством по Глубокому обучению.
Если Вам нужен более полный и традиционный подход , посмотрите UNIGE 14x050 — Deep Learning, автор Франсуа Флёрэ .
Если в какой-то момент Вам понадобится теория, рекомендую прочитать следующие книги:
- Глубокое погружение в Deep Learning (примеры кода на PyTorch, NumPy/MXNet, JAX и TensorFlow)
- Deep Learning, автор Иан Гудфэллоу, Ешуа Вэнджо и Аарон Конвилл
- Нейронные сети и deep learning
- Что такое Deep Learning (с тетрадями для практических работ )
Прочитайте Маленькую книгу о Глубоком обучении.
Также рекомендую ознакомиться со следующими материалами:
Больше соревнований
- PlantTraits2024 — FGVC11 | Kaggle (компьютерная версия)
Читайте статьи
- labml.ai Annotated PyTorch Paper Implementations
- статьи, размещенные на Papers with Code, в частности, Что такое BERT.
Ниже приведены некоторые ресурсы по различным областям Глубокого обучения
Компьютерное зрение
Многие люди рекомендуют CS231n: Deep Learning , Компьютерное зрение. Материал сложный, но очень полезный! Потратьте на него свое драгоценное время – не пожалеете!
Обучение с подкреплением (RL)
Две отличные публикации на эту тему:
НЛП
- Еще одна замечательная лекция Стэндфордского университета - НЛП и Deep Learning
- Hugging Face, курс по НЛП
Также рекомендую этот репозиторий: Супер-пупер НЛП
Полезные статьи:
- Исследование BERT — Ep. 1 — Ключевые концепции & Источники, Chris McCormick
- Иллюстрированный Word2vec , Jay Alammar
- Иллюстрированный BERT, ELMo и Ко. (Как НЛП взломало трансферное обучение)
- Что такое LSTM - сеть
- PyTorch RNN с нуля , Jake Tae
Дополнительные материалы
Natural Language Processing with Transformers Book
LLM
- Для начала посмотрите видео [1hr Talk] Введение в LLM .
- А затем LLM в пяти формулах
Посмотрите видео «Нейросети: от нуля до героя»
Видео начинается с объяснения и кодирования метода обратного распространения ошибки с нуля и заканчивается написанием GPT.
Neural Networks: Zero To Hero by Andrej Karpathy
Недавно у него вышло еще одно классное видео → Токинезация GPT
Также обратите свое внимание на GPT в 60 строках
Бесплатный LLM boot camp
Обратите внимание на бесплатный курс LLM Bootcamp
Здесь учат оперативному проектированию, LLMOps, UX для LLM, а также тому, как запустить приложение для LLM за час.
Приступим к практическим занятиям …
Строим приложения на базе LLM
- Смотрите видео Разработка приложений с использованием LLM, подготовленное Эндрю Эным
- Прочитайте статью Построение приложений на базе LLM
- А также Шаблоны построения систем и продуктов на базе LLM
- Возьмите «рецепты» из Поваренной книги OpenAI
- Для начала работы используйте шаблоны ИИ от Vercel
Участвуйте в хакатонах
lablab.ai запускает новые хакатоны каждую неделю. Дайте мне знать, если вдруг захотите присоединиться к команде профессионалов!
Если Вы хотите еще больше углубиться в теорию и лучше понять, как все устроено, то:
Читайте статьи
Отменная статья Себастиана Рашка на тему Что такое LLM, в которой он перечисляет все статьи, которые следует прочитать.
Кроме того, совершенно недавно он опубликовал еще одну статью под названием Статьи, которые стоит прочитать в январе 2024 года.
Подписывайтесь на его проект Опережая ИИ
Напишите трансформеры с нуля
Прочитайте обзор Семья трансформеров, версия 2.0.
Выберите тот формат, который больше всего подходит именно Вам.
Статьи:
- Внимание – это все, что Вам нужно
- Проиллюстрированные трансформеры
- Трансформер с аннотациями (Гарвард)
- Думать как Трансформер
Блоги
- Создание трансформера с нуля — часть 1: механизм внимания (часть 2) (код)
- Понимание и кодирование механизма внимания в рамках моделей LLM
- Трансформеры с нуля
Видео
- Кодирование трансформера с нуля с использованием PyTorch: объяснение, обучение и заключение
- НЛП: Реализация BERT и трансформаторов с нуля
Теперь Вы можете создавать трансформаторы с нуля. Но есть еще кое-что ИНТЕРЕСНОЕ:
Посмотрите видео Stanford CS25 — Объединенные трансформеры
Рекомендуемые блоги
- Градиентный спуск в безумие — построение LLM с нуля
- Проиллюстрированный трансформер— Джэй Алламар
- Интуиция касательно механизма внимания и трансформеров
- Ускоряем GPT — кэширование KV | Стань непобедимым
- За пределами механизма внимания: как маленькая LLM предсказывает следующий токен
- Llama с нуля (или как написать документ без слез)
- Совершенствование LoRA: реализация DoRA с нуля
Смотрите видео Umar Jamil
У него есть потрясающие видеоролики с подробным объяснением документов, в которых он кроме всего прочего показывает код:
- LoRA для LLM — наглядное объяснение + написание кода PyTorch с нуля
- Mistral: Метод скользящего окна, разреженная смесь экспертов, Rolling Buffer
- Механизм внимания – все, что Вам нужно — Объяснение модели, обучение
- Объяснение LLaMA: КВ-кэш, ротационное позиционное встраивание, RMS, SwiGLU
- Объяснение RAG: эмбеддинги, BERT, Векторная БД (HNSW)
Еще несколько полезных ссылок, связанных с темой LLM:
Узнайте, как запустить open-source модели
- ollama: Начало работы с Llama 2, Mistral и другими LLM
- Еще одна статья, выпущенная ими же Библиотеки Python & JavaScript
Оперативный инжиниринг
- Прочитайте публикацию Оперативный инжиниринг | журнал Lil
- Оперативный инжиринг ChatGPT для Разработчиков (Иса Фулфорд и Эндрю Ын)
- У DeepLearning.ai также есть несколько коротких курсов, на которые Вы можете записаться совершенно бесплатно.
Тонкая настройка LLM
- Прочитайте гид по Тонкой настройке LLM от Hugging Face .
- Еще один хороший справочник: Тонкая настройка — Путеводитель по генеративному ИИ
- Посмотрите axolotl.
- Вот еще одна хорошая статья: Тонкая настройка модели Mistral-7b с помощью прямой оптимизации предпочтений
RAG
- Отличная статья от Anyscale: Построение приложений LLM на базе RAG
- Полный обзор RAG, автор Аман Чадха
Как оставаться в курсе событий
Беспроигрышное сочетание рассылок + подкастов + Twitter
Статьи – подписывайтесь на AK (@_akhaliq)
Подкасты – самое лучшее из того, что я нашел, это Latent Space от Swyx & Alessio
Присоединяйтесь к их Discord.
У них также есть своя новостная рассылка, Smol Talk, которая предоставляет резюме всех основных материалов, посвященных ИИ.
Еще некоторые рассылки, которые я готов Вам порекомендовать:
- Batch | DeepLearning.AI | Новости и инсайты в области ИИ
- Deep Learning каждую неделю
- Интерконнекторы | Натан Ламбер
- Любопытные факты об ИИ| Сахар Мор
Подробнее читайте здесь.
Другие курсы, источники, материалы которые могут оказаться для Вас полезными
Список далеко не исчерпывающий (да я и не стремился сделать его таков), но все – таки есть в нем обучающие ресурсы, на которые стоит обратить свое внимание:
- openai/syllabus.md
- AI Canon | Andreessen Horowitz
- Обучение ИИ — утилиты LLM
- Окно во вселенную ИИ | Open DeepLearning
- louisfb01/start-llms: Полный гайд по прокачке своих знаний и умений в области ИИ ,2023 год
На написание данной статьи я потратил достаточно много времени. Искренне надеюсь, что все это было не зря, и вся собранная здесь информация обязательно пригодится Вам в процессе изучения ИИ!
Хотите оставаться в курсе событий, тогда обязательно подпишитесь на bitgrit Публикации на тему Data Science !
Хотите обсудить самые последние наработки в области Data Science и ИИ с другими специалистами в области данных? Тогда смело присоединяйтесь к нам!
