BI Consult Desktop Logo BI Consult Mobile Logo
  • Russian BI Исследование российских bi
  • Перейти на Fine BI
  • Контакты
  • +7 812 334-08-01
    +7 499 608-13-06
  • Отправить сообщение
  • Главная
  • Продукты Эксперт-BI
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • E-Commerce
    • Сельское хозяйство
    • Энергетика
    • FMCG
    • Девелоперы
    • Маркетплейсы
    • Пищевая промышленность
    • Фармацевтика
    • Построение Data Platform
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и FP&A
    • Геоаналитика
    • Цепочки поставок (SCM)
    • AutoML
    • Process Mining
    • IBP
    • ИТ (CIO)
    • Закупки
  • Платформы
    • Системы бизнес-анализа (BI)
    • Интегрированное бизнес-планирование (IBP)
    • Хранилища данных (DWH / Lakehouse)
    • Каталоги данных (Data Catalog)
    • Системы ETL и ELT
    • AI / Исскуственный интеллект
    • Шина данных (ESB)
    • Система управления мастер-данными (MDM)
    • Семантический слой
  • Услуги
    • Переход на отечественные BI и DWH системы
    • Консалтинг
    • Пилотный проект
    • Обучение и сертификация
    • Бесплатное обучение
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • CI/CD для DWH
    • Аудит BI приложений и DWH
    • Выделенная команда
    • Настойка и поддержка баз данных
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс для бизнес-аналитиков
    • Учебный курс для системных аналитиков
    • Учебный курс по Data Governance
    • Учебный курс Как стать CDO
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс по Fine BI
    • Учебный курс по FineReport
    • Учебный курс по DWH
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс по PostgreSQL
    • Учебный курс по Greenplum
    • Учебный курс по Apache Airflow и NiFi
    • Учебный курс по Open-source BI
    • Учебный курс по ClickHouse
    • Учебный курс по DataLens
    • Учебный курс по Loginom
    • Учебный курс по Modus BI и ETL
    • Учебный курс по Visiology
    • Учебный курс по dbt (Data Build Tool)
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

BI

  • FineBI
  • FineReport
  • FineDataLink
  • FineChatBI (FineAI)
  • Коннекторы данных из 1С в BI
  • Airflow / Nifi
  • Visiology
  • PIX BI
  • Modus BI
  • Yandex.DataLens
  • Open-source BI: Superset/Metabase
  • Luxms BI
  • AW BI + Alpha BI
  • FlyBI + Форсайт. Аналитическая Платформа
  • Loginom
  • Триафлай
  • AI / Исскуственный интеллект
  • Optimacros
  • Навигатор BI
  • Семантический слой

СУБД

  • Arenadata
  • ClickHouse
  • Greenplum
  • Postgres Professional
  • TData

Другое

  • Построение Data Platform
    • Аналитическое хранилище данных
    • Data Lake и Data Engineering
    • Подробнее про Data Lake
    • Внедрение Lakehouse
      • Apache Doris
      • StarRocks
      • Trino
    • Миграция витрин из пропиетарных DWH на новый стек
    • Учебный курс "Современная архитектура хранилища данных"
Главная » Курсы по системам бизнес-анализа и методологии » Учебный курс по MLOps и Data Science (ML, AI) » Нейронные сети в машинном обучении

Нейронные сети в машинном обучении

Как птицы вдохновляли людей на создание самолета, так же и человеческий мозг вдохновлял на создание интеллектуальных машин. Нейронные сети были вдохновлены биологическими нейронами, обнаруженными в мозгу человека. В этой статье я познакомлю вас с реализацией нейронных сетей с использованием Python.

 

Нейронные сети

Нейронная сеть – важнейшее понятие в глубоком обучении, которое является подмножеством машинного обучения. Нейронные сети были вдохновлены биологическими нейронами, обнаруженными в мозгу человека. Можно думать о нейронной сети как об алгоритме машинного обучения, который работает так же, как человеческий мозг.

Вы, должно быть, думаете, почему же мы не используем нейронные сети всегда. Причина в том, что нейронной сети требуется огромное количество данных. Поскольку теперь все бизнесы осознали важность данных, у нас есть достаточно данных для обучения нейронной сети. Нейронная сеть может легко превзойти любой алгоритм машинного обучения при работе с очень большим набором данных.

 

Нейронные сети с использованием Python

Надеюсь, теперь вы понимаете, что такое нейронная сеть и почему мы предпочитаем использовать ее, а не другие алгоритмы машинного обучения при работе с огромными наборами данных. Чтобы понять, как работает нейронная сеть, давайте обучим ее с помощью Python. При обучении нейронных сетей на огромном наборе данных у вас должна быть система, совместимая с графическим процессором, в противном случае для запуска вашего кода потребуются часы. Если у вас нет компьютера, совместимого с графическим процессором, вы можете использовать Google Colab.

Теперь давайте посмотрим, как обучить модель классификации с помощью нейронных сетей с использованием Python. Я начну с импорта необходимых библиотек Python и набора данных:

 

import tensorflow as tf
from tensorflow import keras
fashion_mnist = keras.datasets.fashion_mnist
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

 

Здесь я использую набор данных Fashion MNIST, не очень большой, но достаточно хороший для обучения нейронной сети. Теперь давайте разделим данные:

 

x_valid, x_train = x_train[:5000]/255.0, x_train[5000:]/255.0
y_valid, y_train = y_train[:5000], y_train[5000:]

 

Набор данных Fashion MNIST аналогичен набору данных MNIST digits, но, чтобы понять, с чем мы имеем дело, нам нужно создать список Python имен классов в наборе данных:

 

classes = ["T-shirt/top", "Trouser", "Pullover",
            "Dress", "Coat", "Sandal", "Shirt",
            "Sneaker", "Bag", "Ankle boot"]

 

Теперь давайте создадим модель нейронной сети:

 

model = keras.models.Sequential([
     keras.layers.Flatten(input_shape=[28, 28]),
     keras.layers.Dense(300, activation="relu"),
     keras.layers.Dense(100, activation="relu"),
     keras.layers.Dense(10, activation="softmax")
])

 

Теперь давайте посмотрим на сводку модели, которая просто означает отображение каждого слоя модели:

 

print(model.summary())

 

Результат:

Model: "sequential"

______________________________________________

Layer (type)                 Output Shape              Param #

===========================================

flatten (Flatten)            (None, 784)               0

_____________________________________________

dense (Dense)                (None, 300)               235500

_____________________________________________

dense_1 (Dense)              (None, 100)               30100

_____________________________________________

dense_2 (Dense)              (None, 10)                1010

============================================

Total params: 266,610

Trainable params: 266,610

Non-trainable params: 0

 

После создания модели следующим шагом будет ее компиляция. Вот как можно скомпилировать вашу модель:

 

model.compile(loss="sparse_categorical_crossentropy",
optimizer="sgd", metrics=["accuracy"])

 

Теперь последний шаг – обучить модель, что означает подгонку данных в нейронную сеть:

 

history = model.fit(x_train, y_train,
epochs=30, validation_data=(x_valid, y_valid))

 

Теперь давайте посмотрим на производительность модели и протестируем ее на тестовом наборе:

 

import pandas as pd
import matplotlib.pyplot as plt
pd.DataFrame(history.history).plot(figsize=(12, 8))
 plt.grid(True)
 plt.gca().set_ylim(0, 1)
 plt.legend()
 plt.show()

 

 

 

 import numpy as np
 x_new = x_test[:3]
 y_pred = model.predict_classes(x_new)
 print(y_pred)
 print(np.array(classes)[y_pred])

 

Результат:

 [9 2 1]

['Ankle boot' 'Pullover' 'Trouser']

 

Резюме

Вот как можно обучить нейронную сеть с помощью Python. В этой статье я обучил модель нейронной сети задаче классификации на наборе данных Fashion MNIST. Надеюсь, вам понравилась эта статья о реализации нейронных сетей с использованием Python.

 

Узнать стоимость решенияЗапросить видео презентацию

← Предыдущая статья
Факторизация неотрицательных матриц в машинном обучении
Следующая статья →
PyCaret в машинном обучении

 

Внедряем AI в бизнес-процессы крупных компаний
От стратегии и инфраструктуры до AI-агентов, интеграций и промышленной эксплуатации.

Подробнее об AI-решениях

 

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты
  • АО «Новосибирскэнергосбыт» является единственным гарантирующим поставщиком электроэнергии на территории г. Новосибирска и Новосибирской области. Предприятие отвечает за электроснабжение клиентов, закупая электроэнергию на оптовом рынке, регулируя поставку электроэнергии через договорные отношения с сетевыми организациями.

  • Российский филиал одного их ведущих мировых производителей и дистрибьютеров косметики Estee Lauder Companies Inc. выбрал аналитическую платформу Loginom для предиктивной аналитики продаж как в офлайн-, так и в онлайн-канале.

  • Русклимат
    Русклимат — международный торгово-производственный холдинг, концентрирующий опыт ведущих мировых производителей индустрии климата, мощный потенциал конструкторских бюро и лабораторий индустриального дизайна.
     
    Компания образована в 1996 году. За более чем двадцатилетнюю историю Русклимат прошел путь от локальной компании до мощной вертикально-интегрированной многопрофильной структуры.
     
  • Novikov group – первый российский ресторанный холдинг, основанный в 1991 году. Это команда профессионалов под управлением Аркадия Новикова, реализующая широкий спектр услуг в сфере гостеприимства: от проведения event-мероприятия до управления рестораном, от установления стандартов сервиса до контроля качества готовой продукции, от построения бизнес-плана проекта до реализации франшизы.

  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • E-Commerce
    • Энергетика
    • Фармацевтика
  • Услуги
    • Переход на отечественные BI и DWH
    • Консалтинг
    • Пилотный проект
    • Обучение и сертификация
    • Бесплатное обучение
    • Техническая поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • CI/CD для DWH
    • Аудит BI приложений
    • Выделенная команда
    • Настойка и поддержка баз данных
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Платформы
    • FineBI
    • FineReport
    • FineDataLink
    • Коннекторы данных из 1С в BI
    • Airflow + NiFi
    • Visiology
    • Luxms BI
    • Modus BI
    • PIX BI
    • Arenadata
    • ClickHouse
    • Greenplum
    • Postgres Professional
    • Open-source BI: Superset/Metabase
    • Loginom
    • Yandex.DataLens
    • AI / Исскуственный интеллект
    • Optimacros
    • Шины данных
  • Курсы
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс для системных аналитиков
    • Учебный курс по Data Governance
    • Учебный курс Как стать CDO
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс по Fine BI
    • Учебный курс по FineReport
    • Учебный курс по DWH
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс по PostgreSQL
    • Учебный курс по Apache Airflow и NiFi
    • Учебный курс по Open-source BI
    • Учебный курс по ClickHouse
    • Учебный курс по DataLens
    • Учебный курс по Loginom
    • Учебный курс по Modus BI и ETL
    • Учебный курс по Visiology
    • Учебный курс по dbt
  • Функциональные решения
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • AutoML
    • Process Mining
    • Сквозная аналитика
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
    • Политика конфиденциальности
RutubeVkontakteLinkedInYouTube
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru

 

 

 

 

 

×

Пользуясь сайтом, вы соглашаетесь с использованием cookies и политикой конфиденциальности.