Поднимаем BI Apache Superset в 2023 году
гайд с последними обновлениями
Наша среда обитания Superset
- Ubuntu 22.04
- Docker 24.06 и Docker-compose 2.22.0
- Postgres 14 и PgAdmin (ставиться отдельно)
- Redis 7
- Python 3.10 (есть в стандартной сборка Ubuntu 22.04)
- Текстовый редактор Nano (есть в стандартной сборка Ubuntu 22.04)
Сам Superset мы будем ставить https://github.com/apache/superset
Список полезных ссылок
- Сайт Superset с документацией https://superset.apache.org/docs/intro
- Superset релиз 3.0.1 https://github.com/apache/superset
- Документация по Docker https://docs.docker.com
- Docker-файл PgAdmin https://hub.docker.com/r/dpage/pgadmin4
- Подключаем SQL Server https://superset.apache.org/docs/databases/sql-server
- У SS есть облачная версия https://preset.io
Установка docker и docker-compose на Ubuntu
Обновляем существующий список пакетов:
sudo apt update
Устанавливаем пакеты для apt:
sudo apt install apt-transport-https ca-certificates curl software-properties-common
Настраиваем путь репозитория Docker в источники apt:
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu focal stable"
Далее добавим ключ GPG для официального репозитория Docker:
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
Обновляем ещё раз существующий список пакетов:
sudo apt update
Устанавливаем Docker:
sudo apt install docker-ce
Проверим статус Docker:
sudo systemctl status docker
Нам важно active (running)
Загружаем Docker Compose plugin:
sudo apt-get update sudo apt-get install docker-compose-plugin
Применяем разрешения для исполняемого файла к двоичному файлу:
sudo chmod +x /usr/local/bin/docker-compose
Ну и на конец финальная проверка:
docker compose version
Как-то так
Установка Apache Superset
Клонируем проект из github:
git clone https://github.com/apache/superset.git
Переходим в директорию:
cd superset
Переключаемся на ветку нужного релиза ( 2.1.0 - версия постабильней (рекомендована), 3.0.1 - последняя версия)
git checkout 2.1.0
Версию выбираем на своё усмотрение. Проверить статус можно командой git status
Установка редактора Nano (опционально)
Nano есть в стандартной сборке, но если по каким-то причинам его нет, то установим:
sudo apt update sudo apt upgrade sudo apt install nano nano --version
Отредактируем через nano файл docker-compose-non-dev.yml (можно пропустить, если нужна последняя версия 0.0.0 dev ) :
x-superset-image: &superset-image apache/superset:${TAG:-latest-dev}
Меняем на:
x-superset-image: &superset-image apache/superset:2.1.0 (или 3.0.1)
Переходим в папку docker:
cd docker
Открываем важный файл настройки конфигураций superset_config.py
nano superset_config.py
Добавим / Заменим в него текст:
# Superset specific config ROW_LIMIT = 25000 # Flask App Builder configuration # Your App secret key will be used for securely signing the session cookie # and encrypting sensitive information on the database # Make sure you are changing this key for your deployment with a strong key. # Alternatively you can set it with `SUPERSET_SECRET_KEY` environment variable. # You MUST set this for production environments or the server will not refuse # to start and you will see an error in the logs accordingly. SECRET_KEY = 'YOUR_OWN_RANDOM_GENERATED_SECRET_KEY' # The SQLAlchemy connection string to your database backend # This connection defines the path to the database that stores your # superset metadata (slices, connections, tables, dashboards, ...). # Note that the connection information to connect to the datasources # you want to explore are managed directly in the web UI # Flask-WTF flag for CSRF WTF_CSRF_ENABLED = True # Add endpoints that need to be exempt from CSRF protection WTF_CSRF_EXEMPT_LIST = [] # A CSRF token that expires in 1 year WTF_CSRF_TIME_LIMIT = 60 * 60 * 24 * 365 # Set this API key to enable Mapbox visualizations MAPBOX_API_KEY = ''
Тут нам нужно настроить SECRET_KEY = 'YOUR_OWN_RANDOM_GENERATED_SECRET_KEY' - это параметр безопасности, по новым требованиям для успешной установки требуется задать свой уникальный СЕКРЕТНЫЙ КОД.
Генерируем свой уникальный SECRET_KEY:
openssl rand -base64 42
Вставляем результат в параметр выше и будет что-то типа:
SECRET_KEY = 'QWDSAB8DhYr63dBsqfrLTxMzG+Z6FNF1uyrsjaSfFk9yXMqeZ8tlndKia'
Сохраняем наши правки (ctrl + S) и выходим из редактора
Выполняем команды:
sudo docker-compose -f docker-compose-non-dev.yml pull sudo docker-compose -f docker-compose-non-dev.yml up
Если спустя пару минут установка ещё будет не окончена, то можно попробовать прервать установку ....
Проверяем, что всё ок:
docker ps -a
Заходим в браузер и переходим по адресу нашего сервера на порт 8088 ( а может вы настроили другой, 8080 либо другой).
Ура, успех! На скрине нестандартная сборка
Стандартные логин и пароль (их можно задать в файле docker-init.sh перед запуском установки):
Пользователь: admin
Пароль: admin
Позже можно поменять в приложении.
Как быть с БД и СУБД
БД можно подключить на своё усмотрение через настройки на портале BI.
По умолчанию, мы установили БД Postgres на порт 5432, для использования её нужно подключить через настройки на портале BI.
Если нужна СУБД, то подойдёт PgAdmin, её Docker-файл можно найти на https://hub.docker.com/r/dpage/pgadmin4
Если нужен будет коннект к Mssql, то потребуется доп.драйвер и залезть в докер-файл SS:
Введём команду, чтобы увидеть список запущенных контейнеров:
docker ps
Найдём номер нужного нам контейнер superset_app и зайдём в этот контейнер:
sudo docker exec -it <номер_нашего_контейнера> bash
Там установим нужный драйвер и выйдем из контейнера(ctrl + z):
sudo apt update sudo apt upgrade pip install -U pip pip install pymssql
Автор: kracko23
