Подключения к источникам и ролевые модели в DataLens

В DataLens аналитика начинается с подключений к источникам данных: Яндекс Метрике, ClickHouse, базам данных, файлам и другим системам. На практике вопросы быстро выходят за рамки “как подключиться”: нужно объединять данные из разных источников, считать конверсии, настраивать доступы, роли и права пользователей.

В этом разделе собраны вопросы по подключениям и ролевым моделям DataLens: как связать Метрику с базой заявок, по каким полям объединять данные, что учитывать при работе с ClickHouse в Yandex Cloud и как подходить к настройке прав доступа для пользователей и команд.

Что внутри:

подключение DataLens к источникам данных;
объединение Яндекс Метрики и базы заявок;
расчет конверсии из посетителей в заявки;
использование UTM-меток и сквозного ID для связки данных;
работа с ClickHouse в Yandex Cloud;
причины остановки сервера в облаке;
ролевые модели DataLens;
настройка доступов и прав пользователей.

Подключения к источникам
Ролевые модели

Подключения к источникам

Есть 2 датасета: подключение Яндекс Метрики и БД проекта, в котором хранятся заявки

Задача: собрать конверсию из посетителей (по яндекс метрике) в заявку (по колонке в БД)

Вопрос: есть ли способы, чтобы такое провернуть?

Ну а дальше продумать, по какому полю вы их будете собирать. Например, база с заявками содержит utm метки. Или какой-нибудь сквозной ID, который присваивается посетителю с момента посещения сайта до формирования заявки. И сжойнить одну базу с другой по этому полю. Ну и дальше добавить полей с расчетами конверсий по формулам. "

Коллеги, а можете подсказать почему такое может быть, сервер в Яндекс Cloud постоянно выключается.

Нагрузки нет, сервер под ClickHouse базу.

Например, если только доля процессора. Или если квоты по диску на пределе.

Здравствуйте!

А я правильно понимаю, что яндекс.таблицы нет возможности подключить по аналогии с гугл?

Правильно

Коллеги, выгрузка LogsAPI и данные в метрике чуть не совпадают. Может кто подскажет, что сделать чтобы один в один визиты сошлись с отчетом по умолчанию? Не нахожу в поиске.

данные метрики постоянно чистятся, и день в день и через день и через неделю возможны корректировки выгружая вы берете некий срез можете пытаться перевыгружать, но в целом овчинка выделки не стоит

Подскажите, пожалуйста, как подключить гугл адс, адс менеджер, майтаргет и линкедин к Яндекс дата ленс? выгрузить из них данные в базу и подключить ДЛ к базе тем более что вы все равно захотите обрабатывать данные вместе

Привет всем! Можно ли в даталенс посчитать расстояние между двумя координатами?

В кликхаусе есть встроенные функции

я получил этот cos(d), а как мне из него теперь вытащить d?

арккосинус (в радианах) помножить на радиус шара же.

всем привет. правильно я понимаю эту формулировку?

если на уровне датасета сделать фильтрацию, то ко всем уже созданным чартам она не применится, а пременится только к новым? Если все так, то есть ли другой способ приминить фильтрацию по полю датасета, чтобы она сработала сразу для всех уже существующих чартов дашборда?

да, это просто фильтр который будет добавляться к каждому новому чарту, его можгно будет и убрать сделать ее на стороне базы

Добрый день, коллеги! Помогите, пожалуйста, как посчитать сколько строк в датасете? (знаю, что есть COUNT(), но я не знаю как применить). Можно использовать функцию COUNT() с указанием какого-либо полностью заполненного столбца в датасете. Например, COUNT([OrderID]). Функция вернёт количество значений из этого столбца, что будет равно количеству строк.

Коллеги, кто-нибудь решал задачу - получить данные из notion.so в datalens? Первое что приходит в голову: нотион -> Гугл таблицы -> даталенс

Добрый день! Подскажите, пожалуйста, могу ли я создать параметр на уровне датасета и использовать его в SQL запросе, который формирует данный датасет? В дальнейшем хочу менять значение параметра в селекторе на дашборде, чтобы менять диапазон выборки в датасете

Параметры могут быть увидены только в sql - запросах в QL-чартах. Обратно в датасет их не закинуть https://cloud.yandex.ru/docs/datalens/operations/chart/create-sql-chart

Добрый вечер.

Отвалилось подключение к Google sheets.

Раньше всё работало.

Сейчас техподдержка разбирается.

Подскажите, по опыту, насколько надёжно использовать Google sheets как источник данных?

Текущая неделя - это имелась ввиду неделя выбранная в селекторе на дашборде. У меня для текущих правильно работает просто COUNTD([ClientID])

Есть какое-нибудь решение, например, дублировать данные из Google sheets в БД какую-нибудь?

У нас основные данные и расчёты в Google sheets.

Давно пора все в БД переносить

Есть что-нибудь, что умеет автоматически из шитов в БД переносить и какую лучше БД выбрать для замены шитов?

это большая работа, смотря от куда у вас берутся данные , сколько их и тд Скриптом данные пишутся в шиты.

Нам удобно править математику в щитах, пока по крайней мере.

Алгоритмы ещё не отработаны.

Есть файлик csv, в нем таблица, полученная после «сохранить как csv» эксельки с запросом powerquery. В нем данные: строчные значения, целые числа и даты. Даты в формате 29-12-22, то есть день, месяц, год. Подключила csv в datalens, застряла на этапе датасета. Даты он определяет как строки, при изменении типа поля просто все даты пропадают. Что я делаю не так? Возможно как-то по другому нужно сформировать csv? Или в datalens как-то ему объяснить формат даты?

Даты надо в формате yyyy-mm-dd

Подскажите, пожалуйста, что должно быть в поле «Путь к базе данных» при подключении к MS SQL Server? В доках и видео в интнете кака-то старая видимо форма для подключения

Название, например, Production

Ребята, привет. Нет информации, появилась у YDL встройка в Битрикс24 или нет?

есть только встройка чартов

Ребята, подскажите инструменты экспорта БД MySQL в ClickHouse?

если все в облаке Яндекса то есть сервис трансфера

еще КХ кажется умеет напрямую брать данные из MySQL

Сам не делал, но примеры вроде попадалис

если это так, то это простой запрос insert as select

если не нужен реалтайм а устраивает некая регулярность то я бы шел вторым путем

Коллеги, подскажите. Если есть два источника данных:

- файл в гугл докс и

- выгрузка из Метрики

И нужно подсчитать показатель, делением цифры из гугл докс на цифру из выгрузки Метрики

Вообще это возможно? Или всё нужно импортировать в CH и только из одного источника всё считать?

все нужно собрать в одном месте

Ребята, привет. по интеграции с Битрикс24. Есть возможность выгружать с портала кастомные поля?

Реализуется или собственной кастомной выгрузкой по rest api или внешними коннекторами

Какие коннекторы можете порекомендовать? И были ли опыт с выгрузкой данных по смарт-процессам. Есть ли коннекторы, которые это умеют?

Есть наше решение. Сейчас выгрузка идет из Б24 в MySQL "инкрементально"

Ребята, привет. Вопрос по интеграции с Битрикс24. Есть возможность выгружать с портала кастомные поля?

Есть готовый коннектор mybi он перегружает данные из б24 в postgresql, но сервис платный. Я использую его, полет нормальный.

Добрый день!

Подскажите, пожалуйста, можно ли связать два датасета:

- Яндекс Метрика visits

- Яндекс Метрика hits,

Чтобы получить такую таблицу:

- страница входа (есть в visits),

- заголовок страницы (есть в hits)?

В базе - да :)

Коллеги, у меня табличка в постгре 72GB, но она никак не прогружается в Даталензе - ставил и фильтры на дату событий, остальные фильтры даже не прогружается. Сам запрос в базу идет очень долго. Подскажите, это скорее всего проблема с мощностями БД?

для построения графика нужны цифра и цифра

на одном графике можно увидеть несколько сотен точек, то есть цифр и цифр

на все про все хватит килобайтиков

Что же такого, а главное зачем вы пытаетесь втянуть в ДЛ более того, для посроения датасета запрашивается всего 1 строка

для пресью 100 какие блобы в них надо напихать чтобы … но если вы желаете в виде таблицы вывести свои 72Гб, то это странное желание конечно же не выполнится )) "

Все привет! А можно сделать так, что бы datalens при открытии дашборда пользователем не обновлял данные, а работал только через автообновление данных? То есть условно если данные обновляются раз в час (например обновились в 11 часов) и когда пользователя зашел в 11:30 то данные были теже что и в 11

нет

Всем привет. Помогите понять что за ошибка и что от меня хотят? Гуглинг не помог(( При заливке данных в кликхаус выдает вот такую ошибку TypeError: Unsupported column type: <class 'pandas.core.arrays.string_.StringArray'>. ndarray/DatetimeIndex is expected.

Яндексить же надо.

https://telq.org/question/634cf90fdb6ef1bbcbe32c51https://telq.org/quest...

планируется ли добавить Trino в качестве источника На источнике таймаут запроса до 60 минут

на данный момент такой возможности нет

оптимизируйте выдачу на стороне БД

Добрый день! Хотел бы узнать, будет ли в будущем возможность использовать 2 подключенные реплики на одном графике и возможность провести простую операцию с итоговыми значениями из обоих реплик?

Для примера могу привести Grafana, где есть инструменты Mixed и Transform.

Ничего нельзя исключать, но в текущей парадигме это если и возможно то очень не скоро

Здравствуйте, как заменить подключение в датасете, чтоб не сломались дашборды? Требуется заменить CSV на File(CSV). Заменили в датасете, сломались дашборды и чарты

Безболезненно не получится. Советуем сделать дубликаты чартов и дашбордов, заменить подключение, позволить чартам сломаться, и затем починить. Если не поможет, то создайте обращение в поддержку.

Здравствуйте! А как можно запараметризовать SQL - запрос в описании датасета через SQL-запрос к источнику? чтоб параметр передавался из какого-нибудь селектора?

есть такая возможность?

вопрос вот про это:

https://cloud.yandex.ru/docs/datalens/operations/dataset/add-data

https://cloud.yandex.ru/docs/datalens/operations/chart/create-sql-chart

Добрый день. Подскажите пожалуйста, что можно сделать, если возникает ошибка источника. Ошибка: Ошибка загрузки данных

{

""kiiwc97o8le4a_result"": {

""code"": ""ERR.DS_API.DB"",

""status"": 400,

""sourceType"": ""bi_datasets"",

""message"": ""Database error."",

""details"": {

""db_message"": ""connection was closed in the middle of operation"",

""query"": ""SELECT sum(t1.effectivnaya_doza_fact) AS res_0\nFROM \""iao-database\"".public.dozovaya_nagruzka AS t1\nWHERE t1.podtip_issledovaniya IN ($1)\nLIMIT $2::integer ['Рентгенэндоваскулярное вмешательство', 1000001]""

}

""Error: Request failed with status code 427\n at t.exports (https://yastatic.net/s3/cloud/datalens/static/freeze/js/vendors.d7d7aef6...)\n at t.exports (https://yastatic.net/s3/cloud/datalens/static/freeze/js/vendors.d7d7aef6...)\n at XMLHttpRequest.y (https://yastatic.net/s3/cloud/datalens/static/freeze/js/vendors.d7d7aef6...)""

Возможно, база не справляется с запросом и обрывает соединение. Возможно, соединение обрывает межсетевой экран, если база вне облака. Если эти предположения не подтверждаются, то заведите обращение в поддержку.

Возможно ли подтянуть в даталенс данные из яндекс директа так же легко как для метрики? А из метрит подтягиваются? 0_0

Метрика «легко» подключается по АПТ с рядом ограничений натоперации с данными. Это не подтягивание. С Директом и этого нет.

Здравствуйте! Подскажите плз как подключиться к Битрикс24? Где брать токен? CRM - Аналитика - BI-Аналитика. Потом закройте окно, которое предлагает power BI и гулюгулю подключить. и в левом меню будет Управление ключами

Коллеги, привет! Подскажите, пожалуйста, возможно ли как-то рапределить данные по неделям?

Есть данные по рекламным кампаниям, поле ""Дата начала"", ""Дата конца"" и ""Бюджет РК"". Длительность рекламной кампании может быть разная абсолютно. Данных по дням нет, соответ ственно агрегировать дневные данные в недельные неполучится. Надо именно эти данные как-то преобразовать в недельные. Желатеьно прямо в датасете

Попыталась сделать на уровне угл таблицы, но тоже не пойму пока, как сделать.

на уровне датасета не выйдет

в БД просто джойните таблицу с рядом дат, преобразованным в табличный вид и на каждый день берете значение равное доле диапазона РК в день что-то типа

select dates.dt, adds.start_date, adds.end_date, adds.amount

from dates, adds

where dates.dt between adds.start_date and adds.end_date "

Добрый день, вопрос про вызов процедуры из базы (MS sql server) подключенной к DL. Такое возможно?

SQL возможно использовать в двух случаях — QL чарты, таблицы в датасете. В остальных случаях не получится.

Коллеги, подскажите, плиз, возможно ли подключить к DL CRM тильды?

Любую можно, но не напрямую, т.е. готовой интеграции в ДЛ нет.

Подскажите есть ли возможность подключить источник Битрикс24, из стандартных методов, я так понимаю мягко говоря не все данные из битрикса подгружаются.....

несколько вариантов:

1. запилить свою выгрузку в Clickhouse (на питоне это основа = библиотека fast_bitrix24())

2. посмотреть альтернативные выгрузки (my_bi и т.д.)

3. обратиться ко мне в личку (наш коннектор пока непубличный, в бета версии, но уже работающий) https://denvic.ru/service/biznes-analitika/konnektor-dlya-vygruzki-danny...

Пытаюсь создать датасет из нескольких таблиц. Таблицы объединил(full join) по общим столбцам(типы данных совпадают). Но в результате в полях получаю несколько значений у одинаковых столбцов. Например medium , medium (1) и medium (2)

Это как то решается?Или я что-то не так делаю? Прочитал в справке что можно объединять таблицы на уровне чарта, но это как то неудобно делать в каждом чарте. Хотелось бы объединить все и сразу и работать с одним датасетом.

Дубликаты можно удалить

Мне нужно чтобы таблицы ежедневно объединялись в одну общую и итог складировался в отдельную таблицу. Пока что эту задачу другими способами не понял как сделать. Если подскажите как сделать иначе, то буду благодарен.

Вам же не вправо объединять нужно, а одну таблицу под другую. Это union

Всем привет. Осваиваю DL и возник такой вопрос. У меня есть файл CSV и я хочу приджойнить к нему таблицы из БД. Умеет ли так делать DL? По сути, это два разных источника данных.

В очевидной форме я выбираю на страте какой источник. Напрашивается вывод, что моя задумка не пройдет. Но мало ли, есть какие-то лайфхаки у опытного сообщества…

Не прокатит

Добрый день! Не объединяются 2 таблицы при подключении через Битрикс 24. Нашла в документации, что пока не доработано. Как можно обойти?

если не работает, то обойти - это пойти другим путем :)) выгружать данные из битрикс в базу - вариант другого пути

соедините в БД

Добрый день. Не могу осилить уже второй час. Может кто тоже сталкивался.

Создаю dataset из двух таблиц, тип соединения LEFT

orders.client_id = clients.id

В датасете вижу всех клиентов из справочника clients.

Не хочу их всех видеть. Пробовала менять на INNER - результат тот же.

Вроде раньше все работало по правилам SQL

Если кто столкнулся, отзовитесь, пожалуйста. Если нет, то буду думать, где накосячила

проще в датасет подсунуть не связь таблиц, а уже готовый SQL запрос - select с join (так вы точно будете уверены в добываемых данных)

Извините за возможно глупый вопрос, но есть ли возможность динамического автоматического обновления данных в дашбоарде при запросе к PostgeSQL?

Если я правильно поняла вопрос, то в режиме редактирования дашборда если нажать на шестеренку, можно будет поставить галочку "автообновление" и его интервал

Добрый день. Как можно настроить часовой пояс при фильтрации? Cейчас мне приходиться плюсовать и минусовать 5 часов

сделать вычисляемое поле в котором сделать сдвиг и по нему фильтровать

подскажите пожалуйста коннектор к Y.Tracker еще не реализован?

Для экспорта данных из Трекера прямо сейчас есть такой пример:

https://github.com/kochub/tracker-data-import .

Что делает код:

Выполняет как первичную загрузку данные из Трекера, так и загрузку инкремента в дальнейшем;
Преобразует форматы данных и парсит вложенные json структуры;
Формирует структуру базы ClickHouse (Физический слой и витрина), с учетом последующих дедупликаций потенциально повторяющихся данных;
Загружает данные в ClickHouse.

Скоро оформим это в подробную пошаговую инструкцию.

такой вопрос, скорее по кликхаус, но спрошу здесь - нужно поменять поле при загрузке в order by. Изначально добавила одно поле, но поняла, что оно не уникально и нужно добавить ещё..

MODIFY не срабатывает на два столбца. Или как-то хитро их надо перечислить

Сделайте новую таблицу и передайте все в нее. Ордер меняется только для новых столбцов

Всем привет! Подскажите, пожалуйста, с QL-чартом - запрос написал, все корректно отрабатывает, теперь к нему нужен селектор (именно селектор со вкладки "Редактировать" -> "Добавить" -> "Селектор") Как их связать? QL-чарт мой в виде таблицы с >100K строк, который нуждается в произвольной фильтрации, обычный чарт не подходит для моей задачи

Селектор для ql-чарта создаётся либо ручным вводом, либо от предустановленного для него датасета. А связь с селекторов устраивается через параметр, который определяется там же при создании ql-чарта

Есть подключение из Гугл таблиц, где есть несколько листов с одинаковой структурой таблиц. Возможно ли сделать датасет, чтобы все листы подтянулись вниз в один общий датасет? (Аналог UNION ALL в SQL)

Не. В гуглшитсах и складывайте таблицы одну под другую

Подскажите пожалуйста кто импортировал данные из трекера

какие данные прокидывать вот тут:

CH_ISSUES_TABLE

CH_CHANGELOG_TABLE

TRACKER_INITIAL_HISTORY_DEPTH

Тут нужно указать названия таблиц которые скрипт создаст при первом запуске для хранения данных. В третьем параметре - глубина первичного забора данных, например 1d . Это используется в фильтре типа today()-1d если никаких данных еще нет

Добрый день! Можно ли подключаться к MariaDB?

Попробуйте коннектор MySQL.

Добрый день, а можно добавлять параметр в sql - запрос к источнику? например в where - clause? как в QL чарте?

На данный момент нельзя.

А посоветуй, пожалуйста: мне нужно сделать сравнение 2 произвольных периодов в таблице, причем по строкам должны быть признаки, по столбцам - метрики, а дат в явном виде в таблице быть не должно. Я реализовала это с помощью QL чарта, но итоговая таблица очень сильно уступает классическим ( в плане итогов, сортировки и прочее), есть возможность реализовать это стандартными средствами? Спасибо!

Нет Все хотелки на построение чарта реализуются запросом. Итоги еще одним.

Если в чарте ни в каком виде не присутствует поле (явно, в группировках, в подписях, сортировках) то его и нет в запросе, значит оно и не участвует в выборке. Но это в целом сомнительная практика

«хочу взять эти Х дней и сравнить с этими Х днями, это нечто из 90х, когда люди развлекались с возможностями Эксель и теперь вспоминают молодость :)

Какой у такой операции бизнес смысл. На что может давать ; ?

Если это сезонность, то это все же не произвольный период.

Если это принадлежность к некоему событию, вроде эксперимента, то эти данные не должны быть в голове менеджера, данные должны быть размечены в базе. Одни помечены как экперимент А другие как эксперимент Б. Правда при этом не понятно зачем параметрам и даже дашбордом. Это нечто одноразовое. Если, конечно, эксперименты не ведутся постоянно.

К слову таблица в которой при этом нету части данных, это снова наводи на мысль что это индивидуальные разовые потребности, ибо другой сотрудник не будет понимать принципа присутствия данных в том или ином столбце.

И в заключении: графики лучше! Каждый волен смотреть на любой фрагмент графика игранием можно вывести параллельно. И повторю про концепцию: в ДатаЛенс функции СУБД выполняет СУБД.

Подскажите, пожалуйста, если google док доступен по G Suit аккаунту - его не получается добавить в подключение - это и невозможно или подключение настраивается как-то иначе?

Чтобы к ДЛ подцепиться, файл должен быть открыт для всех.

Добрый день. Можно ли в конструкторе датасета собрать таблицу из sql запроса?

Да можно

Здравствуйте! А правильно ли я понимаю, что в DataLens можно делать отчёты по пользователям путём мэтчинга их по ID из Я.Метрики и АппМетрики?

нет, джойны работают по таблицам внутри одного источника источник - это, по сути, просто драйвер-интерфейс

В рамках DataLens не получится смэтчить данные по пользователям из Метрики и АппМетрики?

ДатаЛенс не берет на себя функции СУБД, а матчить данные - это функция СУБД.

А как превратить в массив именно средствам datalens? Функции из библиотеки говорят, что этот тип unknow

Tuple и untuple - это функции кликхауса. Там и делать.

Даталенс вполне понимает координаты в виде строки

Напомните, пожалуйста, где взять таблицу с названиями регионов и гео-поинтами. Помню раньше в файлике находил, но сам файл потерялся. https://geointellect.com/files/geo_for_datalens.ziphttps://geointellect....

Подскажите пожалуйста, есть ли какой-то лимит количества листов в файла при подключении Гугл таблиц?

Подключение к гуглу идет к конкретному листу таблицы, так что это не имеет значения

Кто-нибудь работал с Яндекс метрикой? Подключился по api ,выгрузка в даталенс автоматически, в самой метрике есть аналитика по поисковым словам. См рис. Но вот уже в полях даталенс после выгрузки , нигде нет поля в котором эти поисковые слова. У меня задача свести эти запросы в таблицы по месяцам чтобы посмотреть как меняется, какие лучше, какие хуже работают.

Грузите данные в базу. Подключение через API. ограничено возможностями АПИ :)

Пробую подключить облако Битрикс24 - и не работает джойн таблиц - https://recordit.co/M9vopthIhN (второй черный вариант - джоин в коробке, без проблем). Подскажите, пожалуйста, почему?

Использовать выгрузку данных в базу.

Например через:

https://denvic.ru/service/biznes-analitika/konnektor-dlya-vygruzki-danny...

Подскажите как формулой указать не пустые значения?

[potok] is not null

Коллеги, всем привет. Вопрос - не появилась ли или может планируется функция по массовой замене источников в скопированном дашборде, как это реализовано в power query в pbi?

пока массовых операций вообще нет

Привет, я только начала осваивать DataLens, и уже столкнулась с тем, что при подключении гугл таблиц, в систему загрузились не все данные - только за один день. В гугл таблице данные за неделю. В чем может быть ошибка и что нужно сделать?

Старое скорректировать не получится, нужно новое.

Подскажите, пожалуйста, какие существуют ограничения на использование google sheet при использовании их в качестве источника данных для datalens? Конкретно меня интересует, есть ли ограничение по количеству подключений и, если есть, какое оно?

Вес листа не больше 200мб, не больше 300 столбцов. Насчёт лимита количества подключений точно не знаю, однако если он и есть, то думаю лимит трудно достижим

Можно ли из Битрикс24 выгружать кастомные поля? Если да, то с помощью какого инструмента?

mybi.connect

Столкнулся с проблемой. Таблица CSV в подключении имеет 3 поля datatime. Первое DataLens определяет как дата-время, остальные как строка. Анализ этих полей показал: есть значения NULL в CSV.

Победил: в выгрузке CSV значения ;NULL; заменил на ;; или ;"""";

Другие поля с типом A (string) и # (numeric) также корректно отработали пустые строки.

потому что csv - это текстовый файл, в нем нет поддержки null, так что ваш null - это просто строка

Столкнулся с непонятной ситуацией. Строим иерархию, написали формулу:

TREE(ARRAY(str([docdate]),[epname],[ean]))

она все корректно отдает, но стоит только поменять порядок полей местами, то падает с ошибкой.

т.е:

TREE(ARRAY([epname],str([docdate]),[ean]))

и ошибка вида

""code"": ""ERR.DS_API.DB.INVALID_FUNCTION"",

""status"": 400,

""sourceType"": ""bi_datasets"",

""message"": ""Unknown function."",

""details"": {

""db_message"": ""operator does not exist: character varying[] = text[]\nHINT: No operator matches the given name and argument types. You might need to add explicit type casts."",

что ему нужно еще конвертить? epname и так текстовое поле

Сделайте поля типа текст В базе эти поля должны быть типа text Не varchar а именно text

Выполнил подключение к csv. Создал дашборд. Дописал к csv данные по новым датам. Но дашборд не обновился, новых дат нет. сам файл csv сохранен под тем же именем. Кто сталкивался, посоветуйте как решить проблему? Спасибо

Нажать три очки рядом с названием файла в подключении и заменить файл в подключении на новый с тем же именем. Если поля не менялись, должен легко подхватить. Сохранить подключение. В датасете обновить поля и сохранить его

Можно ли использовать в качестве подключения PosgreSQL размещенную локально (хост localhost)?

Нет, следует из ее локальности

А подскажите, пожалуйста, можно ли скачать все эксельки графиков из дашборда? Чтобы не каждый тыкать, а как-то пакетно?) Искала ответ, но не нашла

нельзя скрипт если только писать

Объединяю две таблицы на уровне датасета фулл джоином(на скрине то же самое из бд) по указанным полям. Проблема в том что есть несметченные цели(выделил синим) и наоборот несметченные расходы. В дашборде должен быть один селектор по дате и таблица: дата, расходы, цели. Подскажите пожалуйста, как сделать этот селектор, чтобы в таблице были все значения. Связь по айдишникам понадобится в других таблицах

Полустандартная ситуация при таком матчинге.

Сделайте новое поле в котором будет если дата1=null, берем дата2 76

Мы сейчас переносим дашборд с POwerBi на даталенс, и в pb это получилось реализовать через другую схему связи таблиц: несколько справочников(по айди кампании, по айди ключа) одновременно фильтрующих общие таблицы по расходам и целям

Тут вы можете сделать все то же самое. Нюанс в том, что тут нет встроенной субд, так что - представления (view)

Подскажите, а если загрузить csv с несколькими листами, то в датасете каждый лист будет отдельным источником?

в csv нет листов

Подскажите пж, когда делаешь объединение на уровне чартов - там можно только выбрать поля по которым соединять, но нельзя выбрать тип джоина, как при объединении таблиц в датасете. Какой тогда там джоин по умолчанию и можно ли это менять?

И еще вопросик, у меня есть две довольно большие таблицы, я их объединяю на уровне датасета. И наблюдаются очень сильные проблемы с нагрузкой на бд. Есть в таком случае смысл разделить на два отдельных датасета и объединять на уровне чартов? Или может лучше создать представление в бд, где уже самому все это заджоинить и получать датасет в даталенсе просто select * from view... ?

объединение на уровне чартов - это чистая условность, по сути просто совместное отображение данных имеет смысл сделать в базе create view myv as select ... from … join … и делать датасет на основе этого вью

Можно ли как-то закидывать данные из devtodev analytics в datalens через api?

Datalens данные не хранит. Можно закидывать в базу, а к ней подключить Datalens

Пытаюсь воссоздать рабочие дашборды из Power bi в Даталенз.

Столкнулась с проблемой: на дашборде чарты, построенные на основе одного датасета ( даже одной таблицы!) НЕ связываются автоматически. Подскажите, что делаю не так, плиз

Чарты между собой в даталенс и не связываются (если я правильно понимаю, что вы похоже хотите, чтоб как в pbi чарты друг друга фильтровали). Связать можно только чарт+селектор

Подскажите, есть ли средства для подключения к источникам данных в локальной инфраструктуре. По аналогии с шлюзом данных Power BI?

нет. Только если выгружать/реплицировать данные в БД, доступную снаружи для Datalens

Прошу подсказать по вопросу подключения базы данных PostgreSQL, которая находится на виртуальной машине Яндекс.Облако, к DataLens. Пытался подключить ее через вкладку выбрать в каталоге, но пишет что нет ни одного кластера. Получается нужно это делать через ручной тип подключения и конфигурировать как внешнее подключение?

если это не кластер, то да, задавать параметры подключения вручную

Здравствуйте, вопрос наверное глупый но я только учусь)) подскажите плиз могу ли я создать подключение к MySQL, который на моем личном ноутбуке , к даталенс? Я сделал нужное мне представление и вот думаю смогу ли я его как-то подключить

Для подключения localhost не пройдёт, придётся выводить куда-то

Народ, я как подключить (и можно ли это сделать) яндекс таблицы к datalens?

напрямую никак, тогда перегружать

Подскажите мвп по подключению к 1с)

Прямое подключение лучше не делать. запросы на периоды данных нагрузят 1С

Лучше делать периодические выгрузки.

Оптимально

поднять Апач (веб серис)
создать справочник запросов
реализовать возможность обращения с указанием идентификатора запроса и параметров
отдавать JSON или CSV

Примитивно

Реализовать справочник запросов
регулярную задачу, выполняющую эти запросы,
преоброазовывать результата в CSV и выкладывать на сетевой диск, откуда забирать в аналитическую базу преобразование в JSON делается сериализацией

для CSV я выкладывал фрагмент кода через построитель отчетов

Можно в самом датасете в новых полях делать запросы к таблицам, которые не участвуют в запросе к данному датасету (делать подзапрос)?

Можно.

Можно ли как-то в чарт связать с двумя датасетами, которые не связаны и строить новые поля для одного датасета на базе данных другого датасета. В примере я хочу для датасета "Показатели" добавить поле вычисленное на базе датасета "Базовый"

Если источник данных один, то сама задача выполнима.

Если источники данных разные, то нет.

При изменении на тип дата или дата и время пропадают значения в чем может быть проблема?

Не опознает дату в вашей строке все, поправила разделитель и распознало

Подскажите пожалуйста как импортировать данные из Яндекс документов в Яндекс Даталенс?

Напрямую, по аналогии с Гугл таблицами, никак

Подскажите возможно ли заимпортировать табличку из ДЛ в эксель? Имел в виду не скачать вручную, а автоматически подхватывать

Наверное, вы можете написать обработчик, который при обновлении страницы или по иному условию будет делать выгрузку. Встроенной возможности нет, да и не понятно зачем она.

Подключил гугл таблицу, создал датасет. в датасете меняю тип данных со строки на целое число, и данные в столбце пропадают. те столбец ПРОДАЖИ у меня строковый, а когда меняю на число то нет данных. см скрин. Причем в power bi все норм загружается, те не в данных проблема

Там же пробелы в строке

Добрый вечер, подскажите пожалуйста, получится в один датасет обледенить показатели 4 разных аккаунтом метрики?

Через коннектор нет. Выгружать все в одну базу и тогда делать с ними все что хочешь.

Подскажите чем обусловлено отсутствие подключения напрямую к excel таблицам? (как в Power BI)

И как правильнее будет настроить подключения к excel?

Гугл таблицы не совсем подходят, из-за того что физически ведется именно excel таблица, и при переходе на гугл таблицы есть некие ""костыли"" с формулами внутри.

Пока остановился на другом ""костыле"" - пересохранение екселя в формат CSV.

Профессионалы подскажите пожалуйста новичку, как быть)

Нет подключения к эксель и всё, это не pbi. Выбирайте либо гугл, либо csv. Но однажды упрётесь в размер файла

Подскажите чем обусловлено отсутствие подключения напрямую к excel таблицам? (как в Power BI)

И как правильнее будет настроить подключения к excel?

Гугл таблицы не совсем подходят, из-за того, что физически ведется именно excel таблица, и при переходе на гугл таблицы есть некие "костыли" с формулами внутри.Пока остановился на другом "костыле" - пересохранение екселя в формат CSV. Профессионалы подскажите пожалуйста новичку, как быть)

Excel скоро будет. Пока можете воспользоваться GSheets или csv. Ну или грузить данные в полноценную БД)

Подскажите, у кого был опыт подключения Битрикс.

Передаются ли задачи, или только сделки? Возможна ли работа во фрейме как power bi подключение или надо отдельно заходить на страницу data lens?

Зависит от используемого коннектора
Даталенс не работает во фрейме (пока)

Добрый день, подскажите, можно ли в датасете, при прописывание SQL кода, использовать функцию PIVOT? Если да, то какой у нее синтаксис?

Подключение PostgreSQL

Подскажите как лучше поступить, хочу объединить данные из БД (постгря) с данными из Яндекс.Метрики (отдельное подключение)

Для этого в параметры визитов Метрики передаю user_id пользователя.

Могу ли я объединить таблицу из метрики и таблицу из БД ключом user_id? Или мне надо чтобы обе таблицы были в рамках одного подключения?

Не можете. Нужно чтобы обе таблицы были в одном подключении

Подключился к собственному серверу PostgreSQL, создал подключение, датасет и чарт. Но вот в данные дашборд не выводятся, ошибка:

Превышено время выполнения запроса в источнике данных

я правильно понимаю, что проблема из-за количества данных? Сам сервер работает нормально

Значит запрос, который вы отправляете с даталенса в постгрю, слишком тяжёлый и вылетает в таймаут

А к yandex wiki можно подключиться и оттуда данные стянуть для дашборда?

Среди источников по умолчанию нет такого. Только если оттуда перекладывать данные куда-то

Подскажите можно ли как то настроить объединение таблиц пользовательских полей сделки и данных по сделкам Битрикс24? Нигде не нашел информации как это сделать используя стандартную интеграцию

Я объединял 2 датасета непосредственно при создании чарта по полю deal_id

Скажите, пожалуйста, а есть в DL встроенный справочник календаря?

в DAX это функция Calendar

Существует ли способ подключить к даталензу данные из MongoDB?

Коннектора к MongoDB нет. Только перекладывать данные в те базы или способы, коннектор к которым есть.

Подскажите, можно ли развернуть Datalens на своих серверах?

Если на данный момент нет, то планируется ли такая возможность?

Нельзя, планируется, сроки неизвестны

Подскажите пожалуйста, как мне решить задачу?

У меня с источника ""метрика"" тянутся визиты, а с гугл таблицы тянутся лиды. На графике надо показать конверсию в лиды (т.е надо создать новый параметр, который будет высчитываться из данных с двух источников) . Как мне это сделать?

объединить данные из двух источников в одной БД

А как принудительно указать связь? те справочник календарь должен быть связан с 2-мя таблицами фактов.

лучше используйте SQL-запрос

а в нем уже делайте связь по inner join

Пользуюсь стандартным коннектором для bitrix24, перешли на тариф Энтерпрайз (в bitrix). Из всех таблиц-источников спокойно создаются датасеты кроме таблицы telephony_call. Ранее датасет и чарты спокойно создавались, сейчас выдает такую ошибку. Причем, сам датасет то создать даже можно (дает сохранить), только толку от него чуть - ничего не работает, ошибка везде одна и та же. Подключение проверял, перезапускал, пересоздавал, эффекта нет.

Вкратце: Связали селекторы лидов и звонков. На дашборде в селекторе лидов выбрал менеджера, с фильтром с дашборда провалился в чарт. Работает. Ошибку в самом датасете и в чарте без фильра выдает так же, как я понимаю проблема в самой таблице-источнике, без фильтра она сходит с ума (и данные на селекторе тоже не выбираются мануально).

Подскажите как подключить Datalens к PostgreSQL, который находится локально на моем компьютере. Внешнее подключение вроде разрешил, данные при подключении ввёл, но всё равно ошибка. Куда смотреть, либо может есть туториал?

Через локалхост никак не подключить, только выносить куда-то БД на адрес

Существует возможность написания кастомного коннектора например к Sharepoint? Как лучше организовать автообновление графиков если дынные лежат в csv файлах на Sharepoint?

использовать yandex Query

Когда пытаюсь заменить датасет, в дашборде слетает заливка столбца, и в новом файле даже если я ее добавляю цвета не отображаются. Что с этим можно делать?, и еще вопрос, есть ли возможность выгрузить все это как проект?

по первому ожидаемо, так как меняются привязки, по второму - нет

Могу я сделать подключение к клику и метрики внутри одного датасета? Или я могу сделать только во время создания чарта где рандомно выдаст связи по совпадению?

на уровне чарта связей, по сути, нет, есть просто совместное отображение

Вопрос по Metrica Live Demo можно ли к одному дашборту добавить несколько вариантов выбора счетчика (подключений)?

в настройках самого подключения к метрике можно выбрать несколько счетчиков

Подскажите пожалуйста, у меня csv с 2.5 млн строк, я не могу создать подключение. Пишет «неудалось загрузить данные». Есть ограничения по размеру? Как можно решить?

200 мб

Возможно к дашборду привязать данные с Яндекс. Промостраниц?

Прямого подключения нет, через костыли- это выгрузить куда-то данные. В файл, в гугл, в бд...

Есть ли возможность отображения данных из двух разных подключений в одном чарте.

Все как везде: из одной базы делаете подключение к другой

Только в случае ДЛ - это внешние все базы.

На этапе проектирования витрин для DL встал вопрос: подавать ли на входе широкую плоскую таблицу или традиционную схему звезду, разбивая справочники вокруг основной?

У обоих подходов есть плюсы и минусы, но пока мы склоняемся ко второму.

Для DL оба варианта подойдут хорошо. Тут скорее вопрос в вашей БД источнике. CH, например, больше любит большие плоские таблицы и меньше джоинов, даже со справочниками.

Не было у кого практики подключения Трекера к ДЛ? Интересуют собственно способы их адекватно связать

Трекер к базе, а базу к DataLens

Расскажите как поля CVS файла с координатами городов который так любезно предоставляет Яндекс, соотнести с полями городов из другого источника для того что бы сделать чарт с геоточками

Также как обычные таблицы, соединить по нужному полю - в данном случае по названию города. Если это тоже таблица, можно объединить в одном подключении. Если источники разные, можно объединить в источниках заранее

Подскажите, как реализовать?

Есть 2 подключения:

1. Гугл таблица - список сотрудников: ФИО, роль в компании, статус(уволен/действующий)

2. PostgreSQL - список сделок: id, сумма, дата, ответственный сотрудник и т.д.

Объединить эти подключения в датасет не получается, в дата сете дает выбрать только один источник.

Попробовал их объединить внутри чарта по полям: ФИО и ответственный сотрудник и отфильтровать по роли, но в таблицу попадают все сотрудники, так ощущение будто в чарте идет полное объединение таблиц.

А мне нужно inner или left.

Кто нибудь знает о рабочем решении такой задачи?

Разные источники вы адекватно не соедините. Только предварительно за пределами ДЛ соединять всё в одно

Подскажите, где посмотреть про подключение ДЛ к 1С?Самый простой вариант

самый простой за деньги, поищите по ветке, была недавно ссылка следующим идет выгрузка в CSV или JSON с последующей загрузкой в БД следующим Веб интерфейс через который отдавать по запросу данные и загрузкой их в БД прямых подключений по сути нет и они не нужны, так как база 1С не приспособлена для аналитических запросов

Подскажите, на что влияет параметр "время жизни кеша в секундах" в настройках подключения. Каким он должен быть в идеале? Влияет ли этот параметр на частоту загрузку данных в чартах из базы данных? Очень напрягает, особенно в сводных таблицах, когда она уже построена, начинаешь ее листать и начинает бегать бегунок загрузки данных, приходится ждать.... Лечится ли это как то, можно ли сделать забор данных по расписанию? На сколько я понял "интервал автообновления" в настройках не про это...

влияет на то будет ли сделан запрос к базе если вы с малым интервалом обновите страницу >можно ли сделать забор данных по расписанию

Такого нет, в DL нет “встроенного хранилища”.

Подскажите пожалуйста, с чем может быть связана эта ошибка? Источник google таблицы

к, документация: "У датасета только что была изменена схема. Дождитесь пересоздания таблицы предпросмотра (ожидание может составить несколько минут)."

Подскажите, пожалуйста, по фильтрации датасета.

Можно ли в операциях которые поддерживают значения, указывать несколько значений или использовать какие-то шаблоны?

https://yadi.sk/d/4ogNMZDaed02Fg

В селекторе можно использовать множественный выбор

Коллеги, создал QL чарт разместил на дашборде рядом с обычными чартами, хотел настроить связь с селектором, но при настройке связей QL селектор не появляется. То есть настроить связь не получится верно?

QL чарты зависимы от параметров. Селектор по параметру надо делать чётко с названием параметра и не ставить у селектора никаких операций. QL автоматом связывается с селектором с нужным именем, связь вручную ставить не обязательно насколько я помню

Подскажите, есть ли у кого-нибудь опыт работы ДЛ и КХ с гибридным хранилищем?

Правильно ли я понимаю, что просматривая данные в ДЛ из холодного хранилища, они автоматически будут затягиваться в ДЛ и отображаться?

ДЛ важно только время, за которое данные приедут. Он формирует и отправляет запрос в КХ, а откуда и как тот будет вытаскивать данные - все равно.

Подскажите, какую БД выбрать для объема 3 миллионов строк в неделю, чтобы к ней подключить к Яндекс.ленс?

зависит от того какие это строки и как вы с ними будете работать. PostgreSQL или Clickhouse. Первая если у вас нормализованные данные, обновления и выборки целыми строками. Второй если у вас плоские таблицы с кучей полей, а выборки при этом по отдельным их них и агрегации

Из гугл таблиц переходим в Яндекс. 48 подразделений заполняют отчёты в Яндекс таблицах. Затем из некоторых ячеек этих таблиц должно быть сформировано 8 отчетов. Какой путь можно использовать? В гугл обходились importrange. В Datalens нет подключения в таблицам Яндекс, другие форматы. Помогите люди добрые советом.

Если у вас между таблицами нет однозначных связей, то никак...

Скажите, есть возможность подключения к amoCRM ?

все варианты подключений видны на странице создания подключений

только если некая СУБД или сервис имеют совместимый интерфейс, возможно подключение через него

Как добавить вот такую функцию в датасет а не в QL-чарт:

SELECT * FROM yandex.calculate_difference({{From}}, {{To}}, {{Symbol}});

В QL-чарте все работает нормально, тут всего три переменные. Но вот как на уровне датасета это сделать и можно ли!

Ну такой параметр в датасет вы точно не вставите. Датасет - это конкретная модель конкретных данных, без плаваний по периодам или условиям

Подскажите, я через DL, без лишних костылей, смогу сделать дашборд, в который буду подтягивать данные из:

- Яндекс директа, по расходам по кампаниям

- Битрикс, о статусах лидов и тд

И соответственно в итоге видеть цену лида, окупаемость лидов и тд?

Во-первых, подключения к директу прямого нет. Во-вторых, директ с битриксом вместе вы не соедините

Подскажите почему может не создаваться связь между двумя таблицами.

Инструмент просто не даёт добавить 2 таблицу, только замена первой.

При использовании подключения к mysql всё норм, а при использовании Bitrix24 коннектора, только 1 таблицу могу.

Необходимо получить выгрузку из битрикса, а потом уже ее подключать

Подскажите, пожалуйста, посредством каких инструментов возможно было бы организовать сценарий построения дашборда на DataLens, произведя все процессы внутри экосистемы Yandex Cloud?

Ключевая цель проекта - ежедневно автообновляемый дашборд в DataLens.

Данные должны собираться из Директ, Метрики, CoMagic, а также с FTP-сервера, на который будут ежедневно выгружаться отчеты в формате CSV за предыдущий день, данные из которых необходимо будет импортировать в модель данных и соответственно на дашборд.

MyBi connect, все что вы перечислили можно подключить как источники и сливать всю информацию в Базу данных, данные с FTP можно попробовать грузить в Google sheets и через Mybi тоже сливать в одну БД.

Помогите, пожалуйста, быстро прикинуть, следующий кейс использования DL. Положим, у меня есть 10 Гугл Таблиц по 20 000 строк каждая, и каждый месяц это все добро прирастает на 10 новых таких же Таблиц. Все данные уже нормализованы и очищены. Я могу как-то это все уместить в рамках датасетов DL? Или через год это уже будет не торт, и мне нужно как-то компоновать данные или использовать другой источник данных вместо Таблиц?

Уместить можно, особенно, если на стороне таблиц пооптимизировать. Можно пока оптимизировать таблички и параллельно продумать план Б, там PostgreSQL, например, или Clickhouse...

Подскажите пж, что я делаю не так? При формировании датасета система не видит данные для "геополигона".

Источник: google sheets

формат данных: [[[110.0023149,50.7390778],[110.0161269,50.7385802]...[110.0023149,50.7390778]]]

С геоточкой в формате [51.105291,114.545377] все получилось

Ну, точек с координатами 110, 50 просто не существует - там порядок широта, долгота.

Делаю запрос к MySQL базе, которая лежит на Яндексе:

select id, npp, number, 1C_UID FROM new_running_schedules limit 1

DL выдает ошибку:

ERR.DS_API.VALIDATION.ERROR

[

{

"errors": [

{

"details": {

"token": null,

"row": null,

"column": null

"level": "error",

"code": "ERR.DS_API.FORMULA.UNKNOWN_SOURCE_COLUMN",

"message": "Unknown referenced source column: 1C_number"

}

"id": "1c_number_lrcy",

"type": "field"

{

"errors": [

{

"details": {

"token": null,

"row": null,

"column": null

"level": "error",

"code": "ERR.DS_API.FORMULA.UNKNOWN_SOURCE_COLUMN",

"message": "Unknown referenced source column: 1C_loading_status"

}

"id": "1c_loading_status_0boq",

"type": "field"

{

"errors": [

{

"details": {

"token": null,

"row": null,

"column": null

"level": "error",

"code": "ERR.DS_API.FORMULA.UNKNOWN_SOURCE_COLUMN",

"message": "Unknown referenced source column: 1C_loading_date"

}

"id": "1c_loading_date_gda1",

"type": "field"

{

"errors": [

{

"details": {

"token": null,

"row": null,

"column": null

"level": "error",

"code": "ERR.DS_API.FORMULA.UNKNOWN_SOURCE_COLUMN",

"message": "Unknown referenced source column: 1C_loading_error"

}

"id": "1c_loading_error_2y8k",

"type": "field"

{

"errors": [

{

"details": {

"token": null,

"row": null,

"column": null

"level": "error",

"code": "ERR.DS_API.FORMULA.UNKNOWN_SOURCE_COLUMN",

"message": "Unknown referenced source column: 1C_updating_date"

}

"id": "1c_updating_date_tve1",

"type": "field"

{

"errors": [

{

"details": {

"token": null,

"row": null,

"column": null

"level": "error",

"code": "ERR.DS_API.FORMULA.UNKNOWN_SOURCE_COLUMN",

"message": "Unknown referenced source column: 1C_updating_text"

}

"id": "1c_updating_text_32rh",

"type": "field"

{

"errors":

{

"details": {

"token": null,

"row": null,

"column": null

"level": "error",

"code": "ERR.DS_API.FORMULA.UNKNOWN_SOURCE_COLUMN",

"message": "Unknown referenced source column: 1C_task_uid"

}

"id": "1c_task_uid_p0d3",

"type": "field"

{

"errors":

{

"details": {

"token": null,

"row": null,

"column": null

"level": "error",

"code":

Ошибка указывает на неизвестные колонки, на которые ссылаются ваши формулы или запросы. Ошибки указывают на отсутствие колонок с именами "1C_number", "1C_loading_status", "1C_loading_date", "1C_loading_error", "1C_updating_date", "1C_updating_text" и "1C_task_uid" в таблице или источнике данных, на которые вы ссылались.

При подключении к BigQuery не видно ни полей, ни таблиц. При проверке подключения все ок. Роль сервисного аккаунта BigQuery User. В чем может быть проблема?

Возможно, дело в разнице в регионах для датасета и его таблиц. Проверьте, что всё расположено в одном регионе.

Подскажите пожалуйста, есть ли какие-то инструкции по формированию правильной Структуры данных в гугл таблице, с точки зрения удобства и оптимальности их использования впоследствии при построении чартов в datalens?

правильная инструкция: не используйте ГТ для построения чартов

Подскажите,что за ошибка

Connections using insecure transport are prohibited while --require_secure_transport=ON.

БД mysql 5.2

Скорее всего что-то не так у вас с SSL, гугл поможет наверняка

Что делать если при добавлении таблицы с гугла, в датасете первая строка не распознается как заголовок столбца

Установите переключатель “Показывать заголовки столбцов” в положение Да или Нет.

Подскажите, как на уровне датасета сделать фильтр типа: "значение в поле 'IBM code' не должно содержать 'RU'? И что бы потом ни в одном чарте, построенном на этом датасете значением с содержанием 'RU' не учитывались, от слова совсем

На стороне бд отрезать

Как сделать Сводную таблицу, при этом чтобы были текстовые заголовки столбцов? Попробовал отдельно создать датасет с шапкой столбцов текстового формата, но датасет в таком случае не проходит валидацию при построении связей с основными таблицами

Нужно было размещать данные для столбцов в ПОКАЗАТЕЛИ, а не в СТОЛБЕЦ

Ребят как таблицу транспонировать в датасете?

Даталенс работает в онлайн режиме с данными, хранящимися во внешнем источнике

Собираю датасет из 4х одинаковых таблиц, но для разных менеджеров. Когда объединяю их по любому из полей выдает либо данные первой таблицы, либо информацию о том что данных нет после объединения. Может кто-то сталкивался с этой проблемой? Заранее спасибо

Одну под другую складывать надо.

Это юнион, а не джоин в источнике

Можно ли сделать подключение к реплике?

FQDN вида c-<идентификатор кластера>.ro.mdb.yandexcloud.net

Да, только если реплика имеет публичный доступ

Подскажите, пожалуйста, если я в качестве источника данных выбираю csv таблицы, строю чарты и дэшборды, а потом данные обновляются, я заново хочу загрузить эти же csv файлы такой же структуры, это возможно?

Да, это работает.

Развернул базу на локальном компьютере, начал думать как подключить к ДЛ, и понял что надо расшарить базу.

Основная проблема заключается в том что я нахожусь в закрытой сети. Есть методы решения? или я не так понимаю сам процесс?

p.s. первый опыт работы с БД. До этого все крутил через гугл.

Да, выгружайте CSV в сторадж и обрабатывайте Query ))

Может быть такое, что дл не воспринимает синтаксис MySQL? например, в MySQL выше 4.0 есть функции выделения года и месяца из даты DATE_FORMAT(..., "%Y-%m) или EXTRACT(YEAR_MONTH ....) но при создании запроса даже самого простого с использованием таких функций и параметров выдает ошибку, и не распознает DATE_FORMAT и YEAR_MONTH внутри EXTRACT

Маловероятно такое... Что пишете, то дл и отправляет в базу

Хочу притянуть гугл шит в даталенс, а там ячейки объединены, тянется валюта в датасет только по первой строке валюты. Подскажите, как сделать так, чтобы тянулось по всем нужным строкам? Скрин 1-гугл шит, скрин 2- даталенс as is.

исправить таблицу в ГТ

ДЛ никак не может прочитать поле json ?

только как строку. Разбирайте в источнике

У меня есть вопрос по созданию датасета. Необходимы вычисления из полей таблиц разных подключений. Перерыл весь интерфейс и пока не могу понять возможно ли это и если да то каким образом?

Сделать вычисления из полей таблиц разных подключений - нельзя.

Можно ли как-то на уровне датасета удалить строку? Что-то типа DELETE FROM датасет WHERE id = <1> возможно?

Нет

Каким инструментом воспользоваться? Подключила 5 csv файлов, связь по одному полю, в итоге размножилась моя таблица с геометрической прогрессией, как группировать и оставить одно значение. Т.е чтобы в одной строке были все значения.

почитать где угодно про join left, right, inner и full и подумать, как надо связать таблицы конкретно в ваших данных

Правильно ли я поняла: union, join и тд. можно использовать только в sql запросах, а с sql запросами можно обращаться только к базам данных подключенным через Query или других источников.

Нет. Подключени к группе csv позволяет работать с ними "как бы с базой данных". Когда вы соединяете по какому-то полю таблицы из ваших csv, вы тоже используете эту логику. Внутри там тоже будут sql(подобные) запросы, но у вас есть графический интерфейс и писать буквами запрос нет нужды. Вот, например, на скриншоте фулл джойн в csv - к каждой из строк в таблице 1 добавятся подходящие по ключу (полю где =) данные из таблице; если таковые не будут найдены, в итоговой таблице все равно будет сохранена строка из таблицы 1, и также для таблицы 2. Почитайте что-нибудь самое простое, без понимания этих операций очень трудно оперировать данными. В практикуме, кажется, есть бесплатный курс анализа данных.

Подскажите, пожалуйста, вот такой сценарий.

У клиента Битрикс24 в облаке.

Он хочет настроить DataLens и в нём кучу разных отчётов на основе данных битрикса.

Но.

В перспективе он из облака поедет в коробку.

И тут вопрос.

Если мы переедем из облака в коробку - можно ли будет как-то сохранить отчёты, но прицепить к коробочным данным, или же их придётся руками пересобирать с нуля?

делайте сразу с выгрузками в базу то есть сделать доп.базу, в которую из Б24 забирать данные, а ДЛ цеплять уже к этой промежуточной базе

Вопрос по поводу возможности обновления новых данных из источника CSV.

Подскажите, пожалуйста, возможно ли обновление новых данных при подключении в качестве источника CSV файла, допустим, раз в день или раз в неделю.

С Google Sheets проверил, что данные обновляются в реальном времени. С CSV пока ситуация не ясна.

Спасибо!

вы должны будете ручками файл загружать каждый раз при каких-либо изменениях

Ребята, подскажите пожалуйста. Если заменил источник подключения, там добавилось новое поле, я могу как-то прокинуть это новое поле с тарый датасет или нужно обязательно новый создавать?

Обновить поля Датасета

Подскажите пожалуйста, в query YQL есть union?

нет

МОжно ли как-то скачать датасет из даталенса, мб выгрузить как-то

Если у вас есть доступ к данным, то есть способы и проще.

А так можете делать табличный чарт со всеми полями

Подскажите, при подключении через query в запросе можно поменять тип данных поля? Например для типа дата.

Дата или Дата и время Вернее это не в подключении, а в датасете

Подскажите пожалуйста. Есть гугл таблица с разными листами (1 лист = 1 локация). На дашборде хочу вывести информацию по всем локациям. Может ли даталенс на уровне датасета использовать union этих таблиц? если да, то как это реализовать технически?

Нет, объединяйте средствами ГТ

Подскажите пожалуйста в чем ошибка? подключение ГТ.

Проблема в том, что подключение к ГТ не может иметь более 10 листов(таблиц).

Привет! Подскажите, можно ли создать комбинированный датасет из sql запроса и гугл таблиц?

нет единственный чарт, где такое объединение условно-возможно - это комбинированная диаграмма... Но это будет не классический джоин, а вывод показателей из двух разных датасетов на одном графике.

Коллеги, а даталенс умеет работать с rest api как с источником данных?

Нет

Выгрузили данные из 1С в CH и соответственно в DL. Пустые даты CH преобразовал в 1970-01-01T03:00:00

Как сделать, чтобы было null？Мне кажется распространённая задача, а решения не могу найти.

if [Date] = 0 then null else [Date] end

Как datalens Определяет тип поля на этапе подключения гугл таблицы?

в самой таблице указаны форматы в виде "дата и время" но при подключении в столбцах по большинству полей определение происходит как строковое

По первым N строкам определяет. Если есть пустые строки или заполнено чем-то ещё - определяет как текст

Подскажите, пожалуйста, на уровне DataLens в датасете можно отфильтровать уникальные id? Чтобы в таблице остались строки только с уникальными id?

Или написать на уровне формулы: «считай количество признака только для уникальных id»?

вот вам такой пример

COUNT_IF(

SUM([Sales] INCLUDE [City]) > AVG(SUM([Sales] INCLUDE [City]))

)

тут количество городов, где продажи выше среднего значения по городам

То есть по сути, вместо отсутствующей оконки COUNTD для подсчета уникальных городов используется обычный каунт но поверх группировки, ибо в результате группировки все дубли городов схлопнутся ))

Если я соберу дашборд. Возможно ли сделать что бы данные обновлялись автоматически? Заранее спасибо.

Данные для Дашбордов берутся из источника в живом режиме (исключая данные из файлов CSV), то есть, обновятся в источнике - обновятся в Дашборде

У даталенса нет селфхостед решения?

нет

Подскажите, пожалуйста, 2 вопроса.

1. Через текст вставляю ссылка на картинку, чтобы отображалась на области с дашбордом. У меня все ок, а у пользователей картинки нет-ошибка. Картинка тянется с яндекс диска, не object storage, яндекс предлагает его использовать для решения, но не хочу там регаться и привязывать свою карту. Какой есть выход?

2. Есть ли возможность создавать свой фон, цвета, заливку заголовков на дашбордах?

1. зарегаться на Сторадж

2. нет

Здравствуйте, подскажите пожалуйста, данные в DW находятся в 2 базах, предварительно таблицы обработаны и есть ключ по которому их можно связать, но в Data Lens можно выбрать только 1 источник или подгрузить таблицу из другой БД внутри DW сменив источник. Скажите, если я вытащу таблицу из 1-ой БД, затем сменю подключение и подтяну таблицу из 2-ой БД, в таком случае данные будут обновляться автоматически Data Lens? Или можно использовать только 1 источник?

Попробуйте сменить подключение, работая с датасетом, и вы увидите, что всё сломалось

Датасет можно строить только на 1 подключении

Добрый день,а будет ли бесплатным трафик при подключении YD к базе вне облака? Рассматриваем вариант развернуть хранилище на внутреннем сервере и подключаться к нему из Datalens

Внутренний сервер должен быть доступен из сети.

Подскажите, выбираю где развернуть PostgreSQL - яндекс клауд или сбрер клауд. Дальше DL будет смотреть на БД в этом облаке.

Есть какие-то подводные камни или предостережения, почему лучше выбрать яндекс облако, а не сбер?

данные предполагается довольно много

выбирая Яндекс вы получаете два очевидных профита:

1. производительность оптимизации взаимодействия ресурсов внутри одной инфраструктуры

2. саппорт, который, очевидно, лучше отвечает когда все относится к его зоне ответственности

Есть какая нибудь библиотека, желательно на python для подключения к Datalens для передачи в него данных, ну или где почитать, что бы эмулировать какой-нибудь источник данных, к примеру битрикс?

Даталенс не работает с питоновскими скриптами Битрикс либо подключайте через имеющийся коннектор, либо лейте данные из битрикса в какую-либо БД, а уже её подключайте к ДЛ. базу данных создай питоном наполняй/изменяй/обновляй

я совсем новичок в DL. есть несколько вопросов. 1. В датасете может быть несколько таблиц фактов? 2. подключение .csv, обновление данных - ежедневно. Как лучше обновлять? пересохранить предыдущий файл и заменить подключение? или можно добавлять данные за каждый день отдельным файлом в датасет?

рекомендую не собирать костыли CSV а сразу делать так

https://cloud.yandex.ru/blog/posts/2023/03/yandex-query-and-yandex-datalens

Вопрос на засыпку, если завтра мы окажемся без PBI и тд, насколько быстро и качественно (думаю известны отличия между продуктами) перебросим Дашборд в DataLense

зависит от источника

подскажите, как можно в чарте/дашборде вместо идентификатора пользователя отобразить его, скажем, имя и фамилию

персональные данные пользователя хранятся в отдельной базе

Перенести их в ту же базу

Подскажите,можно увеличить время запроса по дефолту к источнику?Чтобы было чуть более времени на получение данных?

Нет

Подскажите, как можно быстро проставить связи по полям для 10+ датасетов?

Руками поштучно

А как-то можно из двух однотипных (полное совпадение по столбцам) CSV-файлов сделать общий датасет для формирования единой сводной таблицы?

Пробовал делать объединение на разных этапах (два подключения в один датасет, два датасета в один чарт) и т.д. - нигде не смог получить результата, как если бы два файла изначально были объединены... =(

Наверное. что-то упускаю

или делать через Квери

https://cloud.yandex.ru/blog/posts/2023/03/yandex-query-and-yandex-datalens

Коллеги привет, а можете подсказать IP с которых ДЛ будет к внутренней базе обращаться? где это можно посмотреть?

https://cloud.yandex.ru/docs/datalens/concepts/connection

Кто и как подключал EXCEL файл с расширением cvs, размером не менее 1,5ГБ и более каждый

Уходить от таких файлов надо - работать с такими одно мучение.

В ДЛ не получится закинуть - там 200Мб максимум можно.

Подключаюсь сейчас к гугл таблицам.

Таблица получилась очень объемной, тормозит гугл жутко

Есть ли базы данных в которые можно дозагружать данные из excel ?

Я не разбираюсь в кодах, может есть сервисы интуитивно понятные?

Yandex Query. Насчёт интуитивности и кодов - все равно придётся чему-то научиться, зато с файлами (csv) можно работать

Не могу собрать датасет из двух таблиц подключения б24, это норма?

Норма. На подключении битрикса не соединяются таблицы

Как можно подключить данные из портала открытого бюджета? Там есть ссылка на api json . https://www.budget.gov.ru/Открытые-данные

Кидайте куда-то к себе (бд, гугл)

подскажите пожалуйста, есть ли вариант прокидывать параметры в источник SQL запрос поверх CH? В доке везде только про вычисляемые поля, а если у меня уже написанный запрос и хочется в where подставлять параметры

Не-а, так не выйдет. Ну разве что ql чарт писать

подскажите, можно ли сделать дата сет по rest api как нить?

скрипт->база данных

Всем привет! Сейчас столкнулась с такой проблемой: добавляю данные в источник (это таблица на клике Я.клауд), но чарты не обновляются - не появляются данные за новый месяц - как это можно полечить, не трогая подключение?

Ну, тут либо вы кеш настроили большой по времени, либо что-то не так или не туда добавили в клике.

Обычно данные берутся онлайн.

Возьмите запрос из инспектора и проверьте.

Подскажите, если я получил данные из гугл таблицы и создал датасет/чарты/дашборд, а потом добавил в файл новый столбец, обновляются данные в подключении, но не обновляются в дата сете. Мне надо уже новый датасет создавать?

нет. Открываете подключение, жмёте "обновить", сохраняете.

Идёте в датасет и жмёте "Обновить поля"

Подключение источника смарт процессы битрикс24 в datalens возможно?

через стандартный коннектор нет

Подскажите пожалуйста, может кто сталкивался. При подключении гугл таблицы подгружает только 30 строк файла. Как с этим бороться?

Это, наверное, имеется ввиду окно предпросмотра? Там да, не вся таблица. Постройте чарт, проверьте.

Делаю проект в DataLens в рамках Мастерской ЯП. Вопрос: данные по екоммерс WB, ozon, yandexmarket у заказчика лежат в Постгрис, где также хранятся справочники и сопутствующие данные. При прямом подключении из DL постоянно возникают проблемы с загрузкой данных (объединение 6 таблиц БД). Правильно ли я понимаю, что для екома гораздо эффективнее перевести базу в Кликхаус?

КХ не любит много соединений. ПГ достаточно быстрая СУБД, разбирайтесь с ее настройками, ресурсами, ключами и индексами таблиц и структурой запроса.

И вы не написали какие проблемы и с чьей стороны. Может у вас банально ограничение на время запроса в ПГ стоит секундах на 10 Так же в ПО вы можете делать материализованные представления.

подскажите пожалуйста, а есть ли в планах добавить в подключения возможность забирать данные из Airtable? Поиском по чату не нашел ни одного упоминания этого сервиса

ДЛ не хранит данные

После загрузки csv файла не даёт сформировать датасет, пишет что не прошёл валидацию, хотя все требования к ограничениям соблюденены. Что может быть?)

надо нажать кнопки «подробнее» или если есть формулы, то что пишется при наведении на значок ошибки

начала изучать только настройку и датасеты, в таблице googlesheets стоблец с датами , столбцы имеют только тип строки, хотя есть столбцы и с форматом даты. Может ли это быть связано с тем, что одна все-таки из строк содержит обычный формат?

да

Коллеги, подскажите, пожалуйста, кто сталкивался: есть таблица в Postgres c геоданными (мультиполигоны Postgis, тип поля geography). Как их вгрузить в карту datalens?

Напрямую никак. У меня отдельным скриптом закатано в формат даталенз и просто лежит там же в базе, чтобы она работала единым источником и на даталенз, и на других получателей данных. Главное, что вам надо исходные данные переписать в строку под требования даталенз, можно это сделать и сразу в базе. Обходя все уровни мультиполигона. В принципе, с WKT это подъемно, если порядок координат ш-д.

Можно из подключения к ClickHouse получить доступ к схеме system? Из подключения видны только пользовательские схемы.

Задача: получить хоть какую-то метрику посещения дашборда. Кроме как посмотреть количество обращений к витрине клике через

system.query_log

варианта не нашел.

Можно. Через плюсик добавить и написать запрос типа Select * from system.query_log Систем не видно, но прописать его можно

Подскажите, как исправить ошибку? При выборе одной точной даты в селекторе чарты работают. Но как только ставим множественный выбор из списка или диапазон в календаре - вылазит ошибка такая. В датасете поля с нужным типом стоят (дата/дата и время)

никак

Эта функция для битрикса не поддерживается

У меня подключение к Битрикс24 - не получается объединить несколько таблиц - при попытке перетащить - показывает запрещающий значок..

То есть никак НЕ получается связать 2 таблица и настроить эту связь..

Как с этим быть?

На битрикс не соединяются таблицы

У меня 2 разных источника которые хочу джойнить MySQL и ClickHouse. Не до конца понятно как реализовать метод Query по аналогии с Redash

Можно обращаться к КХ, а в запросе КХ к движку MySQL

Мне надо создать чарт с каротой, показывающей количество регистраций в разных городах и регионах РФ. Координаты я беру из предоставленого файла с координатами для data leans, а информация по регистрациям из гугл таблицы (там поле только Город и регистрации). В чарте я эти таблицы соединяю по названию города, но когда строю чарт выходит ошибка что геоточки не участвуют в связи датасетов. Подскажи можно ли их в итоге как-то сразу в data leans объединить или без первичной обработки не обойтись?

Соединяете таблицы в чарте звучит как мультидатасет, там не будет связи датасетов

А можно как-то аппендить csv в один дата сет?

Например загрузил csv 200 мб, построил визуализации.

Через месяц загрузил еще csv 200 мб и сделал что- то union all и обновил визуализации?

union нельзя, аппендите и заменяйте файл

Сделал подключение из бд, собрал дашборд. Бд работает не стабильно, постоянно визуализации пропадают и долго перезагружаются.

Есть ли вообще функция как в табло, например EXTRACT, чтобы данные скачивал к себе для работы??

Нет, ДЛ не заберет на себя проблемы с базой. Но вы можете поднять себе отдельный инстанс БД и таскать в него нужный вам кусочек данных

Как можно обойти ограничение на размер CSV в 200 мегабайт?

Yandex Query

При попытке объединить таблицу из ClickHouse с таблицей из google sheets выходит такая ошибка. Кто-нибудь может подсказать, что это значит? или связать между собой таблицы из разных типов подключений нельзя?

Нельзя объединять таблицы из разных источников

Мультидатасет не объединяет таблицы

А есть ли какой-то вообще вариант, если у меня в google sheets , скажем так, справочник для значений параметра, которые есть в таблице из CH , то как их смэтчить?

Загрузить его в КХ Либо сделать в КХ представление внутри которого будет from file()

Подскажите как из одного датасета перетянуть в другой данные по ключу. Типа vlookup из одной таблицы в другую по ключу

датасеты не связываются

связывайте таблицы внутри датасета

Коллеги, подскажите, пожалуйста: можно ли сделать в DataLens аналог CROSS JOIN? Не могу придумать работающую конструкцию: к одной таблице прицепить все строки другой таблицы без условий на соединение (во второй таблице одна строка и ее нужно прицепить ко всем строкам первой таблицы).

На уровне sql запроса можно

А можно узнать, а куда подевались функции с геоданными. Я помню были функции по нахождению полигона по названию страны

нету ее больше, сервис карт закрыл малину

Кроме лидов, сделок, контактов и компаний можно что-то выгружать еще? товары в сделках, задачи, дела?

задачи дела — нет, скрипт обрабатывает только сущности CRM.

товары в сделках — через кастомную предобработку возможно вытащить (описываю в конце статьи). Но для нее надо уже немного знать Питон

Возник такой вопрос, возможно ли как-то изменить в датасетах информацию? (например update sql)?

вообще стандартными средствами ДЛ нельзя.

ДЛ только читает данные из источника.

У меня сейчас источник данных представляет собой 5 последовательно залефтджоиных таблиц, они растут и это вызывает дикие лаги в отчетах. Я могу на своей стороне делать эти джойны и заливать уже одну большую таблу в яндекс, это точно будет быстрее. Вопрос, как сделать подмену, учитывая, что у меня вся отчетность и все-все дополнительно созданные поля в ней добавлены, а этом источнике?

делаете новую таблицу и в датасете меняете источник. Если поля совпадают, то все гладко, но что такое «в яндекс» не понятно

в ДЛ вы ничего заливать не можете

работа с источником в живом режиме

так что свое заливать вы делаете в своей БД и подключаете к ней ДЛ

Подскажите, как извлечь из столбца только те значения, которые начинающиеся не с цифр? Я это хочу сделать при добавлении нового столбца в датасете, используя столбец из БД КХ

Если КХ, то regexp_match подойдет

Можно ли мигрировать дашборды с полугьчкнием и датасетами с одного облака Яндекс на другое облако Яндекс (аккаунта)?

Только через поддержку или API

Добрый день. Почему, если добавляю фильтр по показателю в датасете, пропадают подытоги в сводной таблице?

Таковы технические условия. Итоги/подытоги в принципе не во всех случаях работают

Подскажите как можно автоматически подтягивать данные (.csv) из директории с учетом добавления новых файлов в эту директорию. И получать в DataLens автоматическое обновление данных ? Файлы с данными однотипные .csv.

Может есть у кого примеры. Заранее спасибо!

только так

https://cloud.yandex.ru/blog/posts/2023/03/yandex-query-and-yandex-datalens

Предположим, я поднял в организации Яндекс ClickHouse (или PostgreSQL).

Смогу ли я обращаться из DataLens к их таблицам из другой организации?

Или правило такое: в какой организации База данных, там же DataLens?

Можно к любой БД, если у вас есть доступ к ней.

Подскажите, пожалуйста, чтобы создать дашборд на основе данных из гугл таблицы, и если в ней несколько листов - нужно создавать подключение для каждого листа отдельно, правильно понимаю?

да

Подскажите, в каком формате хранить время, чтобы в дашбордах отображалось?

Время - это число

Как работает даталенс в плане подключения к бд и sql? Подключил к новой бд дашборд, он сразу начал выбивать ощибку sorry, too many clients. При том что подключен, по сути, только дашборд а max_connections = 100

Видимо не только ДЛ подключен у вас к базе. количество подключений вы всегда можете посмотреть в словарях в своей базе

Если я создам, SQL-чарт, можно сделать так, чтобы при выполнении запроса период дат забирался из календаря в дашборде?

Да. Создаете в чарте параметр и на основе параметра делаете селектор в дашборде

Вопрос уже был ранее, уточню еще раз, может что-то поменялось.

Можно в datalens работать с таблицами на движке aggregationmergethree?

даже не могу придумать почему нет, но есть нюансы

если у вас там simpleaggrigation то просто ставите поверх полей агрегации и все

если же у вас там стейты, то работа с такими полями подразумевает мерджи

через интерфейс такое задать нельзя, так что делаете датасет на основании запроса в котором это делаете

скажите пожалуйста можно ли встроить чарт/дашборд даталенза в гугл таблицы?

нет

Скажите, а как сделать такую ссылку на дашборд, чтобы любой не авторизованный пользователь смог посмотреть его?

сделать его общедоступным

вопрос по фильтрации на уровне датасета: в датасете поставила фильтрацию по одному клиенту с целью, чтобы при построении отчета отображались данные только по нему. правильно ли я понимаю: что данная фильтрация распространяется только на те чарты, которые были созданы после того как я поставила фильтр?

если вы про фильтр по умолчанию, то да

Не подскажите, планируется ли обновлять геоданные по районам городов миллионников? В Екатеринбурге сейчас 8 районов, а в файле ru_mln_city_districts только 7. Спасибо!

DataLens не предоставляет данные, демодашборд это пример использования. А архив с границами результат партнерства с Геоинтеллект, добрая воля последнего то есть.

Добрый день, подскажите, делаю подключение, источник greenplum , при создании датасета , есть таблица фактов и таблица измерений , для связи использую ид типа bytea , но datalens определяет как неопознанный формат , как лучше сделать связь в таком случае ?

Для наибольшей скорости смените тип внутри БД. Если скорость не столь критична — преобразуйте тип внутри DataLens посредством SQL запроса. Подробнее об этом рассказано в документации.

Подскажите, пожалуйста есть ли какая-то интеграя трекера с дата ленс?

Можно ли подключение в дата ленсе настраивать как-то на трекер ?

Нет, но есть достаточно простой скрипт выгрузки данных трекера в базу

Почему может не подключаться к субд Postgres?

Данные коннектора абсолютно такие же, как и при подключении из Jupyter, но в DataLens вылазит ошибка ERR.DS_API.DB

Из DBeaver тоже подключение ок настраивается, проблемы только с DataLens

1) убедиться, что это не локалхост, 2) проверить, что IP-адреса ДЛ разрешены, 3) спросить в поддержке хостера БД, 4) спросить в поддержке ДЛ

Подскажите, а какая функция отвечает за массовую смену запятой на точку и есть ли такая в postgresql?

replace([Где меняем], ",", ".")

Подскажите есть возможность создать таблицу календарь?

Нет, это же не powerbi.

Сделайте таблицу календаря на стороне источника данных

Я делаю подключение к csv-файлу. В нем даты в формате DD.MM.YYYY. Заметила, что на графике у меня появились даты, которых не было в моей выгрузке. Так, я поняла, что в datalens они превратились в MM.DD.YYYY. Пробовала DATE_PARSE, но не помогло(

Что ещё можно проверить? Как привести даты к нужному формату?

Так date_parse и не работает с csv. Лучше приведите сразу в файле даты к виду ГГГГ-ММ-ДД

Сделал себе таблицу на движке AggregatingMergeTree в КХ и не могу понять как я могу ее использовать в даталенс, пишет неподдерживаемый формат (очевидно было)

получается только MergeTree таблицы можно использовать?

Дело в том, что некоторые поля в этой таблице у вас явно не для select * :))

Они предполагают что-то поверх будет агрегация, а может даже агрегация с Merge.

ДЛ об этом, конечно же, ничего знать не может.

Вывод: делайте представление, а уже поверх него датасет.

Если вы сделаете простой запрос к таблице с таким движком вы увидите там странные кеши и все будет понятно

Это да, я подумал что может даталенс как то может обработать сумстейт, но очевидно нет, просто было интересно

Столкнулся с тем, что фильтры как на уровне датасета так и в самих чартах не работаю т.е. в дашборде отображается все не смотря на фильтры примененные на уровне датасета и отдельного чарта. пример: в линейном чарте установлен фильтр выводить 5 событий (1 скрин), предварительное отображение - работает ок (2 скрин), в дашборде выводятся все события без применения фильтра (3 скрин). с чем это связано и как это можно решить?

Если у вас на дашборде есть селектор на то же поле, которое установлено фильтром в чарте, то селектор на дашборде отменяет действие фильтра внутри чарта

Добрый день. Только начали изучать тему DataLens, и сразу возник вопрос - может ли служить источником данных база mssql и mongo?

Да, может

Загружаю файл CSV выгруженный из другой проги, он имеет дату формата 2023-11-10T08:00:00+00:00 Дата ленс может распознать эту дату или нужно заранее где то обработать это поле?

Воспользуйтесь функцией DATETIME_PARSE. Подробнее об этом рассказано в документации.

Есть ли возможность подключения Амо CRM ?

нет

Надо на карту вывести города с объёмом продаж и пр.

Всё данные в экселе (csv), города указаны там же. Надо ли как-то отдельно дополнять координаты городов или карта сама их подтянет?

Надо заранее сделать координаты, карта их только показывает.

Columns in JOIN have different types.

Поймал такую ошибку.

Что то поломалось на Даталензе?

Инфу отображает, без фильтров.

Выберешь фильтр - часть фильтров показывают ошибку.

ERR.DS_API.DB.JOIN_COLUMN_TYPE_MISMATCH

Колонки, указанные в связи имеют разный типы данных.

В каждом условии связи необходимо указывать колонки, имеющие одинаковые типы.

Пол дня назад вроде все Ок было.

Спасибо!

Тип данных перепрыгнул на "Дата" - а там не все в формате даты видимо.

Как в DL при создании датасета сджойнить поля с разными типами данных?

в sql запросе я просто привожу оба поля к типу string, но тут такой функции не вижу

никак, только если будете делать на основе представления, в котором будет это приведение

Подскажите, как автоматические выгружать данные из ЯндексФормы в ДЛ?

Или нужно из ЯндексФормы в свою БД выгружать через интеграцию с Cloud Functions и делать запрос к своей БД?

Напрямую никак не свяжете формы и ДЛ, только как вы написали

Здравствуйте, подскажите, в каком формате датасеты хранят свои настройки? например я построил sql запрос для датасета, в каком формате он будет лежать?

нужно имея готовый датасет, иметь возможность переключиться на другой источник со схожей структурой,

но при построении датасета нужно конкретно указывать базу, вот и думаю, может как-то скриптом можно решить эту проблему

Вопрос - как обойти ограничение по объединению данных из разных подключений?

Задача - посчитать конверсию из кликов в регистрации и вывести на дашборд в виде Индикатора. Данные о кликах и регистрациях находятся в разных датасетах и подключениях. Их вывести на дашборд в виде отдельных индикаторов не проблема. Но проблема вывести их соотношение. Так как данные из разных подключений. А Индикатор не является мультидатасетным чартом, поэтому объединить данные уровне чарта тоже нельзя.

Есть ли какой-нибудь life-hack?

Нет. Выносите данные в общую базу.

Как между воркбуков копировать датасеты? Не увидел кнопки

Воркбук изолирован от всего остального. Скопировать что-то из одного воркбука в другой не удастся

Загружаю csv файл. Есть поле в котором целое и дробное число 50 и 789,20, при приведении типа сохраняется только один из этих показателей. Если выбрано целое, то отобразиться только значение 50 и все дробные будут пустыми

потому что должна быть точка

Только начал знакомиться с DataLens. Такой вопрос: можно ли сделать автоматическое обновление информации в датасетах и дашбордах? Источник данных - ClickHouse. Нужно ли для этого пользоваться управляемой бд ClickHouse на Yandex.Cloud?

Как я понял, при простом подключении к ClickHouse нужно будет вручную каждый раз обновлять поля при обновлении данных в источнике. Хотелось бы это автоматизировать))

при каждой загрузке чарта в базу уходит запрос, который берет актуальные данные

Ситуация:

- есть Clickhouse MV

- есть таблица которую наполняет MV

- есть поле типа SimpleAggregateFunction(sum, Decimal(38,6))

Создаю Dataset в DataLens (opensource)

Поле типа SimpleAggregateFunction(sum, Decimal(38,6)) подсвечивается как Unsupported type

Соответсвенно использовать его не могу

Подскажите плиз в чем проблема и как быть в таком случае?

проблема в том, что в этом поле хранится State

просто сделайте select * from таблица и увидите

Не получается подключиться к postgres, ошибка conection timed out, конфиг постгрес меняла и hba тоже, подскажите, что еще проверить?

проверять открыт ли порт

подскажите, что за ошибка и как пофиксить? (таблица на кликхаусе)

Там прямым текстом написано, что в код представления надо добавить настройку

А из облачного Datalens можно подключиться к внешнему ClickHouse?

Интересует возможность, если да, пойду ошибки ковырять

внешнему относительно инфраструктуры Яндекса? Можно

Как настроить чарт, чтобы в нем можно было прописать формулу, где данные беруются из двух разных датасетов?

На основе разных датасетов нельзя ничего считать

Коллеги, есть ли аналог функции «отменить свертывание столбцов» как в powerbi? Нужно из таблицы в Гугл агрегированной по годам разложить данные в формате показатель/год/значение. Сейчас год — это название столбца, под ним значения

нет

Почему не все поля имеющиеся в Битриксе, попадают в Datalens?

Потому что перечень полей определяется АПИ битрикса

Подключение через Гугл sheets. Стоит автоматическое обновление.

Добавляю данные в лист, но обновления данных в Подключениях не происходит.

В чем может быть дело?

Подскажите пожалуйста.

обновление не чаще раза в пол часа

Добрый день, подскажите пожалуйста, если в качестве подключения залит csv файл, можно ли его скачать к себе обратно?

через табличный чарт

Всем привет! Скажите, пожалуйста, а как подключить yandex таблицы к yandex data lens?

На данный момент прямого подключения нет.

Я правильно понял что нельзя собрать датасет на разных подключений ?

можно это сделать через костыль) Загружаете в гугл-таблицы ваши данные из всех источников и соединяете их между собой (не более 10 листов)

Здравствуйте. Как подключить БД MySLQ?

Стандартным коннектором, он есть среди подключений

У меня подключена Метрика и я хочу видеть изменения по визитам в течении года по месяцам в таблице. Но не могу составить такую таблицу.

Т.е. таблица нужна с 12 колонками/месяцами.

Подскажите в к какую сторону копать

https://cloud.yandex.ru/docs/datalens/visualization-ref/pivot-table-chart

Можно ли все настройки аккаунта DataLens перенести на другой аккаунт?

кажется, что на данный момент нет. если только API не внедрят для даталенса с такими возможностями.

Подскажите, пожалуйста, как отсортировать диаграмму по measure values,если они не вставляются в сортировку?

measure values нужно в сортировку добавить, а вы мощность на скрине добавляете

Можно как-нибудь сделать дашборд на нескольких языках?

Т.е. добавить выпадающее меню с выбором языка.

Думаю, что пока нет. По идее можно через параметры. Но они будут действовать только на содержимое чартов. Названия чартов, дашборда, иные текстовые пока, если не ошибаюсь, пока не параметризуются. Т.е. на данный момент остается только делать копии чартов/дашбордов

Подскажите, пожалуйста, возможно ли в DataLens разделить столбец на несколько по каким-то разделителям, и чтобы на основе "примера" измененной таблицы (как в Power Query (Power Bi), происходили автоматические изменения поступающих данных?

Да, это формулы работы с массивами. SLICE, UNNEST.

Подскажите, есть ли решение для следующей задачи:

Есть стандартизированный дашборд с клиентскими показателями. Несколько датасетов, много чартов (около 30).

Стоит задача масштабировать дашборд, заменяя только подключения. Вижу, что дублировать позволяет только каждый дашборд, датасет и чарт вручную.

Неужели нет возможности массового копирования? Или копирования всей папки?

Нет

Метрику заставить данные сквозной аналитики передавать в DataLens можно? через апи? или стандартная умеет интеграция

Попробуйте подключить стандартную, может там есть что нужно. Если нет, то в БД складывайте аналитику из Метрики, а оттуда уже в ДЛ.

Вопрос напрямую не относится к Datalens, скорее адресуется к общей аналитическо-инфраструктурной экспертизе.

Возьмем какую-нибудь OLAP систему, например те же Stat-отчеты. Предположим, что у нас в отчете есть измерение country и показатель users_count.

Если мы хотим иметь возможность смотреть кол-ва пользователей не только для отделных стран, но и для сервиса в целом, то нам нужно иметь значение измерения 'total', куда мы будем складывать суммарное значение по всем странам.

Такой способ, кажется, потенциально проблематичен - получается дублирование одних и тех же данных, и например, значение для измерения total может разойтись с суммой по всем странам, а мы этого и не заметим.

Если же взять новый визард, то там не нужно никакого отдельного total-а - мы просто игнорируем столбец country и используем в визарде аггрегатор SUM.

Вопрос - не является ли ведение значения total у измерения плохой практикой? Или это две какие-то разные парадигмы? Подскажите, куда тут копать, явно я не первый задаюсь таким вопросом, наверняка это какая-то известная история, которая описана в статьях и книгах?

кажется вы переусложняете

никакому тоталу отдельно существовать не нужно, он всегда может быть собран с нужным уровнем детализации простым запросом отдельное существование может быть обусловлено оптимизацией использования ресурсов

в этом случае его пересчет реализуется тригерами и никаких разночтений не возникнет

а если и возникнут из-за сбоев, то всегда могут быть пересчитаны

Можно ли использовать данные для вычислений/условий, если они содержат кавычки? Можно ли по другому работать с такими данными?

Одинарные/двойные кавычки много где зарезервированы под определение начала и конца строки. Плюс у вас на скрине слева две кавычки, а справа три, некорректно. Но можно комбинировать кавычки в строках - гляньте здесь описание типа https://cloud.yandex.ru/docs/datalens/concepts/data-types#string

У DataLens есть возможность написать пользовательский запрос с параметрами? (Аналогично функционалу GDS)

О такой возможности неизвестно. Только если QL-чарт.

Коллеги, можно как-нибудь в в DataLens строки из поля переименовать все?

Существующие строки - нет, нельзя, конечно.

Можно добавить поле вычисляемое, где переименование задать через CASE, например.

Есть ли в DL возможность открыть дашборд по ссылке, в которую зашит параметр запроса. Поясню на примере. Сейчас у нас в PBI реализован дашборд "Обзор партнёра". В CRM в карточке партнёра есть кнопка, по нажатию которой вызывается этот дашборд, а параметром передаётся UID партнёра. PBI принимает эту ссылку, вытаскивает из неё UID и вставляет его как значение фильтра для дашборда.

В URL можно завести параметр и при переходе по ссылке автоматом встанет фильтр.

Коллеги, подскажите как привести к текстовому формату вот такую строку "\u041d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439 \u043b\u0438\u0434......." БД Postgresql, источник -поле из Битрикс 24 с множественным выбором значений. Или хотя бы что почитать?

поискать функции по преобразованию бинарного типа к строковому

В даталенс можно сделать кастомный тултип на js? например иконку для копирования названия чего-либо

Кастомный тултип на JS сделать нельзя.

Есть ли какой-то ресурс, где можно взять геоточки областей России и районов в разных областях?

https://geointellect.com/files/geo_for_datalens.zip

Подскажите, пожалуйста, можно ли сделать интеграцию сайта с непубличным дашбордом DataLens через htlm элемент — iframe?

Возможно каким-либо образом передать аутентификационные данные для просмотра дашборда через iframe?

Нет

1. Подскажите пжл, есть ли возможность собирать статистику посещений дашборда DataLens?

2. Есть возможность рассылки дашбордов DataLens по электронной почте?

1. Сейчас нет

2. Да, можно отправлять ссылку на дашборды в письмах

Подскажите пожалуйста, а есть ли возможность сохранять артифакты дашборда и его компонентов (подключения, датасеты, чарты) в Git (в GitLab) и затем автоматически переносить между "стендами", например с помощью GitLab CI/CD?

Например, у меня есть тестовая директория, где я разрабатываю дашборд. Версии сохраняются в Git "коммитами в тестовую ветку", поэтому я могу вернуться к любому "коммиту". Когда я доволен результатом, я делаю "коммит в master ветку" и с помощью CI/CD всё автоматически копируется в продуктивную директорию.

нет

Т.е. переносить только вручную, например копированием в продуктивную директорию?

Да

Есть возможность обратной записи в базу данных через datalens? Или инструмент в облаке, с помощью которого можно сделать форму ввода и вызывать из datalens? Спасибо!

нельзя

Подскажите пожалуйста, может кто-нибудь сталкивался с такой проблемой

Случайно удалил нужный файл из облака в Yandex DataLens

Его можно как то восстановить или он потерян навсегда

Если речь по объект DataLens (чарт, дашборд, итп) - обратитесь в поддержку с детальным описанием того, что было удалено. Команда постарается помочь.

Можно ли как то смотреть статистику посещаемости дэшей?

Нет

Хочу добавить карту с геоточками в свой дашборд, есть адреса но нет координат. Чтоб не искать каждый отдельно и копировать, подскажите есть возможность выгрузить координаты автоматически? Может есть еще какие-нибудь варианты?

Плагины к гугл шитс, кастомные парсеры для яндекс карт (везде есть ограничения по условиям использования). Ссылка на парсер на питоне есть на вкладке Гео на демодашборде. Через опенстритмап есть плагин для qgis номинатум. За небольшие деньги можно сервисом дадата также геокодировать

Можно ли выгружать из 1С данные в формате CSV?

Будет программа считывать информацию?

Можно, а затем загрузить в Clickhouse

Подскажите, пожалуйста, работает ли сейчас функция TOPONYM_TO_GEOPOLYGON, которая преобразует топоним в геополигон?

На вход по теории идет наименование рагиона: TOPONYM_TO_GEOPOLYGON("Алтайский край")

но в итоге выдает ошибку

нет, больше не работает но есть файлы с полигонами, вы можете залить данные из них в свою базу

Подскажи пожалуйста, возможно ли использовать условное форматирование для чарта типа "индикатор"?

Там только цвет шрифта меняется и его размер.

подключился к гугл таблице, но почему-то заголовок не определился, не пойму, это можно как-то поправить?

Там в манулах по подключению есть инфа, что нужно проверить.

Вкратце, первая строка - заголовки, нет пустых строк, тип ячеек везде в столбах одинаковый и т.п..

В общем, таблица должна быть правильно организована.

Добрый день, в DL нет закрепление столбцов, как g.таблицах или Excel?

Нет

Подскажите, есть ли какой-то курс/тутор/гайд о том, как писать чарты на java script’е?

Полно, отличные, но на английском. Ключевое здесь — название библиотеки, d3.js

подскажите, выгружать данные из дашборда можно только в экселе? или есть какие-то скрытые опции типа сохранить график как картинку или скачать отчет в пптх)) ?

То что вам надо здесь делается только средствами браузера/компа

Я создал подключение, настроил датасет, чарты, дашборд и поместил всё это в одну папку.

В дальнейшем будет меняться только подключение на другую табличку. Могу ли я скопировать эту папку, чтобы не переделывать весь этот путь с нуля?

Можете создать копии элементов, но далее надо будет нужно менять в них датасеты

Подскажите, пожалуйста, можно ли в даталенсе строить графики на основе json? Тоесть одно из полей БД - это json

Нет, только парсить

Подскажите, можно ли отправлять дашборд по расписанию на почту, либо отфильтрованный XLSX-файл?

Не нашел это через поиск.

Нет

Можно ли скопировать(не переместить) дашборд со всеми его компонентами в другую папку? У меня для разных клиентов иногда нужно немного дашборд править, при этом меняется только подключение и несколько визуальных элементов.

Можно сохранять копии чартов и собрать новый дашборд

Подскажите, пожалуйста, есть ли у Datalens roadmap?

Очень интересует такой вопрос - планируется ли введение условного форматирования для табличных данных (пример: если значение >100% , то заливка зелёным. Градиент не подходит)

для градиента можно задать пороговые значения. Роадмапа публичного нет

Графики тоже есть, просто когда очень много показателей, думаю не совсем удобно все их по графикам отслеживать, а маленький квадратик, который загорается зелёным или красным вполне удобно...

Если бы ещё работал...

Если кратко по вашей проблеме - разбирайтесь с формулами и данными вашими. Если ошибка приходит в момент добавления фильтра, а без него формула работает - что-то у вас значит не так, но мы тут не поможем ситуацию целиком видеть надо

Прорабатываем возможность внедрения Yandex DataLens в компании. Планируется связка 1С -> YDL. На данном этапе необходимо для IT и СБ компании предоставить информацию о лицензировании, о местонахождения места хранении информации из 1С (яндекс или наши сервера - вопрос связан с хранением персональных данных), системных требованиях и т.д. Где можно найти эту информацию

Куда положите данные, там и будут лежать.

Ваш вопрос решается еще до ДЛ

Подскажите пожалуйста, как можно реализовать ячейку в которой будет сравниваться показатель за этот месяц и показатель за предыдущий месяц? Как можно сделать этот сдвиг на месяц?

Функция AGO.

Подскажите, пожалуйста. У меня есть данные месяца, а мне нужно реализовать срез за последние 7 дней, с помощью чего можно сделать?)

взять только те значения дата которых больше, чем текущий день - 7

А картинки в дашборд загружаются исключительно из Object Storage? Смотрю в демо дашборде, написано, что хранить файлы до 1гб бесплатно. Создаю багет, а яндекс просит платежную информацию... Все бы ничего, но чтобы загрузить картинку - я должен кучу информации внести, сделать фотку директора рядом с паспортом, посадить дерево, построить дом....(утрировал)

Да, исключительно оттуда.

Всем привет! Подскажите, можно ли на сайт разместить дашборд DL? и есть ли примеры?

Есть. В документации есть про встраивание чартов и дашбордов. Но только с публичными дб так можно

Всем привет. Можно ли как-то сделать так, чтобы фильтр на дашборде не отменял фильтр чарта? У меня на дашборде два чарта завязаны на одном датасете, но на одном из чартов нужно, чтобы отображалась не вся информация. Добавил фильтр в чарт, затем добавил фильтр на дашборд. Но фильтр с дашборда отменяет действие фильтра чарта. А мне не надо так)

Делайте дубль нужного поля и используйте в фильтре чарта, а в селектор ставьте оригинальное поле

Кто-то сталкивался с проблемой выгрузки отчета из DL в формате эксель? При скачивании высвечивается ошибка экспорта данных, хотя раньше все было ок. Можно как-то решить эту проблему?

CSV норм скачивается.

А проблема с XLSX и правда есть.

Добрый день, подскажите можно ли как-то раздробить колонку по условному знаку, например есть

Поле 1 со значениями: Параметр1 - Параметр2 - Параметр3

По итогу нужно получить:

Поле 1 со значением Параметр1

Поле 2 со значением Параметр2

Поле 3 со значением Параметр3

https://cloud.yandex.ru/docs/datalens/function-ref/SPLIT

Всем привет, а может кто-то подсказать реально ли даталенс подключить не в облаке, а на сервере компании?

Нет

Добрый день! Есть вопрос: прохожу курс по datalens и у меня есть сервис, конкретно promopult. У них есть api для получения данных. Можно ли как-то по api получать данные в datalens?

P.S. только начала курс, может там еще это будет, но интересно)

Нет

Сейчас существует версия datalens в on-premises или только в облаке?

только в облаке

Есть ли возможность встраивания дашборда на сайт через iFrame

Чарта есть

Подскажите пожалуйста можно ли каким-то образом в dataLens работать с таким видом данных, как длительность? У меня есть среднее время доставки по разным городом и мне было бы нужно для определённых групп городов, находить среднее значение этого параметра, как это можно сделать?

Это не данные, это строковое представление. Соответственно нужно выполнить обратное действие и превратить строку в длительность, которая выражается числом

А как подобную строку можно преобразовать в число?

строка это массив, достаете часть строки, переводите в число, и далее..

Можете пожалуйста подсказать какие команды тут могут помочь? А то пока не могу найти нужные

Откройте список строковых функций. Подстроки, сплит.

Выделенные ими числа надо будет через функции преобразования типов превратить в числа

А получается формулу сплит нельзя использовать если гугл таблицы являются источниками?

Для гугла обязательно указать аргумент part_index. Без него вернётся массив. Точнее не вернётся, потому что гугл

Привет! Подскажите а есть возможность поставить темную тему при открытии с другого компьютера дашборда по ссылке ?

Тему в своем браузере определяет пользователь :)

При отображении в Iframe можно задать тему

Всем доброго дня! Хотелось бы узнать, есть ли в Даталенс счетчик пользователей или какой-нибудь инстремент для мониторинга активности пользователей?

нет

но вы можете запросить статистику у поддержки

Здравствуйте, а возможен перенос из Qlik View.

В Яндекс Data Leans?

Только пересобирать

Друзья, что значит Dataset data are not materialized и как сделать materialized?)

это что-то древнее на данных Метрики нельзя делать публичный ДБ

Не разобрался в подходящей теме. Уточните, пожалуйста, можно ли как-то получить маршрут с Яндекс Карт в виде геоточек, чтобы затем из них сделать полилинейную карту?

Если существует какой-то известный метод или дока - ткните, пожалуйста. Буду благодарен

Средствами ДЛ нельзя

Добрый день, подскажите, возможно ли проводить расчеты в DL

Например рассчитать чистый доход= зачисления-списания-бонусы?

И прочие более сложные формулы как в PBI?

Почему бы и нет? Все равно они в вашей базе будут выполняться

Подскажите, возможно ли настроить автоматическую отправку отчетов на пул почт?

Силами даталенса нет.

Есть ли возможность в имеющийся дашборд поместить новые данные и построить автоматически визализаци на них?

Дашборд на данных из БД обновляется сам. Файлы должны обновлять вы сами

Я могу в дашборде настроить линки, по которым дашборд будет прокручиваться вниз? Аля оглавление в markdown?

а дашборде есть своё оглавление, правда только в админке. В паблике оглавления нет

Добрый день, подскажите, возможно ли получение данных через Json по ключу?

если у вас подключение через SQL-скрипт, то да

Здравствуйте. Подскажите, как в дата ленс отобразить аналитику по своему подкасту, который я загрузила на яндекс музыку

https://cloud.yandex.ru/docs/tutorials/datalens/data-from-podcasts

Есть задача по построению структурированного табличного отчета.

Суть вопроса - есть бд где есть иерархическая взаимосвязь между полями типа

{TableА:

{

Field1: ID,

Field2: value,

…

Sum: value

}

{TableB:

{

Field1: ID,

Field2: link_to_partent_id_in_table_A,

…

Sum: value

}

{TableC:

{

Field1: ID,

Field2: link_to_partent_id_in_table_B,

…

Sum: value

}

т.е.

А -> B (несколько)-> C (несколько)

При этом, сумма по полям таблиц нижнего уровня не может быть больше значения "сумма" верхнего уровня. При попытке вывести данные в виде таблицы без агрегации по сумме на уровне таблицы А, получаю следующее:

{А.1 sum: 100}

{А.2 sum: 100 - В.1 sum:50 - С.1 sum:10}

{А.2 sum: 100 - В.1 sum:50 - С.2 sum:20}

{А.2 sum: 100 - В.1 sum:50 - С.3 sum:10}

С агрегацией

А.1 sum:100 (правильно)

А.2 sum:300 (не правильно)

В.1 sum:150 (не правильно)

…

Это получается, т.к. у меня выбрано LEFT JOIN для таблицы A.

Если делать INNER JOIN между всеми таблицами, то без агрегации вернутся только:

{А.2 sum: 100 - В.1 sum:50 - С.1 sum:10}

{А.2 sum: 100 - В.1 sum:50 - С.2 sum:20}

{А.2 sum: 100 - В.1 sum:50 - С.3 sum:10}

А с ней:

А1 - не вернется (не правильно)

А.2 sum:300 (не правильно)

В.1 sum:150 (не правильно)

Наверняка решение лежит на поверхности, но пока у меня складывается впечатление, что я не правильно понял суть datalens и с помощью расчетных полей и фильтров настроить правильное отображение не получится….

Если кто-нибудь подскажет хотя бы куда копать, буду очень благодарен

когда вы делаете left join , то вы к каждой строке из первой таблицы присоединяете все подходящие строки из второй и т.д.

В итоге у вас ситуация, когда в 1 таблице одна строка, во второй две строки, в третей таблице у вас по 2 строки для каждой строки из второй таблицы)

Т.е. у вас строка из самой первой таблицы повторяется 4 раза... и сумма у вас считается по 4 строкам...

А картинки в дэшборд засунуть - это нужно покупать хранилище ?

Чтобы разместить изображение в виджете, воспользуйтесь облачным сервисом Yandex Object Storage. Сервис бесплатен, если у вас не больше 1 ГБ хранения в стандартном хранилище в месяц

В даталенсе есть возможность отправлять данные о просмотрах определенного дашборда, как это сделано в лукере, например?

нет

Есть такой вопрос: возможно ли встроить динамический дашборд в свой онлайн-сервис размещенный на своих мощностях, при условии, что данные из этой же системы будут регулярно подтягиваться в дашборд?

Можно, iframe и ссылка на публичный дашборд в помощь. В доке есть код

Неужели невозможно поменять цвет линии на линейном графике, если линия только одна?

На цвета нажмите. Там шестеренка должна появиться

Коллеги, доброго дня ещё раз! Подскажите - как мне графически сделать из нескольких индикаторов один блок? Какой-то рамкой графической возможно объединить? Как есть и как надо во вложении.

Не объедините. Один чарт - один виджет

Реально ли выстроить на дашбордах любыми костылями какую-то обратную связь со стороны клиента, то есть чтобы действия клиента, например посылали запросы на какой-то сервер

Нет. Вы можете читать из лога был ли некий запрос

не могу придумать как настроить, чтобы допом показывались те, у которых в поле с датой будет null

Сделать вычисляемое поле - "Дата Актуальности" = IF(ЭтаЗадачаЗакрыта = True, ДатаЗакрытия, Now())

В результате, поле это будет всегда заполнено: или датой закрытия, или текущей датой (ведь все незакрытые задачи (условно) могут быть закрыты не ранее чем сегодня

Как вытащить данные из даталенс при помощи апи?

никак можно разве что встраивать дашборды или чарты в виде фрейма на свой ресурс

Коллеги, работаю в связке в Google Sheets. Задолбали длинные загрузки чартов, датасетов. Сегодня особенно, на каждом шаге тормозит.

Вопрос, это последствия использования гугл-таблиц или какие-то тех работы?

чем больше весит файл на гугле, тем дольше он экспортируется, особенно если там много столбцов и/или формул.

У меня чарты начинают подглючивать уже при 150к строках, а при 200+к строках данные не загружаются совсем. в инспекторе можете посмотреть на что сколько времени ушло

Увидел инфу про геоаналитику в DataLens. Это тоже самому можно поднять, или занести куда-то нужно?)

Поднимайте сами, нужны чарт Карта и данные. В облачной версии.

Уважаемые знатоки, прошу подсказать - каким способом можно упорядочить слова / цвета в легенде на карте? Факт во вложении. А нужно, чтобы был порядок - от красного (сверху) до зелёного (или наоборот). Заранее спасибо!

в название категории добавляете цифру, типа 1 - низкое и т.д.

Подскажите, пожалуйста, есть ли мобильная версия datalens?

просмотр дашборда с мобилки возможен, создание вряд ли

В Datalens возможно настроить оповещение по графикам? Или это всё же только вывод определённых значений в дашборды.

https://cloud.yandex.ru/docs/monitoring/quickstart

Можно где-то посмотреть roadmap datalens?

Нет

Не по теме Datalens, но по теме сервисов облака. Кто-то сталкивался с проблемой подключения Excel к Postgres managed Service? Суть в том, что нужно иметь данные из postgres яндекса в том числе доступные в power pivot/power bi. А к постгресу Excel не цепляется, точнее выгружает меньшее количество данных, чем нужно, а потом падает. Драйвера odbc поставлены, test connection successful. А данные не грузит

Это, наверное, даже не к облаку, а к Excel. У него явно есть лимиты. Ну Excel не для этого вроде Это никак не интерфейс для БД

существуют ли нормальные и простые способы раздать разные права на просмотр для аккаунтов без яндексИд?

ни ИД ни федерации? нет

Добрый день коллеги, поделитесь пожалуйста с соурсом для установка data lens на виртуальных серверах

https://github.com/datalens-tech/datalens

DataLens умеет ли в Push модель взаимодействия при обновлении данных с источника ?

Проблематика есть большое количество источников, которые обновляются раз в день

Кажется, что кэш на уровне соединения решает проблему, но как понимаю если поставить большое количество сек на подключении появляется риск позднего отображения данных (так ли это ? или это как раз таки и есть та волшебная пилюля которая нужна) ?

это не нужно, так как ДЛ не хранит данные. Следовательно, ему не нужно знать изменились ли они

Кто знает можно скачать файл или найти файл csv который выложил в дата ленс

Можно косвенно — создать на основе файла датасет и чарт-таблицу, добавить в чарт-таблицу все поля из датасета и скачать содержимое таблицы.

Здравствуйте всем, есть ли возможность развернуть DataLens на своем сервере? Не могу найти доку

https://github.com/datalens-tech

Подскажите, плз, это имеется в виду, что мы не сможем создавать новые объекты и редактировать уже имеющиеся?

верно

Кто-нибудь знает, возможно ли в даталенс сделать онлайн калькулятор? Логика: красивое прогнозирование доходов для менеджеров в зависимости от параметров

Используйте параметры. В демо есть пример с курсами валют.

Подскажите, а есть ли у datalens API чтобы создавать воркбуки, чарты, подключения?

Нет

Никто не запомнил, что за инструмент в яндексе вместо airflow? Где просто пишется скрипт, который должен исполняться в нужное время. Интересно было бы почитать про такое

При создании новых объектов (подключений, датасетов, чартов, дешбордов) наш инстанс DL дефолтно выдает права всем на них. Чтобы бороться с этим, после создания любого объекта надо не забыть отозвать права у всех. Можно как-то настроить дефолтно не выдавать никому права ни на какой объект? Не нашел про это в документации.

Отзовите их у папки в которой создается объект

Привет, подскажите пжл, а можно ли использовать Datalens локально на своем сервере? Нет сильного желания пробрасывать базу наружу. (postgresql)

Нет, это облачное решение

Скажите пожалуйста, вот я создал счетчик для своего сайта в яндекс метрике, добавил цели, создал в даталенсе подключение к своему счетчику к яндекс метрике

и теперь я хочу увидеть данные по событиям которые я добавил в цели, как их вытащить в даталенс

Все данные, доступные через прямое подключение, вытаскиваются автоматически. Если их нет — нужно выгружать в ClickHouse. Инструкция.

помогите, пожалуйста, можно ли восстановить удаленное подключение?

подключение - это пяток параметров. Можно создать заново

Всем привет, подскажите как сделать связку подключенной федерации через ADFS в ЯО и Datalens, так чтобы под федеративными УЗ ходить в Datalens. Может есть готовый ман?

https://cloud.yandex.ru/docs/datalens/security/#federated-user

Есть ли возможность управлять доступами к датасетам и row-level не с помощью GUI, а как-нибудь через api, таблички или типа того? Проблема: у меня шесть датасетов, каждого юзера надо добавлять руками в IAM, ждать подтверждение по почте, потом руками в каждый датасет и т.д., очень много времени на это уходит

так как пока API вообще нет, то и этой функции нет )

Подскажите, пожалуйста, можно ли дать человеку право на просмотр карты так, чтобы он не видел другие карты/проекты в этом пространстве?

Добрый день, подскажите, пожалуйста, как можно создать корпоративную учетную запись для работы в DL с созданием корпоративного облачного хранилища в яндекс облако для организации ?

создаете аккаунт, привязываете к нему платежный аккаунт указав что это юрлицо и соответствующие данные, ждете подтверждения, создаете организацию - вуаля

Добрый день. Заранее прошу прощения за "нубский" вопрос - возможно привязать конкретного пользователя к определенным настройкам селектора в дашборде?

нет

планируем начать использовать datalens.. это наш первый шаг в сторону сервисов яндекса )

подскажите, я правильно понимаю, что для создания организации возможно использовать только "обычную" учётку яндекса?

нет никаких "корпоративных" альтернатив?

у нас планируется 100+ пользователей, и да, для них видимо можно настроить федерацию с AD FS, но немного смущает, что "главный" - условный Вася Пупкин со своим персональным номером телефона и т.д.

Мы на бизнес тарифе) Ящики корпоративные добавляем только. Можно и личные, если надо, конечно.

Коллеги, подскажите, пожалуйста, решение Yandex DataLens это исключительно облачный инструмент, или есть возможность инструментами яндекса развернуть цепочку по принципу IaaS "КХД(внутренний контур) -> Clickhouse + ETL +Data Lens"(яндекс облако)?

Облачный

Подскажите пожалуйста, меня добавили в организацию, я перешел по ссылке. В разделе где учетная запись появилась эта организация, но я не могу посмотреть ее содержимое. Когда я ее выбираю, открывается окно "Создайте ваше первое облако" . Нажимаю создать выдает ошибку "Permission denied".

В организацию добавили, а к облаку нет

Можно ли сохранить pdf файлом лист дашборда с выставленными селекторами? Если нет, то каким форматом можно

Никаким. Только скриншот делать

Подскажите, пожалуйста, если я хочу настроить связку ДЛ-PSQL(локальный инстанс), но при этом не хочу отдавать порт условно 5432 всему интернету, есть ли гдето список хостнеймов и/или подсетей, с которых можно разрешить доступ?

https://cloud.yandex.ru/docs/datalens/concepts/connection

У нас есть отчет по продажам:

Иванов - 100руб.

Петров - 200руб.

Подскажите плз как сделать так, чтобы каждый из них видел только данные по себе, а другие не видел

https://cloud.yandex.ru/docs/datalens/security/row-level-security

Нам необходимо выдать пользователю права на просмотр дэшборда, но так, чтобы он не мог ничего иного просматривать. Сейчас удалось выдать права на дэшборд, но пользователь видит список всех пользователей нашей организации.

Да сейчас так

Ввожу oAuth от другого аккаунта, пытаясь создать новое подключение к метрике, но не даёт выбрать счетчики. Что делать?

Точно есть. Проблему решил через предоставление доступа к отдельным, нужным мне счетчикам с другого аккаунта

Подскажите пожалуйста, можно быть в нескольких организациях одному пользователю?

Да

Пытаюсь дать пользователю права на дашборд. У меня есть только кнопка Пригласить, а не Добавить. Надо сначала пригласить. А после того, как примет приглашение, увижу его в списке и смогу добавить?

Да

Как можно настроить селектор для показа определённого значения, одному аккаунту? То есть вариант 1= аккаунт 1

https://cloud.yandex.ru/docs/datalens/operations/dashboard/create-alias

Такой вопрос у нас на всех чартах по умолчанию стоит доступ для всех, есть возможность выделить все чарты и убрать этот доступ?

Не, по одному придется.

Здравствуйте. А копировать дашборд для другой организации всё ещё никак нельзя?

Все еще

По поводу разграничений доступов для iframe еще нет никаких апдейтов?

Может какие-то костыли существуют?

Нет

Добрый день! Сегодня СБ в компании сказала, что они опасаются, что даталенс не безопасен для данных и мы можем их слить таким образом. Есть ли аргументы, которые скажут им, что это впринципе безопасно. Дашборды естественно закрытые все. Или они правы и не стоит туда данные компании заливать?

Данные в ДЛ не заливаются. Он работает с вашими источниками, делая к ним запросы.

Доступ к самому ДЛ вы выдаете сами своим сотрудникам.

Соответственно слить данные могут только сотрудники с тем же успехом, как из любой другой вашей системы, работающей с этими данными.

Если вы опасаетесь функции экспорта, то их вы можете запретить. И они так же есть во многих системах типа 1С и SUP.

Уровень безопасности подключения ДЛ к вашим источникам зависит от вас. Можете настроить по безопасному протоколу и использовать сертификаты.

Так же вы можете ознакомиться с разделом про безопасность облачныхьсервисов в документации.

Как правило, опасения возникают у тех СБ которые и близко не дотягивают до уровня безопасности, обеспечиваемого облачным сервисом

Вроде когда-то попадалась информация, что дашборды можно на свой сайт выводить?

Есть сейчас такое ? Или убрали, где можно почитать ?

И второй вопрос, можно ли убрать надпись что сделано в Даталенс ? Например в комкерческой версии Даталенз?

Спасибо!

Коммерческой версии нет А выводить дашборды можно, но только публичные, через фреймы

Подскажите пожалуйста:

1. Можно ли использовать Datalens в качестве инструмента встроенной аналитики (embedded analytics)?

2. Возможно ли авторизовать пользователя во внешней аналитической системе, используя аккаунт родительского сервиса?

Увы, встраивать можно только публичные дашборды. Это может быть вариантом, так как по сути к дашборду имеет доступ только авторизованный именно для него пользователь, но дыра в безопасности все равно будет.

подскажите, версия dalalens из opensource:

- поддерживает ли аутентификацию, oauth или radius?

- есть ли в ней система прав для коллекций/воркбуков?

цель - завести пользователей, и разграничить доступ к дашбордам

нет, нету

OS - версия, это ядро/движок

можно надеяться и ждать, что кто-то сделает и вольет в OS свое решение.

Но в целом, все что про аутентификацию имеет множество нюансов. В том числе и в плане сертификации и правовой.

Подскажите, с чем может быть связана проблема - сделала дашборд публичным, копирую ссылку, при переходе внешнего пользователя один чарт не отражается дб публичным сделали до того, как этот чарт туда добавили

значит зайдите в публикацию и этот чарт тоже включите ну где вы ползунок двигали публикации, там же ниже

Всем привет, подскажите, пожалуйста, можно ли как-то выдать доступ пользователю username@company.ru в облачном datalens, но чтобы внутри организации он мог открывать доступ, а дома, например, нет (без vpn, то есть вне сети).

Какие best practice организации доступа к облаку вне дверей компании (без vpn)?

Достаточно линка на нужный раздел документации, буду крайне благодарен)

Вы можете настроить федерацию учетных записей так, что аутентифицироваться пользователь мог только в корпоративной сети. Например, разместив корпоративный Idp в локальной/корпоративной сети

https://cloud.yandex.ru/docs/organization/concepts/add-federation

Всем привет! Подскажите воз-можно ли реализовать мою задумку или много хочу. Есть вебсервис с авторизацией пользоваталей, есть БД ydb. Хочу запилить дашбор на свой сервис, чтобы данные тянулись из одной таблицы в ydb, но для каждого user стоял свой фильтр и не показывались данные других users. На сколько это осуществимо и на сколько это выгодно при использовании serverless ресурсов.

а данный момент этого нет

Планируется ли создание прав на редактирование чартов без возможности сохранить изменения в рамках кейса селф сервис аналитики? Или хотябы чтобы пользователь мог сохранять чарты только как дубликат с ограниченным сроком жизни и через день, например, удалялся)

Может быть есть другие идеи как пользователю дать возможность покрутить данные, без копирования воркбука со всеми чартами

Для таких задач подходит MarketPlace. По сути, это является тем же копированием воркбуков.

Можно ли внутри воркбука вести командную разработку для одного отчёта без потерь? Например, один аналитик дорабатывает датасеты, другой доделывает визуальную часть?

Можно

Существует ли план развития продукта Yandex.DataLens? Где можно посмотреть?

публичного плана пока нет. Есть идея сделать отдельный топик про планы, в закрепе которого фиксировать текущие планы (с явным дисклеймером того, что они могут меняться).

У меня только один вопрос - будет ли возможность добавлять в воркбук дашборды по одному?

Текущий вариант прям сильно больно.

можно отжать те объекты, которые не хочешь мигрировать

Немного пугает эта надпись ) Я правильно понимаю, что после включения воркбуков ничего не изменится, пока я не перенесу объект в воркбук

На этом шаге - действительно, выглядит пугающе.

Сам факт включения воркбуков ничего не изменит и не поломает. Вы как минимум увидите баннер и красивую сторис про воркбуки)

Права доступа на пользователя перекрывают права на группу?

Полномочия с группы и с конкретного пользователя "складываются".

Например у на группу1 могут быть права на воркбук1. Пользователь состоит в группе1 и ему явно назначены права на воркбук2. В итоге он будет иметь доступ на воркбук1 и на воркбук2

можно отжать те объекты, которые не хочешь мигрировать

В окне "Перенос в воркбук" нет возможности отжать.

Он хочет все-все дашборды перенести в один воркбук. Это тот кейс, когда надо потом 100500 воркбуков задублировать и поудалять ненужное.

По времени - это неделю сидеть и дублировать и отжимать - чартов целая куча.

Вот я и спросил, будет ли возможность по одному дашборду переносить в воркбук.

Права доступа я могу тать только на воркбук в целом. Сейчас у меня есть дашборд, где есть вкладки не для всех, и можно при исправлении ошибок выборочно выключать доступы к отдельным чартам.

Разграничивать права на отдельные вкладки - всегда было нельзя

Для вашего кейса исправления ошибок/доработок - кажется, будет полезной фича версионирования:

https://cloud.yandex.ru/docs/datalens/dashboard/versioning

Вы объясняли логику построения воркбуков с "одним подключением". Предложили метод копирования воркбука и удаления "лишнего". Но в дальнейшем планируется это реализовать?

И пришлось отключиться дослушать не смог. По поводу ссылки на дашборд, будет при создании воркбука меняться или нет?

У имеющихся дашбордов ссылки не поменяются при их переносе в воркбук.

Но у всего, что вы скопируете с целью "поудалять лишнее" - будут новые ссылки

А подскажите, почему отказывает скопировать воркбук?

Получаю ошибку «Copying workbooks with file connections is forbidden» . Доступ на уровне админа у меня есть

Копирование воркбуков c CSV пока не поддерживается. Действительно важный момент, который мы не учли в коммуникации. Добавим инфу в закреп, докуменатию и в UI

Дублировать объекты внутри воркбука нельзя? Хотел чарт скопировать - кнопку в общем списке не нашел. Если дублировать из редактирования оно ломается. Вроде поискал, но ответов не нашел…

Спасибо за фидбек! Добавим такую возможность.

А пока чарт можно открыть и "сохранить как"

Добрый вечер. Есть дашборды и чарты в личных папках пользователей. что произойдёт с ними, когда я нажму волшебную кнопку "перейти на воркбуки"? Куда они сложатся, если папок пользователей больше не будет?

После нажатия на кнопку включения воркбукоа - ничего страшного не произойдёт. Просто включится дополнительно новый тип навигации по воркбукам.

Поясните, пож., что в моих действиях/рассуждениях не так.

Беру самостоятельный, ничего стороннего не использующий дашборд и пробую мигрировать его в воркбук.

С удивлением наблюдаю, что мигрироваться буде около 1000 объектов.

Обращаюсь в поддержку и получаю ответ:

Мигрируются не только те объекты, на которые есть ссылки из мигрируемого (рекурсия вниз), но и все те, которые ссылаются на что-либо из сформированного при рекурсиии вниз списка объектов (рекурсия во все стороны).

Поведение, на мой взгляд, странное.

Я понимаю, почему так сделано (если так сделать, все гарантировано будет работать), но нельзя ли это сделать управляемым процессом?

Т.е., предоставить разрабу возможность разорвать какую-либо из связей или хотя бы показать, какое дерево связей сформировалось?Или более простое решение - при миграции не перемещать объекты в воркбук, а копировать

Если бы мы позволяли мигрировать только часть объектов - то оставшиеся в папках - теряли ли целостность.

Вечера. Имею вопрос к команде DataLens. Какие у Вас планы в плане интерактива и переходов? Как глубоко можно будет проваливаться, нажав на определенный чарт на дашборде? Можно ли будет проваливаться в рамках одного дашборда, или связь будет только между разными дашбордами. Спрашиваю, что бы сразу понимать, уходить от вкладок и создавать отдельные воркбуки на каждую вкладку, или можно оставлять множество вкладок?

Нельзя от вкладок уходить :)

Люди делятся на мультиконщиков и мультитабистов

и подскажите пожалуйста как сделать чтобы на дашборде определенные чарты не отображались для конкретного пользователя (см. скриншот)? (все настройки перерыл но так и не нашел как на чарты вешать ограничения),

нет такого

Коллеги, можно ли переносить объекты между воркбуками ?

пока никак

Я правильно понимаю, что любой объект, который попал в воркбук, оттуда больше никогда не выйдет, в тч невозможна миграция между воркбуками

пока да

Подскажите паттерн реализации потока разработки на DL DEV - TEST - PROD Как организовываете в рамках воркбуков ?

Как вариант, можно использовать версионирование дашбордов и чартов для этого: https://cloud.yandex.ru/docs/datalens/dashboard/versioning

Столкнулся с тем что не копируется воркбук по причине «Copying workbooks with file connections is forbidden”. В воркбуке из файлов только подключение к Google Sheets. Поискал по чату - вроде написано что должно. Это баг или фича?

Google Sheets действительно относится к файловым подключения и пока тоже не копируется, к сожалению(

А как разнести два дашборда по разным воркбукам? Всё скопировалось в один. Пытаюсь понять как выделить часть объектов в другой.

UPD: Понял, что в другой воркбук объекты перенести не получится. Ждем когда будет можно.

добро пожаловать в наш клуб)))) Копируете имеющийся воркбук в новый. И построчно удаляете все ненужное в каждом. ))) я то же решил дождаться или массового удаления с выбором нескольких строк, или переноса по каждой сущности)

Дейсттельно ли нельзя создать копию датасета внутри воркбука?

Да, сейчас нет возможности копировать/дублировать датасеты в воркбуках. Команда уже работает над этим.

Как вообще узнать реально занимаемый объем воркбуком в Мб?

Воркбук ничего не занимает, потому что ДЛ ничего не хранит Как-то я не видела нигде ограничений на количество объектов в воркбуке, так что скорее всего оно там не жёсткое

Добрый день, подскажите пожалуйста, я могу с маркетплейса разворачивать сразу в воркбук? У меня не получается, разворачивает в папки

да, разворачивается в папку. Но можно же перенести

из Ворбука в Ворбук дашборды, чарты, подключения переносятся?

пока можно только целиком воркбук скопировать

А что - если в Воркбуке А лежит 10-ть Дашбордов, то переместить один Дашборд из Воркбука A в другой Воркбук B нельзя???

Нельзя. Считайте каждый воркбук закрытой экосистемой, где все объекты привязаны к своему подключению, лежащему в этом же воркбуке

Можно ли разграничить права доступа в Коллекции таким образом, чтобы были видны только некоторые коллекции/воркбуки ? Сейчас вижу, что на все вложенные объекты распространяется наследуемые права от верхнеуровневой Коллекции

на данный момент права вертикальные

Почему нельзя скопировать датасет при работе с воркбуком?

Не сделано пока. Поэтому. В том числе потому что датасет ссылается на подключение и надо это тянуть.

Можно скопировать весь воркбук.

В коллекции создан воркбук. В воркбуке создано 10-ть дашбордов. в воркбуке имеется 300 чартов и 20-ть подключений от разных дашбордов.

В ворбук пронаследовалось права на просмотр от 10-ти пользователей из коллекции.

Теперь надо один из дашбордов выделить в другой воркбук в котором должно быть только два пользователя на просмотр, а не 10-ть как до этого наследуемых из коллекции. И в новом воркбуке НЕ ДОЛЖНО быть 300 чартов от неиспользуемых в нем дашбордов.

КАК ЭТО СДЕЛАТЬ???

Дублируете Воркбук и удаляете лишнее

После удаления ненужных дашбордов их 300--та чартов отстаются в коркбуке как не бывало. И все наследуемые пользователи 10 шт получают в новом воркбуке те же права что и раньше и их невозможно удалить из нового воркука

да, их тоже надо удалять

Коллеги, добрый день. Подскажите, что нужно сделать, чтобы выдать права на воркбук - сейчас при выдаче прав на воркбук(который я создал) я каких-то пользователей вижу, а каких-то нет.. т.е. не вижу нужного пользователя в списке чтобы выбрать его и выдать ему доступ

он не принял приглашения или у него нет доступа к каталогу

Подскажите задача шаблонный отчет расскатать для другого клиента, т.е. изменить только источник подключения. Как проще решить задачу?

Перенести отчет в воркбук, клонировать воркбук, заменить подключение.

Всем привет, подскажите, могу дать доступ к воркбуку по одному аккаунту, но разные организации?

нет, Даталенс связан с организацией

Подскажите можно ли скопировать воркбук с облачной версии и перенести в open source?

Нет

Ролевая модель

Скажите, пожалуйста, если в источнике в базе данных переименовывается поле, права RLS слетают?

Да, права должны слететь, так как id у поля другой будет.

кто-нибудь использует rls? можете поделиться примерами реализации?

Тут RLS разобрано на простых примерах

Можно ли как-то подсветить в датасете строки, для которых есть разграничение RLS?

Нет

Возник вопрос: у нас есть несколько сотен клиентов, которым мы хотели бы предоставить доступ к определенной аналитике. Есть ли возможность в DataLens создать единый дашборд (на основе единой общей базы данных клиентов или на основе разных баз) и настроить возможность разграничения данных для пользователей разных организаций?

Например, в одном и том же дашборде user_1 видит только только показатели УК "Ромашка", user_2 – только показатели УК "Лютик" и т.д.

Про RLS рассказывали тут https://youtu.be/NXEiPMfXwPo?t=2247 (см. по таймкоду)

Подскажите пожалуйста, реализуема такая схема?: Пользователь регистрируется на сайте и в личном кабинете получает доступ к встроенному дашборду с учётом его прав на уровне RLS.

На сайте ya.ru - да :)

Есть способы каких то локальных прав на 1-2 обьекта к примеру?

RLS

Возникли проблемы с RLS и федеративными пользователями. Раньше с учетками яндекса все работало.

Когда ввожу логику 'xxxx': iivanov@company.ru, DL меняет ее на 'xxxx': FAILED_iivanov@company.ru. Доступ нужному пользователю в итоге не выдается. Кто-нибудь с таким сталкивался? (По поиску не нашла) Что сделать, чтобы заработало?

Фильтровать федеративных пользователей через БД. У них нет email-ов, по которым RLS работает. FAILED механику недавно выкатили. Также на тему RLS есть хороший раздел на практикуме.

Пытаюсь на дашборд добавить RLS прав для федеративных пользователей, но в результате доступа - нет, а в датасете в в правах доступа у поля к перечисленным учеткам добавляется префикс !FAILED

В чем может быть проблема?

Добрый день! Необходимо указывать логин с учетом регистра. Такая же проблема возникла на этой неделе, регистры поправил в RLS - все заработало

Подскажите пожалуйста, можно ли как-то разграничить доступ? Есть дашборд с чартами и селектором Проект. Задача сделать такой дашборд для руководителей каждого проекта, чтобы они видели данные этого дашборда только по своему проекту и не могли менять селектор Проект. Можно ли это как-то сделать без дублирования чартов с фильтром по каждому проекту?

Rls фильтрация

Можете подсказать, моя текущая конфигурация прав для пользователей

>Подключение и датасет - Группа "Все": исполнение

>Чарты и дашборд - Группа "Все": просмотр

Доступ к конкретным данным разграничен уровнем RLS

Вопрос как повторить такую же модель в воркбуке. Не нашел где можно указать тип прав Исполнение для датасета например итп

Ограниченный просмотр

Экспериментальным путем выяснил что нужно дать права datalens.creator (это логично) и права на РЕДАКТИРОВАНИЕ воркбука или коллекции (вот здесь диссонанс).

Вот не могу понять - это баг или фича? Зачем права на редактирование для копирования? Мне выглядит что должно быть достаточно просмотра.

в новом воркбуке в того кто его создал будут права администратора

следовательно для копирования у него должен быть доступ ко всей информации внутри воркбука - никакого диссонанса вот если вы мне дадите права на просмотр и я через копирование обрету права на просмотр всего что вы мне показывать не хотели, вот это диссонанс

Настроил подключение,создал датасет и чарт

настроил федерацию удостоверений

пригласил в нее

но при этом приглашенный не видит моих сущностей

В чем может быть дело?

После того, как вы выдадите роль пользователю datalens.instances.user — ситуация должна разрешиться.

Подскажите, какую роль надо дать юзеру , чтобы он мог в облако добавлять человека, наделениями права owner и admin не помогли

Проверьте, на каком уровне задаете роль (облака или организации) и где живет ваш DataLens.

Не могу разобраться, если я добавляю пользователя с любой ролью, он может добавлять и удалять других пользователей? Или есть способы, как это не разрешать? Мне нужно, чтобы только несколько админов могли добавлять/удалять пользователей.

Такого быть не должно. Это должны иметь возможность делать только администраторы организации.

Добавила нового пользователя в Даталенс, в списке пользователей он появился, а когда открываю вкладку "права доступа" в списке его нет. Почему, подскажите, пожалуйста? И как назначить ему роль?

Справа вверху есть кнопочка. Назначить роли, вам туда

Возможно, кто-нибудь знает, каким образом следует раздать права и назначить роль, чтобы дашборд можно было смотреть и при этом не получить доступы к файлам в каталоге организации? На примере: если я задаю роль пользователю "datalens.instances.user" и право на просмотр дашборда, он не будет редактировать дашборд, но сможет просмотреть мои другие файлы. Так вот мне нужно, чтобы он смог только просмотреть мой дашборд, ничего более. Важно: речь идёт о дашборде на основании подключения яндекс метрики, поэтому предоставление публичного доступа тут не поможет.

Если только нет где-нибудь доступа у группы "Все". Если такой нет, то можно дать права только на просмотр дашборда, а на папки не давать. По идее, если всё организовано правильно (чарты в своих папках, даши в своих и т.д.), по ссылке зайдет, а в папки нет.

Ну и попробовать разные варианты, потестировать.

Подскажите какая роль нужна, для того что бы добавлять пользователей в DL

datalens.instances.user Подробнее про роли для доступа

Какими правами надо обладать для добавление палитры цветов?

Сейчас уровень прав datalens.creator, но создать не могу из-за ошибки доступа.

Мы уточним данный момент в документации. Попробуйте добавить палитру с ролью datalens.instances.user

Привет! а как-то можно сделать дэшик "доступно всем", то есть который кто угодно сможет открыть и пофильтровать себе нужное? без яндекс айди или с любым яндекс айди?

Через публичную ссылку

Привет всем подскажи,общий доступ через organization можно предоставить?

Публичный доступ не имеет отношения к организации. Для доступа членов организации выдайте им роль datalens.instances.user.

Подскажите, как можно расшарить дашборд DataLens для пользователя, который принадлежит к другому домену (состоит в организации)? Я пока не нашел решений.

Добавить пользователя в организацию Yandex Cloud, дайте ему роль datalens.creator и убедитесь, что у него есть права на дашборд.

https://cloud.yandex.ru/docs/datalens/qa/#how-add-user-send-ref

Всем доброго дня! Получается только публичный дашборд можно разместить через iframe?

пока так, да

Здравствуйте, подскажите пожалуйста. Я добавил пользователя в организацию, выдаю любую роль datalens, пользователь видит все объекты которые есть в организации, как сделать так что бы пользователь видит только определённый объект

Никак

Помогите решить проблему с редактированием чартов. Создал организацию, включил пользователей, создал группу, дал права DataLens.Visitor, включил пользователей в группу. В DataLens дал права на дашборд в workbooke группе с ролью Ограниченный просмотр. Открыл дашборд по ссылке от имени пользователя в эотй группе. Все хорошо. Нажимаю кнопку ... на чарте - вижу пункт Редактировать. Его быть не должно. Что я упустил?

Ограниченный он потому, что они не видят ничего дальше дашборда и чарта. Чарт открыть в режиме редактирования могут. Там нет ничего секретного. Как и в инспекторе.

не понимаю права доступа для дашбордов. как можно поделиться дашбордом? Публичный доступ невозможен - насколько я понимаю это из-за прямого подключения к яндекс метрике. А как тогда раздать права доступа - тоже странное что-то...

да, нельзя делать публичным дашборд на апи метрики

добавляете пользователя в организацию и выдаете права

в руководстве есть раздел про это

Подскажите, для миграции объекта в воркбук необходимо быть наделенным ролью datalens.admin?

Сейчас у меня роль datalens.creator, не могу произвести миграцию дашборда в воркбук, хотя и являюсь его администратором.

Воркбуки в Datalens включены.

Только под админом.

Насколько я понимаю, если разместить дашборд через фрейм на нашем сайте, то в любом случае можно будет вытащить чарт через три точки "... " вверху справа на чарте.

Ссылка на дашборд даёт право его смотреть всем, у кого в распоряжении эта самая ссылка. Думаю, тут только разрабы сайта могут как-то разграничить показ блоков для авторизованных (или нет) пользователей

admin, owner - должны сработать

organization-manager.admin - минимально достаточная роль, если ваш DL живет на уровне организации

Пыталась создать палитру, при сохранении получила такое сообщение. У меня какой-то роли нужной нет?

https://cloud.yandex.ru/docs/datalens/operations/chart/create-palette

Доброго дня.. Подскажите пожалуйста, как создавать роли пользователя в локальной версии DataLens? В настройках ничего таколго нет... Такое ощущение, что локальная версия какая-то урезанная... Растолкуйте пожалуйста

Если речь об опенсорсе, то там такого функционала нет

Есть вопрос о возможности доступа извне корпоративного периметра.К примеру, в Power BI аутентификация происходит средствами ADFS, можно открыть отчёт из любого места, где есть выход в интернет, если указать свой корпоративный логин/пароль и у аккаунта есть права на отчёт. Подскажите, пжл, возможен ли доступ снаружи в Даталенс без корп. VPN?

конечно, только без него и возможен )

Можно ли сделать воркбук из воркбуков?

Например, в моем облаке несколько компаний и в каждой несколько департаментов, которым нужны разные роли доступа?

Есть коллекции для этого.

Еще немного вопросов от "теоретика" по коллекциям.

1. Какая ролевая модель для коллекций? Есть ли автоматическое наследование роли с коллекции на вложенные коллекции? А на воркбуки? (на слайде и на вебинаре не услышал)

2. Может ли быть кейс с воркбуками и коллекциями, который с дашбордами и папками имел место быть: пользователю доступен дашборд и он может его по ссылке открыть или даже отредактировать, но ему недоступны папки, поэтому через навигацию по папкам он до этого дашборда не доберется.

3. Может ли быть один воркбук в нескольких коллекциях? (программисту по названию кажется, что один объект можно легко добавить в несколько коллекций‍)

4. "На закуску": а не думали ли о "пользовательских" коллекциях, чтобы каждый у себя упорядочивал как ему хочется, а не как админ даталенса в организации решил?

1. да, с коллекции роли наследуются вертикально вниз на все вложенные воркбуки и коллекции.

2. да, сейчас такое возможно: есть права на воркбук, но нет прав на вышестоящую коллекцию.

3. нет. воркбук не может быть в нескольких коллекциях.

4. Самое простое сейчас - добавлять в избранное (правда в воркбуках ставить звездочку пока нельзя, но это скоро докатим). Полноценно будем решать эту задачу в рамках редизайна главной страницы. Чтобы каждый пользователь видел свои любимые, часто посещаемые, недавно посещенные объекты ну и вообще мог настроить ее вид под себя.

Подскажите, пожалуйста, если я переношу данные в воркбук, но у меня есть права, прописанные в диаметре, они слетят? В датасете

да, старые права слетят. на финальном шаге миграции вам предложат назначаить новые роли, в тч будет возможность использовать группы.

Новые роли внутри датасета? Для меня это важно, мне надо, чтобы одни организации не видели данные других организаций, а отчёт у меня один для всех

на воркбук права едины

Ребят, подскажите как давать доступ к дашборду, не добавляя в организацию?

сделать его публичным

Могу ли я встроить DL на свой сайт и авторизовать пользователя во внешней аналитической системе под аккаунтом родительского сервиса ?

Публичный доступ только, если на сайт. Подробнее про доступы тут: https://cloud.yandex.ru/docs/datalens/security/

Подскажите, пожалуйста, в DL появилась возможность встраивания конфиденциальных отчетов? Без публичного доступа

Пока ещё нет

А если доступ в систему идет по vpn, это можно как-то предусмотреть? И чтобы дашборд не был доступен кому-то еще на даталенз

Встраивания непубличных дашбордов на сторонние сайты нет пока. Если у вас ограничен вход на ваш ресурс - дашборд в любом случае увидят только те, кто смог на ресурс зайти

Подскажите, как ограничить доступ к дашборду?

Надо представить доступ к дашборду через наш сайт, но для авторизованных пользователей.

Возможно ли сделать дашборду публичный доступ, не используя яндекс клоуд?

Да

А какой рекомендован способ интегрировать чарт в свой сервис? Так чтобы можно было отобразить на одной из страниц своего сервиса дашборд, но чтобы доступ к нему был только изнутри этого сервиса?

Для того чтобы заправить дашборд в свой сайт/сервис, вам придется сделать публичную ссылку на него. Она не индексируется, нигде не упоминается, то есть реально только вы ее знаете. Но тем не менее доступ по ней свободный. Других способов сейчас нет

Пытаюсь сохранить чарт - не хватает каких то доступов.

Где их добавить, не можем разобраться?

Проверьте, что у вас есть доступ на запись в папку, куда сохраняется объект.

Подскажите как правильно в логике DataLens настроить доступ к данным. Задача. Есть один дата сет (содержит инфо по продажам в разрезе филиалов), на основе этого датасета единый дашборд с селектором "Название Филиала". Как настроить доступ директорам филиалов, чтобы они видели данные только по соим филиалам? Спасибо !!!

https://cloud.yandex.ru/docs/datalens/security/row-level-security

Не нашел в документации прозрачного ответа на вопрос «Могу ли я опубликовать дашборд в своем приложении (с помощью элемента iframe) таким образом, чтобы доступ к нему был у всех пользователей моего приложения (и не обязательно с аккаунтом Яндекса или федеративным статусом)?

Ожидаемый результат - дашбордом могут пользоваться все пользователи моего приложения у которых есть доступ к соответствующему разделу внутри приложения.

Предполагаемое flow:

- Источник данных ClickHouse

- Есть creator, которые создает различные dashboards в DataLens

- Есть приложение, в котором конечные пользователи авторизуются под созданными в приложении учетными записями и анализируют данные. У каждого клиента свой инстанс.

- Creator публикует определенный дашборд в приложение для конкретного клиента.

- Клиент - viewer, который смотрит на своем аккаунте созданный creator дашборд.

Если дашборд публичный, то вероятно да

Я что-то не могу добавить нового пользователя с аккаунтом Яндекса. На месте кнопки "Добавить пользователя" теперь только "Пригласить пользователей". Обычно делала все вот здесь: https://org.cloud.yandex.ru/users, эта же ссылка в мануале.

Можно как-то добавить пользователя не проходя через приглашение?

Можете сразу добавить через сам DataLens https://datalens.yandex.ru/settings

Кто-нибудь сталкивался с проблемой, что после выключения публичного доступа его нельзя было снова включить?

Стали неактивными все переключатели в диалоговом окне.

Ругается на датасеты из подключения к Google Sheets "Dataset Data are not materialized" Это Google Sheets отвалились, вкладки без них работают

Нет, это не так

Если я перемещу датасеn из одного usera в другой, слетит ли у меня дашборд?

перемещение датасета из папки в папку никак не влияет на связи с другими объектами (чарты и дашборды) и права доступа.

При публикации дашборда в публичный доступ

Можно ли имея на него ссылку как то выйти на саму таблицу и исходные данные?

Нет, можно лишь экспортировать данные из чартов, но только те, которые отрисованы.

Подскажите пожалуйста, возможно ли как-то автоматически присвоить права на просмотр отдельного чарта, добавленого на дашборд, всем пользователям, у которых есть доступ к дашборду.

Проблема в том, что доступ к вновь созданным чартам открывается только части пользователей дашборда, по неизвестному пока мне алгоритму (всегда разные лица почему-то))

Почему так происходит?

При создании нового объекта (чарта в вашем случае), права на него копируются с той папки, в которой он находится. При добавлении чарта на дашборд с правами чарта ничего не происходит.

Поэтому варианта два:

1) следить за папочной структурой хранения объектов и создавать новые объекты сразу в папках с правильными правами.

2) переходить на воркбуки (рекомендуется )

Добрый день, подскажите пожалуйста можно ли давать доступы к дашбордам на аккаунты типа гугл и прочее / не яндекс ?

если есть yandex id

Вопрос: Можно ли объединить Яндекс Метрику и базу заявок в DataLens?

Ответ: Да, если между источниками есть общий ключ для связки: UTM-метки, client ID, сквозной идентификатор посетителя или другой атрибут, который связывает визит с заявкой.

Вопрос: Как посчитать конверсию из посетителей в заявки?

Ответ: Нужно связать данные Метрики и базы заявок по общему полю, затем добавить расчетные показатели: количество посетителей, количество заявок и формулу конверсии.

Вопрос: Какие источники можно подключать к DataLens?

Ответ: DataLens может работать с базами данных, облачными сервисами, файлами и аналитическими источниками. Конкретные возможности зависят от типа подключения и прав доступа.

Вопрос: Почему сервер ClickHouse в Yandex Cloud может выключаться?

Ответ: Возможные причины — настройки виртуальной машины, квоты ресурсов, нехватка диска, ограничения по CPU, ошибки обслуживания или внешние политики управления инфраструктурой. Нужно проверить логи и параметры облачного ресурса.

Вопрос: Зачем нужны ролевые модели в DataLens?

Ответ: Ролевые модели помогают разграничить доступ к подключениям, датасетам, чартам и дашбордам. Это важно, когда с аналитикой работают разные команды и не всем пользователям можно показывать одни и те же данные.

Следующая статья →

Вычисляемые поля в DataLens: формулы, функции и частые ошибки