AXForum  
Вернуться   AXForum > Microsoft Dynamics AX > DAX: Программирование
All
Забыли пароль?
Зарегистрироваться Правила Справка Пользователи Сообщения за день Поиск Все разделы прочитаны

 
 
Опции темы Поиск в этой теме Опции просмотра
Старый 05.08.2020, 17:30   #21  
Vadik is offline
Vadik
Модератор
Аватар для Vadik
Лучший по профессии 2017
Лучший по профессии 2015
 
3,631 / 1849 (69) ++++++++
Регистрация: 18.11.2002
Адрес: гражданин Москвы
Цитата:
Сообщение от vmoskalenko Посмотреть сообщение
Я так думаю что под капотом это выглядит как D365FO SQL -> BCP -> CSV -> ADLS
Причем к первым трём пунктам у тебя нет доступа. И это получается быстро
А существуют какие-то основания считать что BYOD сейчас (из D365FO SQL в Azure SQL) - это "медленно" именно из-за Azure SQL а не скажем из-за вытягивания изменений из data entity на 10-15 таблиц через change tracking ? И что все магическим образом станет "быстро" если писать не в другую БД, а в файловую систему ?
По поводу "дешевле" вопросов нет
__________________
-ТСЯ или -ТЬСЯ ?
Старый 05.08.2020, 18:51   #22  
trud is offline
trud
Участник
Лучший по профессии 2017
 
1,038 / 1629 (57) ++++++++
Регистрация: 07.06.2003
Записей в блоге: 1
Цитата:
Сообщение от vmoskalenko Посмотреть сообщение
Далее Майкрософт готовит все остальные свои сервисы чтобы они работали с этим форматом из коробки. Power BI, Azure Synapse (DW), Azure Analytics (SSAS). Azure Data Fabric (SSIS)
Это кстати тоже непонятно. т.е. все эти сервисы уже нормально нативно работают с SQL, и пока не очень работают с файлами под названием "Data Lake"
Цитата:
Сообщение от vmoskalenko Посмотреть сообщение
С другой стороны, для выгрузки данных - держать целый SQL тоже как-то странно.
Хотя в такой поставке вопроса - да, т.е. эти сервисы как я понимаю имеют внутренний формат, т.е. получается исходный BYOD SQL Server служит только для перекачки.
Цитата:
Сообщение от Vadik Посмотреть сообщение
И что все магическим образом станет "быстро" если писать не в другую БД, а в файловую систему ?
Если не ошибаюсь, Брент Озар вроде бы тестировал SQL Azure, и там совсем слабая скорость чтения(порядки 50МБ-С) при малых DTU(но это как бы логично, ибо предполагается что данные будут в памяти)
В нашем же случае мы закачиваем данные в SQL для единственной цели - их потом прочитать из Power BI, Azure Synapse (DW).... И такие ограничения(на скорость линейного чтения) как раз критичны ибо эти системы будут читать все целиком.
Получается они придумали закачивать в файлы(где наверное лимитов на скорость чтения нет) и читать оттуда
Т.е. вся эта суета из-за обхода искуственных ограничений, которые они сами и создали

Последний раз редактировалось trud; 05.08.2020 в 18:54.
За это сообщение автора поблагодарили: Vadik (1).
Старый 06.08.2020, 11:58   #23  
Vadik is offline
Vadik
Модератор
Аватар для Vadik
Лучший по профессии 2017
Лучший по профессии 2015
 
3,631 / 1849 (69) ++++++++
Регистрация: 18.11.2002
Адрес: гражданин Москвы
Вчера ночером (© Маззи) поэкспериментировал с BYOD в Azure SQL

Вводная:
  • "своя" таблица (размер записи 1KB)
  • 1M записей (2.8 GB allocated)
  • "своя" "плоская" data entity без добавленных datasources и виртуальных полей
  • экспорт из D365FO в DM (Full push only)

Таблица ниже - сводная:
  • primary_max_log_rate и primary_group_max_io - лимиты на log writes (bytes/seс) и IOPS из sys.dm_user_db_resource_governance
  • время полного экспорта 1М записей (2.8GB), как его рапортует data management
  • рассчитанная пропускная способность (MB/sec, делим 2.8GB на время экспорта)

Выводы:
  • Basic tiers, естественно, в контексте BYOD существуют просто для галочки (чтоб было). Результаты даже сохранять не стал, так как несерьезно
  • Standard tier (тестировал S2) - нельзя сказать что не работает, но страсть какой медленный (2MB/s на запись, почему - см. таблицу). Ну а что мы хотели за эти деньги, с другой стороны
  • Premium tier (тестировал P1, P6 и P15) работает без нареканий (P6 быстрее чем S2 где-то раз в 20), но ограничения есть и не все проблемы можно решить тупо перейдя на более высокий (дорогой) уровень. Так, P6 и P15 (P15 дороже навскидку раза в 4) при записи в один поток упираются в один и тот же потолок по Log IO (т.е. быстрее уже не будет даже в теории), а P6 уже со всеми накладными расходами (D365, data management, трафик и пр.) выдал около 90% (40.1 МБ/c) от теоретических максимальных 44 МБ/c. "Пацан сказал - пацан сделал" (с)

Как по мне, так даже начальные premium tier позволяют не напрягаясь выгрузить инкрементом все данные которые типичный D365FO клиент генерит за день за вполне приемлемые время и деньги. Data lakes могу рассматривать как альтернативный вариант (дешевле/моднее), но "быстрее" - зачем? Чтобы выгружать весь GeneralJournalAccountEntry каждые 15 минут? Ну, можно конечно

По поводу того, тянуть сырые данные из BYOD куда-то дальше, или крутить отчеты прямо из него - вариантов масса, primary_group_max_io на средних и старших premium tier много чего позволяет. Лично мне репортить прямо из BYOD не очень нравится

P.S. Из забавного - покопавшись в sys.dm_user_db_resource_governance на sandboх-е (T2 и выше), можно узнать разное про лимиты на своем инстансе, а также узнать кто еще сидит на нашем spartan-е (на моем тестовом инстансе было еще порядка 50 других D365FO сред, можно даже попытаться по имени БД угадать клиента )
Миниатюры
Нажмите на изображение для увеличения
Название: Azure SQL.GIF
Просмотров: 520
Размер:	30.4 Кб
ID:	12909  
__________________
-ТСЯ или -ТЬСЯ ?

Последний раз редактировалось Vadik; 09.08.2020 в 11:49.
За это сообщение автора поблагодарили: mazzy (5), fed (5), EVGL (10), trud (5), raz (5), sukhanchik (10), vmoskalenko (5).
Старый 06.08.2020, 16:24   #24  
raz is offline
raz
NavAx
Аватар для raz
NavAx Club
Лучший по профессии 2014
Лучший по профессии 2009
 
1,490 / 1060 (38) ++++++++
Регистрация: 22.07.2003
Адрес: МО
Разница в цене и скорости впечатляет.
Миниатюры
Нажмите на изображение для увеличения
Название: AzureDB.PNG
Просмотров: 82
Размер:	28.2 Кб
ID:	12910  
Старый 06.08.2020, 17:35   #25  
vmoskalenko is offline
vmoskalenko
Участник
Аватар для vmoskalenko
 
145 / 334 (12) ++++++
Регистрация: 25.01.2007
Адрес: Toronto
Цитата:
Сообщение от Vadik Посмотреть сообщение
Вчера ночером (© Маззи) поэкспериментировал с BYOD в Azure SQL
А можешь заодно еще протестить модель цены vCore? vCore, Serverless
По идеи, это решение будет намного дешевле.
А если еще и автопаузу включить - то вообще красота

https://docs.microsoft.com/en-us/azu...-tier-overview

Хотя... всё-равно для многих решений это будет или не быстро или дорого
За это сообщение автора поблагодарили: Vadik (1).
Старый 06.08.2020, 22:19   #26  
Vadik is offline
Vadik
Модератор
Аватар для Vadik
Лучший по профессии 2017
Лучший по профессии 2015
 
3,631 / 1849 (69) ++++++++
Регистрация: 18.11.2002
Адрес: гражданин Москвы
Serverless было бы интересно попробовать. Постараюсь потестировать на следующей неделе
__________________
-ТСЯ или -ТЬСЯ ?
Старый 12.08.2020, 01:03   #27  
Vadik is offline
Vadik
Модератор
Аватар для Vadik
Лучший по профессии 2017
Лучший по профессии 2015
 
3,631 / 1849 (69) ++++++++
Регистрация: 18.11.2002
Адрес: гражданин Москвы
А вот что получилось с serverless. До 8 ядер масштабировалось строго линейно, дальше уперлись в лимит на Log IO
Миниатюры
Нажмите на изображение для увеличения
Название: Azure SQL serverless.GIF
Просмотров: 61
Размер:	54.7 Кб
ID:	12916  
__________________
-ТСЯ или -ТЬСЯ ?
За это сообщение автора поблагодарили: EVGL (10).
Старый 02.10.2020, 16:54   #28  
Vadik is offline
Vadik
Модератор
Аватар для Vadik
Лучший по профессии 2017
Лучший по профессии 2015
 
3,631 / 1849 (69) ++++++++
Регистрация: 18.11.2002
Адрес: гражданин Москвы
https://msdyn365fo.wordpress.com/202...or-msdyn365fo/
__________________
-ТСЯ или -ТЬСЯ ?
За это сообщение автора поблагодарили: raz (5).
Старый 01.07.2021, 08:46   #29  
Vadik is offline
Vadik
Модератор
Аватар для Vadik
Лучший по профессии 2017
Лучший по профессии 2015
 
3,631 / 1849 (69) ++++++++
Регистрация: 18.11.2002
Адрес: гражданин Москвы
Цитата:
Сообщение от trud Посмотреть сообщение
Там же Сунил грозился ввести ограничение на кол-во обращений к ODATA. т.е. выше какого-то предела будут возвращаться ошибки
кстати KWS добавили обработку троттлинга для FinOps

Цитата:
Enhancement: F&O service calls now gracefully handle 429 error returned by the service by following the instruction given in the service response
https://www.kingswaysoft.com/product...ange-log#v21.1

В общем, одни роботы троттлят, другие ретраят, жизнь кипит
__________________
-ТСЯ или -ТЬСЯ ?
Старый 02.07.2021, 09:11   #30  
vmoskalenko is offline
vmoskalenko
Участник
Аватар для vmoskalenko
 
145 / 334 (12) ++++++
Регистрация: 25.01.2007
Адрес: Toronto
Цитата:
Сообщение от Vadik Посмотреть сообщение
кстати KWS ...
Если пользуешься этой тулзой - поделись впечатлениями.
Старый 05.07.2021, 08:57   #31  
Vadik is offline
Vadik
Модератор
Аватар для Vadik
Лучший по профессии 2017
Лучший по профессии 2015
 
3,631 / 1849 (69) ++++++++
Регистрация: 18.11.2002
Адрес: гражданин Москвы
Цитата:
Сообщение от vmoskalenko Посмотреть сообщение
Если пользуешься этой тулзой - поделись впечатлениями.
Впечатления смешанные. И штука вроде рабочая, у нас ее использовали (разработчики) для разового экспорта-импорта в FO и CE, и сделано вроде качественно и от души. Непонятно кому ее продавать. Мелким и средним облачным клиентам - дорого (лицензия на сам продукт + SQL Server) и экспертиза по SSIS и желание его внедрять встречаются нечасто. Крупным облачным OData - вроде как неправильно с точки зрения масштабируемости плюс непонятности с тем как троттлинг заработает. У меня KWS только на одном LBD проекте был, да и там его клиенту до меня "продали"
__________________
-ТСЯ или -ТЬСЯ ?

Последний раз редактировалось Vadik; 06.07.2021 в 08:24.
За это сообщение автора поблагодарили: vmoskalenko (5).
Старый 20.12.2021, 11:49   #32  
Vadik is offline
Vadik
Модератор
Аватар для Vadik
Лучший по профессии 2017
Лучший по профессии 2015
 
3,631 / 1849 (69) ++++++++
Регистрация: 18.11.2002
Адрес: гражданин Москвы
Export to Azure Data Lake Overview
__________________
-ТСЯ или -ТЬСЯ ?
За это сообщение автора поблагодарили: vmoskalenko (6).
Теги
adls, azure sql, byod, d365fo, data lake, data management, odata, sql server, ssis

 

Похожие темы
Тема Автор Раздел Ответов Посл. сообщение
stoneridgesoftware: How to Integrate Power BI with Dynamics 365 for Financials Blog bot DAX Blogs 0 01.04.2017 02:17
stoneridgesoftware: Dynamics 365 Roadmap, Readiness and License Renewal – What You Need to Know Blog bot DAX Blogs 0 16.03.2017 00:14
jaestevan: Microsoft Dynamics 365 for Operations Blog bot DAX Blogs 0 02.11.2016 01:11
jaestevan: Dynamics 365, AppSource, PowerApps y compañía… ¿Qué esperar del futuro de los ERP en Microsoft? Blog bot DAX Blogs 0 26.07.2016 22:11
axinthefield: Dynamics AX Event IDs Blog bot DAX Blogs 0 01.03.2011 22:11
Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход

Рейтинг@Mail.ru
Часовой пояс GMT +3, время: 17:30.
Powered by vBulletin® v3.8.5. Перевод: zCarot
Контактная информация, Реклама.