Массовое удаление записей через CCADOConnection - Seite 3 - DAX: Программирование

S.Kuskov · 27.04.2010, 15:14

Zitat:

Zitat von SRF

А сколько времени удаляются из AX 600000 записей (не по частям) ?

Zitat:

Zitat von Shirmin Oleg

Если за один раз, то еще дольше (примерно раза в два)

.

**mazzy** · 27.04.2010, 15:52

Zitat:

Zitat von Shirmin Oleg

Так что запись в лог не тормозит, тормозит сам delete_from.

Да что ж за человек то, а?

А что пишется в лог?
Туда пишется информация об одной записи или о всех удаленных?
Напомню, что в databaselog информация об изменениях находится в blob-поле в виде контейнера.

Shirmin Oleg · 27.04.2010, 16:04

Zitat:

Zitat von S.Kuskov

А если ради эксперимента отключить через Администрирование логирование удалений в этой таблице?

У нас эта таблица не включена в логирование именно потому, что там много данных и они могут периодически заменяться. Логирование не тормозит, в моем случае запись в лог происходит всего 6 раз за всю процедуру удаления, тормозит сама обработка delete_from (100000 записей - примерно 10 минут)

**Vadik** · 27.04.2010, 16:07

Zitat:

Zitat von Shirmin Oleg

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка

Знаю, что дурацкий вопрос, но все же: зачем на таблице из которой надо периодически удалять 600000 записей (а я так понимаю, что перед тем как что-то удалить, это что-то надо туда сначала записать), настраивать Database log ?

**mazzy** · 27.04.2010, 16:07

Zitat:

Zitat von Shirmin Oleg

В 2009 в лог пишется после каждой отработки delete_from (один раз на один удаляемый блок). LogType = Delete, Table - 40478 (ид. SALESTABLE_TELECOMPHONTRA40478)

Zitat:

Zitat von Shirmin Oleg

У нас эта таблица не включена в логирование...

Как это не включена? Если в лог пишется после каждой обработки delete_from?

**mazzy** · 27.04.2010, 16:45

Zitat:

Zitat von Shirmin Oleg

В 2009 в лог пишется после каждой отработки delete_from (один раз на один удаляемый блок). LogType = Delete, Table - 40478 (ид. SALESTABLE_TELECOMPHONTRA40478)

Zitat:

Zitat von mazzy

Как это не включена? Если в лог пишется после каждой обработки delete_from?

Офигеть, какая интересная информация.
Спасибо.

Если в ax2009 настроить Database Log И отключить его в коде, то запись в Database Log все равно пишется, но один раз на весь Delete_from и с пустым контейнером.

Итак, берем простейший проверочный код (используется неважная таблица, которая хранит log обработки заказов)

X++:

static void Job1(Args _args)
{
    SalesParmLine   SalesParmLine;
    ParmId          ParmId;

    select minof(ParmId) from SalesParmLine;
    ParmId = SalesParmLine.ParmId;

    SalesParmLine.skipDeleteActions(true);
    SalesParmLine.skipDatabaseLog(true);
    delete_from SalesParmLine
    where SalesParmLine.ParmId == ParmId; // по ParmID есть индекс
}

Если не включать Database log, то на SQL отправляется вполне ожидаемый запрос

Klicken Sie auf die Grafik für eine größere Ansicht

Name: 1.PNG
Hits: 194
Größe: 53,0 KB
ID: 5751

точно такой же как и через Query в Management Studio.

Далее включаем database log.
Естественно, вместо запроса delete_from Аксапта будет удалять каждую запись по отдельности и заносить каждую запись в Database log.
(скриншот не привожу - очевидно)

Далее в ax2009 добавляем метод skipDatabaseLog(true);
На SQL отправляется команда "delete from".
Однако, как сказал Shirmin Oleg, в database log все равно добавляется запись. С Пустым RecID и c пустым контейнером.

Klicken Sie auf die Grafik für eine größere Ansicht

Name: 2.PNG
Hits: 251
Größe: 51,8 KB
ID: 5752

Klicken Sie auf die Grafik für eine größere Ansicht

Name: 3.PNG
Hits: 208
Größe: 57,6 KB
ID: 5753

Klicken Sie auf die Grafik für eine größere Ansicht

Name: 4.PNG
Hits: 239
Größe: 111,4 KB
ID: 5754

Klicken Sie auf die Grafik für eine größere Ansicht

Name: 5.PNG
Hits: 233
Größe: 80,9 KB
ID: 5755

прикольно.

**mazzy** · 27.04.2010, 16:49

Zitat:

Zitat von Shirmin Oleg

У нас эта таблица не включена в логирование...

Врете вы. Если бы таблица не была включена, то и в Database log бы ничего не добавлялось.

Zitat:

Zitat von Shirmin Oleg

Так что запись в лог не тормозит, тормозит сам delete_from.

Теперь осталось только одно выяснить - у вас на SQL отправляется команда delete from? или выполняется select по одной записи?

Вы можете открыть Profiler и привести скриншот?

**mazzy** · 27.04.2010, 16:52

Zitat:

Zitat von Shirmin Oleg

Так что запись в лог не тормозит, тормозит сам delete_from.

И еще. Индекс то у вас по полю TELECOMPHONTRA40478.month есть?
Или команда delete_from выполняет Table Scan, как предупреждал sukhanchik?

S.Kuskov · 27.04.2010, 16:59

Zitat:

Zitat von mazzy

И еще. Индекс то у вас по полю TELECOMPHONTRA40478.month есть?

Zitat:

Zitat von Shirmin Oleg

Есть индекс по recid и (неуникальный) по периоду

.

Shirmin Oleg · 27.04.2010, 18:04

Zitat:

Zitat von mazzy

Врете вы. Если бы таблица не была включена, то и в Database log бы ничего не добавлялось.

Действительно вру. Прошу прощения, невнимательно проверял. Таблица была включена в логирование. Отключил, но заметно скорость не возросла. Удалял 500000 записей и измерял время на каждом куске по 100000 на каждом участке время разное, но в среднем - те же 10 минут

Zitat:

Zitat von mazzy

Теперь осталось только одно выяснить - у вас на SQL отправляется команда delete from? или выполняется select по одной записи?

Вы можете открыть Profiler и привести скриншот?

Profiler имеется в виду Профайлер кода? Я не знаю, как в профайлере посмотреть на SQL запрос, подскажите, пожалуйста.

S.Kuskov · 27.04.2010, 19:11

Zitat:

Zitat von Shirmin Oleg

Profiler имеется в виду Профайлер кода?

SQL Server Profiler

**mazzy** · 27.04.2010, 20:19

Zitat:

Zitat von Shirmin Oleg

Я не знаю, как в профайлере посмотреть на SQL запрос, подскажите, пожалуйста.

О, блин...

Сначала обругали Аксапту ("тормозит", "от безысходности"), а теперь такая фигня выясняется.
В общем, не нужно мучать Аксапту прямыми запросами. У нее и штатными неплохо получается.

Убежден, что у вас какие-то настройки остались, из-за которых Аксапта переходит в режим удаления каждой записи по отдельности. Но этим сообщением разожгли любопытство не-по-деццки

Давайте попробуем дойти до конца этой истории.
Есть два варианта:
1.
Предлагаю свою совершенно бесплатную помощь, чтобы разобраться в данном конкретном случае с медленным удалением командой delete_from.
В этом варианте нужно от вас:
1.1. Доступ к вашей Аксапте и к профайлеру вашего SQL.
1.1.1. Для работы с профайлером нужен будет права администратора SQL.
1.1.2. Можно использовать режим, когда вы сами подключаетесь к Аксапте и к SQL, а мне расшариваете экран (штатный виндовый Ассистент, расшаривание экрана в Skype или любая аналогичная технология). Я по микрофону или в чате буду говорить что надо сделать.
1.2. Назначьте время (любое, кроме среды, можно выходные, можно ночером). Двух-трех часов будет достаточно чтобы запустить несколько раз это несчастное удаление и определить что у вас случилось. Желательно, чтобы в это время пользователи не работали (но можно и при работающих)
1.3. Свяжитесь со мной (в личку, на mazzy@mazzy.ru, по скайпу mazzy.ru, по телефону +7 (903) 771-66-00.

2.
Попробуйте таки разобраться самостоятельно.
Я буду показывать на SQL 2008 Eng. В SQL 2005 аналогично.

2.1.
запустите профайлер.
Name: 1.PNG
Hits: 7108
Größe: 38,4 KB

2.2.
Запустите новую сессию File \ New Trace
2.3.
В окне укажите сервер, где крутится SQL с базой Аксапты, логин и пароль
Name: 2.PNG
Hits: 7164
Größe: 39,5 KB

2.4.
В следующем окне выберите шаблон Standard (он ставится по умолчанию)

Klicken Sie auf die Grafik für eine größere Ansicht

Name: 3.PNG
Hits: 146
Größe: 37,3 KB
ID: 5758

2.5.
Если вы запускаете профилирование при работающих пользователях, то вам нужно будет отфильтровать только свои запросы, чтобы не мучаться с чужими.
Этот шаг - самый сложный для объяснения (не могу придумать как объяснить откуда взять значения фильтров).
Поэтому - сделайте самостоятельное профилирование при отсутствующих пользователях.

Нажмите Run.
2.6. Поначалу Профайлер покажет кучу всего (кэширование, syslastvalue)
сотртите ненужное ластиком
дождитесь момента когда новые строчки перестанут поступать в окно.
запустите вашу обработку в Аксапте

2.7. остановите профилирование через полминуты-минуту после запуска (чтобы не набирать новых строчек)

Klicken Sie auf die Grafik für eine größere Ansicht

Name: 4.PNG
Hits: 234
Größe: 100,9 KB
ID: 5759

2.8. при помощи поиска Ctrl+F найдите строчки, в которых упоминается ваша навороченная таблица.

Сделайте скриншоты запросов к вашей таблице и запросов вокруг, положите сюда. Интересует текстовая часть в нижней половине окна.

Shirmin Oleg · 28.04.2010, 11:27

Zitat:

Zitat von mazzy

О, блин...
Сначала обругали Аксапту ("тормозит", "от безысходности"), а теперь такая фигня выясняется.

Не согласен, Аксапту я не ругал. Ведь и вправду тормозит. А по поводу "такой фигни" - да, я чайник в администрировании и пользовании средствами SQL Management Studio,
но с большим удовольствием научусь

А "безысходность" - не про Аксапту, а про СОМ CCADOCOnnection, кот. не реагировал на изменение таймаута

Zitat:

Zitat von mazzy

В общем, не нужно мучать Аксапту прямыми запросами. У нее и штатными неплохо получается.

Я не против штатных средств, я очень даже за. Но разница во времени выполнения очень уж большая

Скрины прилагаю

**mazzy** · 28.04.2010, 11:42

Отлично. Спасибо.

Жалко только что вы колонки убрали. Очень интеерсно было бы посмотреть на колонки Duration, Reads, Writes. Ну, да бог с ними.

Итак, на 5 скриншоте четко видно, что посылается команда "Delete from". И видны условия. Отлично.

Zitat:

Zitat von Shirmin Oleg

Я не против штатных средств, я очень даже за. Но разница во времени выполнения очень уж большая

Продолжаем разговор.
Давайте определимся между чем у вас получается разница.

Запрос, который посылает Аксапта - виден на 5ом скриншоте.
Какой запрос вы посылаете из management Studio?

================
Можете сделать скриншот таблицы из Аксапты? так, чтобы были видны все индексы и параметры самой таблицы. Вот так:

Shirmin Oleg · 28.04.2010, 11:59

Zitat:

Zitat von mazzy

Какой запрос вы посылаете из management Studio?

delete from SALESTABLE_TELECOMPHONTRA40478 where SALESTABLE_TELECOMPHONTRA40478.month = '2010-03-01'

Zitat:

Zitat von mazzy

Можете сделать скриншот таблицы из Аксапты? так, чтобы были видны все индексы и параметры самой таблицы.

Bober · 28.04.2010, 12:35

А зачем стоит свойство Cachelookup = NotInTTS ?

S.Kuskov · 28.04.2010, 13:03

Zitat:

Zitat von Bober

А зачем стоит свойство Cachelookup = NotInTTS ?

Для чистоты эксперимента возможно (хотябы временно) стоит убрать кэширование вообще.

И ещё я предлагаю в индекс MonthIdx вторым полем добавить RecId.

**mazzy** · 28.04.2010, 13:16

Понятно. Спасибо.

Итак:
Аксаптовский delete_from работает НЕ медленнее.
Аксапта - хорошая девочка - и четко следует указаниям программиста, посылая команду "delete from" с правильными условиями.

Разница проявляется не в ядре аксапты. А в том, что на SQL посылаются разные условия к команде.
Причем разные условия - потому что программист в Management Studio, скорее всего, "забыл" про компании.

Zitat:

Zitat von Shirmin Oleg

delete from SALESTABLE_TELECOMPHONTRA40478 where SALESTABLE_TELECOMPHONTRA40478.month = '2010-03-01'

Минуточку!!!!
это же совсем другие условия в запросе!!!

Обратите внимание, что Аксапта удаляет в пределах одной компании.
А вы удаляете данные изо всех компаний!!! (у вас нет условия dataareaid == "tz")

А почему вы в студии удаляете данные изо всех компаний?
Если вам компании неважны, то почему вы включили свойство SavePerCompany = Yes? Выключите это свойство и не будет компаний в этой таблице.

==================
Вы используете при запуске аксапты параметр, который позволяет изменить место dataareaid в индексе?
(подозреваю, что нет)

==================
Согласен с S.Kuskov, что сейчас удаление из аксапты не использует индекс. Либо использует, но делает дополнительный поиск по recid.

Как это ни странно, но удаление из студии у вас, скорее всего, вообще не использует индексы, а делает TableScan. И похоже table scan в конечном итоге работает быстрее. Как это ни странно.

Похоже, что вы удаляете почти все записи в таблице. 80%-90%-100% записей. так?

==================
Стесняюсь попросить... Вы планы обоих запросов показать сможете?
Или тоже объяснять нужно?

Если планы показать сложно, то
Рекомендация - вообще уберите индекс по month. Тогда, скорее всего, в обоих случаях (запрос из студии и запрос из аксапты) будет использоваться один и тот же план запроса. Или выключите свойство SavePerCompany, если вам не нужны компании в этой таблице.

Shirmin Oleg · 28.04.2010, 14:57

Zitat:

Zitat von mazzy

А почему вы в студии удаляете данные изо всех компаний?
Если вам компании неважны, то почему вы включили свойство SavePerCompany = Yes?

В этой таблице нет данных по другим компаниям (и не должно быть), зачем св-во SavePerCompany установлено в Yes сказать не могу (ставил не я, а спросить уже не у кого)

Zitat:

Zitat von mazzy

Вы используете при запуске аксапты параметр, который позволяет изменить место dataareaid в индексе?
(подозреваю, что нет)

Нет

Zitat:

Zitat von mazzy

Похоже, что вы удаляете почти все записи в таблице. 80%-90%-100% записей. так?

Нет, всего в таблице на данный момент около 11000000 записей, я же за один заход удаляю примерно 500000 - 600000

Zitat:

Zitat von mazzy

Стесняюсь попросить... Вы планы обоих запросов показать сможете?
Или тоже объяснять нужно?

Если можно, объясните, пожалуйста

Zitat:

Zitat von mazzy

Рекомендация - вообще уберите индекс по month

Этого индекса изначально не было. Его я добавил уже в процессе оптимизации, с ним стало значительно быстрее

**mazzy** · 28.04.2010, 15:17

Zitat:

Zitat von Shirmin Oleg

В этой таблице нет данных по другим компаниям (и не должно быть), зачем св-во SavePerCompany установлено в Yes сказать не могу (ставил не я, а спросить уже не у кого)

так уберите, если не нужно.
(для начала измените настройку не в рабочей, а в тестовой базе)

Zitat:

Zitat von Shirmin Oleg

Нет, всего в таблице на данный момент около 11000000 записей, я же за один заход удаляю примерно 500000 - 600000

Ок. Будем смотреть планы запросов.

Zitat:

Zitat von Shirmin Oleg

Этого индекса изначально не было. Его я добавил уже в процессе оптимизации, с ним стало значительно быстрее

А что стало быстрее? Аксаптовский запрос или запрос из студии?

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Задвоение RecId при вставке записей через COM коннектор	db	DAX: Программирование	1	23.04.2009 15:12
Класс OfficialsServ_RU - удаление записей из OfficialsTrans_RU	Logger	DAX: Программирование	3	14.09.2006 15:58
Запуск программы из Аксапты через 2-хзвенку	Migel_84	DAX: Программирование	25	27.04.2006 09:41
Проблема с запуском business connector'a через удал доступ	yooshi	DAX: Программирование	1	07.11.2005 08:56
Удаление записей из InventDim и SalesTable	DreamCreator	DAX: Программирование	4	08.12.2004 17:23