Массовое удаление записей через CCADOConnection

[Shirmin Oleg]

Цитата:

Сообщение от mazzy

А почему вы в студии удаляете данные изо всех компаний?
Если вам компании неважны, то почему вы включили свойство SavePerCompany = Yes?

В этой таблице нет данных по другим компаниям (и не должно быть), зачем св-во SavePerCompany установлено в Yes сказать не могу (ставил не я, а спросить уже не у кого)

Цитата:

Сообщение от mazzy

Вы используете при запуске аксапты параметр, который позволяет изменить место dataareaid в индексе?
(подозреваю, что нет)

Нет

Цитата:

Сообщение от mazzy

Похоже, что вы удаляете почти все записи в таблице. 80%-90%-100% записей. так?

Нет, всего в таблице на данный момент около 11000000 записей, я же за один заход удаляю примерно 500000 - 600000

Цитата:

Сообщение от mazzy

Стесняюсь попросить... Вы планы обоих запросов показать сможете?
Или тоже объяснять нужно?

Если можно, объясните, пожалуйста

Цитата:

Сообщение от mazzy

Рекомендация - вообще уберите индекс по month

Этого индекса изначально не было. Его я добавил уже в процессе оптимизации, с ним стало значительно быстрее

[mazzy]

Цитата:

Сообщение от Shirmin Oleg

В этой таблице нет данных по другим компаниям (и не должно быть), зачем св-во SavePerCompany установлено в Yes сказать не могу (ставил не я, а спросить уже не у кого)

так уберите, если не нужно.
(для начала измените настройку не в рабочей, а в тестовой базе)

Цитата:

Сообщение от Shirmin Oleg

Нет, всего в таблице на данный момент около 11000000 записей, я же за один заход удаляю примерно 500000 - 600000

Ок. Будем смотреть планы запросов.

Цитата:

Сообщение от Shirmin Oleg

Этого индекса изначально не было. Его я добавил уже в процессе оптимизации, с ним стало значительно быстрее

А что стало быстрее? Аксаптовский запрос или запрос из студии?

[Shirmin Oleg]

Цитата:

Сообщение от mazzy

А что стало быстрее? Аксаптовский запрос или запрос из студии?

Быстрее стал Аксаптовский запрос. Без индекса по month полный цикл (удаление старых данных и заливка новых) занимал 4-5 часов. После добавления индекса - 1,5 - 2, из них примерно 1 час - удаление.

Запрос из студии на "ускорение" не проверял, запустил один раз (уже после добавления индекса) - 16 минут.

[S.Kuskov]

Цитата:

Сообщение от Shirmin Oleg

зачем св-во SavePerCompany установлено в Yes сказать не могу (ставил не я, а спросить уже не у кого)

Это значение по умолчанию.
Как только измените значение этого свойства на No, из запроса сразу уйдут условия по DataAreaId.

Я ещё хотел сказать, что для тестирования временно стоит отказаться от удаления по частям. И добится сначала чтобы на пустой базе (без блокировки пользователей) delete_from из аксапты показывал бы тот-же самый результат, что и прямой delete from. Т.е. если и строить план запроса, то именно delete_from, а не вспомогательных select'ов, организующих цикл.

[Shirmin Oleg]

Цитата:

Сообщение от S.Kuskov

Это значение по умолчанию.

Так вот и не знаю, почему было оставлено это значение по умолчанию, не нужно оно там

Цитата:

Сообщение от S.Kuskov

Я ещё хотел сказать, что для тестирования временно стоит отказаться от удаления по частям. И добится сначала чтобы на пустой базе (без блокировки пользователей) delete_from из аксапты показывал бы тот-же самый результат, что и прямой delete from. Т.е. если и строить план запроса, то именно delete_from, а не вспомогательных select'ов, организующих цикл.

Что Вы имеете в виду под "пустой базой без блокировки пользователей"?

[S.Kuskov]

Цитата:

Сообщение от Shirmin Oleg

Что Вы имеете в виду под "пустой базой без блокировки пользователи"?

Коряво выразился. Я имел в виду тестовую базу с которой можете работать только вы но, не другие пользователей. Что бы не они вам не вы им не создавали блокировок. Дабы не загрязнять результаты эксперимента

[Shirmin Oleg]

Цитата:

Сообщение от S.Kuskov

Я имел в виду тестовую базу с которой можете работать только вы но, не другие пользователей.

Да, все эксперименты в такой базе и делаю.

[Shirmin Oleg]

Убрал мультикомпанию, добавил Recid в индекс Month (индекс делать уникалным не стал), убрал кэширование.

Удаление 100000 записей из Аксапты через delete_from без ограничения по RecId - 12 мин.

Сделал индекс Month уникальным, выбрал его в PrimaryIndex на самой таблице.


Удаление 100000 записей из Аксапты без огр. по RecId - 7мин. 49с.
Удаление 100000 записей из Студии без огр. по Recid - 6мин. 47с.

Удаление 450000 записей из Аксапты без огр. по RecId - 9мин. 39 с.
Удаление 450000 записей из Студии без огр. по Recid - 9 мин. 36 с.

Удаление 600000 записей из Аксапты без огр. по RecId - 9мин. 45 с.
Удаление 600000 записей из Студии без огр. по Recid - 9 мин. 40 с.

Удаление 450000 записей из Аксапты с разделением по RecId на блоки (1000 записей в блоке) - 11 мин. 55 с.
Удаление 450000 записей из Студии Аксапты с разделением по RecId на блоки (10000 записей в блоке) - 10 мин. 24 с.



Планы запросов:

[mazzy]

ну, вот! я же говорил, что планы разные.
и оба неоптимальны.

Цитата:

Сообщение от Shirmin Oleg

Убрал мультикомпанию, добавил Recid в индекс Month (индекс делать уникалным не стал), убрал кэширование.

Удаление 100000 записей из Аксапты через delete_from без ограничения по RecId - 12 мин.

а с ограничением по RecID?

[mazzy]

Цитата:

Сообщение от Shirmin Oleg

Если можно, объясните, пожалуйста

Мдя... *про себя* Назвался груздем - полезай в кузов

1. Заходите в Management Studio.
2. Коннектитесь и позиционируетесь на нужную базу данных
3. Создаете запрос

delete from SALESTABLE_TELECOMPHONTRA40478 where SALESTABLE_TELECOMPHONTRA40478.month = '2010-03-01'

4. включете опцию Include Actual Execution Plan
примерно так:


5. выполняете запрос
6. видите результаты и в закладке план исполнения
7. переключаетесь в закладку
8. скриншотите план исполнения так, чтобы он попал на скриншот полностью
9. повторяете действия для второго запроса

delete from SALESTABLE_TELECOMPHONTRA40478 where dataareaid = 'tz' AND month = '2010-03-01' AND RecID >= 5644252551  AND RecID <= 5644252561

Должно получится что-то вроде


если ваш план запроса не помещается на экран, тогда сделайте следующий запросы:

set showplan_all on;
go
delete from SALESTABLE_TELECOMPHONTRA40478 where SALESTABLE_TELECOMPHONTRA40478.month = '2010-03-01'

set showplan_all on;
go
delete from SALESTABLE_TELECOMPHONTRA40478 where dataareaid = 'tz' AND month = '2010-03-01' AND RecID >= 5644252551  AND RecID <= 5644252561

в этом случае вместо результатов вы получите текстовый вариант плана запроса.


либо скриншоты, либо текст выкладывайте сюда.