Как выполнять дефрагментирование RecID

[Vadik]

Коллеги, одна таблица обновляется одним оператором UPDATE
Эта операция атомарная, в ней нет промежуточного состояния "первую строку обновили, вторую еще нет"
Точно так же оператор

update ledgerTrans set RecId = RecId + 1

не приводит к нарушению уникального индекса по RecId вне зависимости от того, по возрастанию индекс построен или по убыванию или как сервер будет страницы для UPDATE выбирать
ACID это называется

[kashperuk]

Ой, да. Это я Сусанин, не посмотрев код, не в ту степь повел.

Почему-то подумал, что вместо обновления потабличного (что намного производительнее, причем) делается позаписное (по RecId, и для каждого пробежка по всем таблицам).

Посмотрел код, действительно, все записи обновляются одним запросом, поэтому проблема эта - вообще не проблема.

[TasmanianDevil]

Именно так , Иван , Вы правильно поняли ...

Блин , не обратил внимание на последнюю строку в создании таблицы соответствия, где индекс по старому значению создавался.

Спасибо, Иван, за наставление на путь истинный, а то уже я наладился свой генератор писать, который на моих 6 млн записей сутки бы генерил новые RecId
С автоинкремента обвинения снимаются

[glibs]

Даже если бы индекса не было, то к нарушению логической целостности это не привело бы. Вопрос был бы только в скорости.

[TasmanianDevil]

Poseidon-topex, вряд ли кто-то это делал .
Теоретически и физически оно можно, только своими самописными средствами, ибо стандартный класс дефрагментации RecId это не поддерживает. Но логические последствия будут - я Вас умоляю : это срыв башни стандартному дефрагментатору(наворотит так , мало не покажется) и никуда не ушедшая вероятность появления данных ошибок на других таблицах.

[kashperuk]

Ну, технически думаю никаких проблем нет.
Если вы исследуете класс SysRecIdRepair, то увидите, что там все довольно просто.
То есть не сложно наложить фильтр для просмотра только одной таблицы, а не всех сразу.
Никаких негативных последствий от этого быть не должно.

[glibs]

Поддерживаю TasmanianDevil. Испортите базу так, что потом уже вам ее никто не починит.

Рано или поздно поползут проблемы на других таблицах. А если на них есть ссылки по RecId, то такое надругательство база не стерпит. А стандартный алгоритм дефрагментации работать уже... ну скажем так... будет работать уже не так, как задумывалось.

Раз уж вы прощелкали момент запуска дефрагментации, то ее нужно запустить как можно быстрее (с учетом всего того, что писалось выше), чтобы иметь как можно меньше негативных последствий.

[TasmanianDevil]

Спасибо, glibs, что поддержали .
Единственное, что хотелось бы добавить - если позволяют ресурсы временные и человеческие, перед стандартной дефрагментацией на такой компании сделайте аналогичный стандартному проход по таблицам с накоплением данных по разрезу "таблица/RecID" для мониторинга дублей. Это позволит оценить масштабы и возможные последствия после дефрагментации, а то и вовсе устранить дубли , если их не так уж и много будет в результате или они находятся в малозначимых таблицах.

[Didukh84]

Все добрый день!
Дефрагментацию пока не делали, но чувствует мое сердце, что скоро придется . База 54ГБ (правда это сейчас, перед дефрагментацией планирую немножко почистить ) Пробовал запускать Проверку кодов записей на тестовой базе - колбасилось трое суток, нагрузка на сервере БД: ввод/вывод на пределе, загрузка проца 10-30% процедура не завершилась . Сервак висел капитально

[mazzy]

Цитата:

Сообщение от Didukh84

Все добрый день!
Дефрагментацию пока не делали, но чувствует мое сердце, что скоро придется . База 54ГБ (правда это сейчас, перед дефрагментацией планирую немножко почистить ) Пробовал запускать Проверку кодов записей на тестовой базе - колбасилось трое суток, нагрузка на сервере БД: ввод/вывод на пределе, загрузка проца 10-30% процедура не завершилась . Сервак висел капитально

Какие таблицы самые большие?
Можете привести данные отчета "Disk usage by top tables" или аналогичного?
сюда смотрели? http://axapta.mazzy.ru/lib/dbgrowthsolution/

дефрагментация recid очень тяжелая операция.

ну и дополнительные советы: сразу выделяйте много (очень много) места под transaction log, установите шаг роста файла достаточно большим (не 1мб), сразу выделяйте место под базу (чтобы еще гигов 50 было свободно в базе).

скорее всего у вас не аксапта работала а СКЛ тратил все время на рост базы.

[Didukh84]

Цитата:

Сообщение от mazzy

Какие таблицы самые большие?
Можете привести данные отчета "Disk usage by top tables" или аналогичного?
.

привожу

[coolibin]

У меня вопрос знатокам по поводу поля LedgerTrans.BondBatchTrans_RU. У поля тип RefRecId, но как я понял ни на какой живой RecId он не ссылается. Вопрос, что будет с содержимым этого поля при выполнении дефрагментации RecId? Ведь новые номера в таблице AXOLDTONEWRECIDS сгенерятся не для всех его значений, а апдейт будет все равно запускаться.

[Didukh84]

Добрый день!

Цитата:

привести данные отчета "Disk usage by top tables" или аналогичного

а где можно его можно найти
на счет выделения места, то я уже на эти грабли наступил

Цитата:

СКЛ тратил все время на рост базы

так оно и было, при этом загрузка проца была несущественной, а вот дисковая система - под завязку (в обычные дни такой я за 1 год (который более-менее мониторю нагрузку) еще не видел )

[gl00mie]

Цитата:

Сообщение от Didukh84

а где можно его можно найти

Давным-давно заморачивался этим вопросом, в ходе поиска по тырнету нашел скрипт для Ms SQL, который выдает полезную информацию по таблицам, используя то, что сообщает хранимка sp_spaceused. Все данные о размере, выдаваемые ей, выводятся в kb, но подстрока " KB" удаляется, чтоб удобней было обрабатывать выхлоп в том же Excel.
Вот немного доработанный мною вариант скрипта (авторские комментарии сохранены):

PHP код:

set nocount on
/*
DATABASE TABLE SPY SCRIPT
 Micheal Soelter
 1/24/03
DESCRIPTION
 returns table size information
SORTING USAGE
 @sort bit values
 0 = alphabetically by table name
 1 = sorted by total space used by table
*/
declare @cmdstr varchar(100)
declare @Sort bit
select @sort = 1 /* edit this value for sorting options */
/* DO NOT EDIT ANY CODE BELOW THIS LINE */
--create temporary table
if object_id('tempdb..#temptable') is not null drop table #temptable
create table #temptable
 (  table_name varchar(100),
    row_count int,
    table_size_str char(15),
    data_space_used_str char(15),
    idx_space_used_str char(15),
    unused_space_str char(15),
    table_size int,
    data_space_used int,
    idx_space_used int,
    unused_space int
 )
--create stored procedure string
select @cmdstr = 'sp_msforeachtable ''sp_spaceused "?"'''
--populate tempoary table
insert into #temptable (table_name, row_count, table_size_str, data_space_used_str,
                        idx_space_used_str, unused_space_str)
    exec(@cmdstr)
--determine sorting method
update #temptable
    set table_size      = cast(replace(table_size_str,      ' KB', '') as int),
        data_space_used = cast(replace(data_space_used_str, ' KB', '') as int),
        idx_space_used  = cast(replace(idx_space_used_str,  ' KB', '') as int),
        unused_space    = cast(replace(unused_space_str,    ' KB', '') as int)
if @sort = 0
    begin
        --retrieve table data and sort alphabetically
        select table_name, row_count, table_size, data_space_used, idx_space_used, unused_space
        from #temptable order by table_name
    end
else
    begin
        --retrieve table data and sort by the size of the table
        select table_name, row_count, table_size, data_space_used, idx_space_used, unused_space
        from #temptable order by table_size desc
    end
--delete temporay table
drop table #temptable 


[Vadik]

Цитата:

Сообщение от gl00mie

Давным-давно заморачивался этим вопросом, в ходе поиска по тырнету нашел скрипт для Ms SQL, который выдает полезную информацию по таблицам, используя то, что сообщает хранимка sp_spaceused. Все данные о размере, выдаваемые ей, выводятся в kb, но подстрока " KB" удаляется, чтоб удобней было обрабатывать выхлоп в том же Excel

см. А "потянет" ли Axapta такой объем данных ?

Цитата:

Сообщение от Didukh84

а где можно его можно найти

для 2005 и выше - в Management Studio
для 2000 - см. выше

Только вот.. Didukh84, Вы УВЕРЕНЫ, что Вам надо запускать эту процедуру? У Вас RecId перескочил за maxint() или Вы таким образом пытаетесь решить какие-то другие проблемы?

[Didukh84]

Цитата:

Сообщение от Vadik

Только вот.. Didukh84, Вы УВЕРЕНЫ, что Вам надо запускать эту процедуру? У Вас RecId перескочил за maxint() или Вы таким образом пытаетесь какие-то другие проблемы?

У меня значение RecId - "-1804886437". Т.е. рано или поздно придется процедуру делать . Не охота, чтобы она застала врасплох .
Да, запустил еще раз проверку кодов то через 4-о суток оно сделалось!!! Значение RecId стало "140568244" :-) (правда я запускал перед этим еще реиндексацию зачем-то :-( )

[Didukh84]

Цитата:

сюда смотрели? http://axapta.mazzy.ru/lib/dbgrowthsolution/

да, видел. Правда я пока данные не чистил (хотел попробовать за минимум затрат). И у нас самые объемные таблицы (SalesLine, PurchLine и т.д.) чистить нельзя (некоторые нужные отчеты базируются на этих таблицах)

[glibs]

С ними будет то же самое, что будет в полях, которые таки ссылаются на другие записи по RecId. Т.е. если у вас запись ссылается на другую запись по RecId, но записи с таким RecId не существует, то ссылка по RecId не обновляется. После реиндексации она может начать ссылаться на какую-то другую (уже существующую) запись. Тут будет точно так же. Но в данном конкретном случае, по-моему, это не страшно.

[coolibin]

Цитата:

Сообщение от glibs

Т.е. если у вас запись ссылается на другую запись по RecId, но записи с таким RecId не существует, то ссылка по RecId не обновляется.

На это очень хотелось бы надеяться, но у меня есть сомнения.
Смотрим код. Там в частности для оракла генерится оператор вида:

UPDATE table set field = NEWRECID FROM AXOLDTONEWRECIDS WHERE OLDRECID=table.field

Допустим, в AXOLDTONEWRECIDS не всегда есть подходящая запись, UPDATE вообще не отработает или запишет пусто?
Версия 3.

[AndyD]

Для table.field, которым нет соответствия в AXOLDTONEWRECIDS, ничего не изменится