Восстановление индексов СУБД

Публикация № 1132762

Администрирование - Администрирование данных 1С - Тестирование и исправление

Восстановление индексов СУБД на основе структуры хранения базы данных 1С.

В обычный погожий денек, любимый всеми понедельник, не прошло и  10 минут после начала рабочего дня, как начали поступать первые тревожные звоночки.

"У нас ничего не работает!!"

"База тормозит!!"

Ну что могло случиться на выходных? Все работало и вдруг перестало.

Ознакомившись с работой пользователей, выяснил, что основная масса запросов идет к регистрам с распухшим (для текущей ситуации) количеством записей - четыре регистра накопления с количеством от 1,5 до 46 млн. записей.

Сразу подумал про индексы для этих регистров, т.к. база переработанная и регистры добавленные. Поскольку всех нюансов еще не знаю, т.к. стаж работы в данной организации без году неделя, открываю конфигуратор. Так и есть - ни одного индекса по полям, участвующим в отборах. Передав привет создателю данных объектов метаданных, добавляем индексы. После обновления конфигурации, ситуация несколько выравнивается и запросы к "пухлым" регистрам идут пошустрее, но тормозит уже все вокруг: прежние "быстрые" отчеты, проведение документов, стандартные функции с обращением к БД.

Ну и как вы наверное уже догадались, для большинства объектов базы 1С в СУБД физически не существовало индексов, что и показала нам MS SQL Studio. В связи с чем, это могло произойти так и не понял. Причем индексов не было на двух базах MSSQL. Есть подозрения, что базы входили в режим восстановления, возможно это и явилось причиной.

Первым пришедшим на ум решением, было достать описание метаданных (скрипт создания) из "живых" СУБД с наличием индексов и позаимствовав оттуда скрипты создания индексов просто выполнить их в "больных" базах. Но опыта работы с MS SQL не очень много, и данные потуги потерпели фиаско. В итоге пришла мысль создать скрипты создания индексов из структуры хранения базы данных 1С.

В связи с этим на свет и появился код для "Инструментов разработчика", коим и поспешил поделиться с сообществом.

 

//*********************************
// ОБЩИЕ ПЕРЕМЕННЫЕ
ИмяБазыСУБД = "MyBASE";
ВыводитьСтатусОперации = Истина;

// для получения только отсутствующих в СУБД
ТолькоОтсутствующиеВСУБД = Истина;
ИмяСервераСУБД = "MyServer";
ИмяПользователяСУБД = "sa";
ПарольПользователяСУБД = "MyPassword";
//*********************************

Состояние("Получаем структуру хранения базы данных...");
СХД= ПолучитьСтруктуруХраненияБазыДанных(,Истина); // по всем объектам, в терминах СУБД

Состояние("Заполняем таблицу данных для создания индексов...");

ТЗИнд = Новый ТаблицаЗначений;
ТЗИнд.Колонки.Добавить("ИмяИндекса");        					// имя индекса из СХД
ТЗИнд.Колонки.Добавить("ИмяТаблицы");        					// имя таблицы 1С
ТЗИнд.Колонки.Добавить("ИмяМетаданного"); 					// метаданные из СХД
ТЗИнд.Колонки.Добавить("ПоляИндекса");  						// таблица значений из СХД
ТЗИнд.Колонки.Добавить("ПоляИндексаСтрокой");  		// все поля собрали в строку
ТЗИнд.Колонки.Добавить("Кластеризованный"); 				// кластеризованный или нет
ТЗИнд.Колонки.Добавить("СтрокаСоздания"); 					// строка для создания индекса в СУБД

Для Каждого СтрокаСХД Из СХД Цикл
	Для Каждого СтрокаИндексаСХД Из СтрокаСХД.Индексы Цикл
		ИмяМетаданного = СтрокаСХД.ИмяТаблицыХранения;
		ИмяИндексаХранения = СтрокаИндексаСХД.ИмяИндексаХранения;
		
		СтрокаИнд = ТЗИнд.Добавить();
		СтрокаИнд.ИмяМетаданного = ИмяМетаданного;
		СтрокаИнд.ИмяИндекса = ИмяИндексаХранения;
		СтрокаИнд.ПоляИндекса = СтрокаИндексаСХД.Поля;
		СтрокаИнд.ИмяТаблицы = СтрокаСХД.ИмяТаблицы;
		
		// собрали поля индекса в строку
		ПоляИндексаСтрокой = "";
		Для Каждого СтрокаИмениПоля из СтрокаИнд.ПоляИндекса Цикл
			ПоляИндексаСтрокой = ПоляИндексаСтрокой+?(ПустаяСтрока(ПоляИндексаСтрокой),"",", ")+СтрокаИмениПоля.ИмяПоляХранения;
		КонецЦикла;	
		СтрокаИнд.ПоляИндексаСтрокой = ПоляИндексаСтрокой;
		 
		// вид индекса кластерный или нет - из копии оставшей СУБД или по имени индекса
		СтрокаИнд.Кластеризованный = 0;				
		Если Найти(ИмяИндексаХранения,"PK__") > 0 или                   // первичный для всех
				Найти(ИмяИндексаХранения,"_IntKeyInd") > 0 или 		 	// для табличных частей документов
				Найти(ИмяИндексаХранения,"_ByDataKey_") > 0  или     // 
				Найти(ИмяИндексаХранения,"_TRN") > 0 							// для регистров
				Тогда				
				СтрокаИнд.Кластеризованный = 1;				
				
		КонецЕсли;		
			
	КонецЦикла;	
	
КонецЦикла;	

// получим индексы из СУБД
СоответствиеИндексов = Новый Соответствие;
Если ТолькоОтсутствующиеВСУБД тогда
	Состояние("Получаем индексы СУБД ...");
	
	СтрокаСоединения = "Provider=SQLOLEDB; Data Source="""+ИмяСервераСУБД+"""; Initial Catalog="""+ИмяБазыСУБД+"""; User Id="""+ИмяПользователяСУБД+"""; Password="""+ПарольПользователяСУБД+"""";
	Соединение = Новый COMОбъект("ADODB.Connection");
	Соединение.ConnectionString = СтрокаСоединения;
	Соединение.Open();

	Команда = Новый COMОбъект("ADODB.Command");
	Команда.ActiveConnection = Соединение;
	Команда.CommandText = "select name, type from sys.indexes where type <> 0";
	Данные = Команда.Execute();

	Данные.MoveFirst();
	Пока НЕ Данные.EOF Цикл
		ИмяИндекса = Данные.Fields.Item(0).Value;
		СоответствиеИндексов.Вставить(ИмяИндекса,ИмяИндекса);
		Данные.MoveNext();
	КонецЦикла;	
КонецЕсли;

// собираем строку создания индекса на стороне СУБД
// https://docs.microsoft.com/ru-ru/sql/t-sql/statements/create-index-transact-sql?view=sql-server-2017
// Создавайте кластеризованные индексы до создания любых некластеризованных. 
// При создании кластеризованного индекса все существующие некластеризованные индексы таблицы перестраиваются.
ТЗИнд.Сортировать("ИмяТаблицы Возр,Кластеризованный Убыв");
КоличествоСтрок = ТЗИнд.Количество();
Ном =1;

Состояние("Получаем финальный скрипт...");
СтрокаСкрипта = "use "+ИмяБазыСУБД+" GO";
Для Каждого СтрокаИнд Из ТЗИнд Цикл
	    ИмяИндекса  = СтрокаИнд.ИмяИндекса;
		
		ИндексЕстьВСУБД = Ложь;
		Если ТолькоОтсутствующиеВСУБД тогда
			ИндексЕстьВСУБД = СоответствиеИндексов.Получить(ИмяИндекса) <> Неопределено;
		КонецЕсли;
		
		Если ИндексЕстьВСУБД тогда
			Продолжить;
		КонецЕсли;
		
		СтрокаСоздания = "";
		// статус операции для наглядности
		Если ВыводитьСтатусОперации тогда
			СтрокаСтатуса =  Строка(Ном)+" из "+Строка(КоличествоСтрок) + " ("+Формат(Ном*100/КоличествоСтрок,"ЧЦ=4; ЧДЦ=2; ЧГ=0")+"%)";
			СтрокаСоздания = "Print('"+СтрокаСтатуса +". "+СтрокаИнд.ИмяТаблицы+"')"+Символы.ПС; 			// выведем имя таблицы 1С
		КонецЕсли;	
		//--
		
		СтрокаСоздания = СтрокаСоздания +"CREATE UNIQUE " + ?(СтрокаИнд.Кластеризованный = 1," CLUSTERED ","")+ " INDEX "         		// имя индекса
										+ ИмяИндекса+Символы.ПС+" ON ["+ИмяБазыСУБД+"].dbo.["+СтрокаИнд.ИмяМетаданного+"] ("        // имя метаданного SQL
										+ СтрокаИнд.ПоляИндексаСтрокой +") "+ "WITH (DROP_EXISTING = OFF) "                                                                   // поля индекса
										+ "  ON [PRIMARY] "
										+Символы.ПС+"GO";									
		СтрокаИнд.СтрокаСоздания = СтрокаСоздания; 					
		
		СтрокаСкрипта = СтрокаСкрипта+?(ПустаяСтрока(СтрокаСкрипта),"", Символы.ПС)+ СтрокаСоздания;
		
		Ном = Ном + 1;
КонецЦикла;

// добавили в скрипт обновление статистики и чистку кэша
СтрокаСкрипта = СтрокаСкрипта + Символы.ПС
							+" EXEC sp_updatestats;"+Символы.ПС
							+ "DBCC FREEPROCCACHE";

 

Результат выполнения - строка, которую использовал в MS SQL Studio, чтобы отслеживать прогресс выполнения создания индексов.

 

UPD 1.

В код добавлена возможность создавать только отсутствующие в СУБД индексы. Для этого используем подключение ADO и анализ имеющихся в СУБД индексов.

Регулируется параметром "ТолькоОтсутствующиеВСУБД " в шапке кода.

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. triviumfan 16 15.10.19 09:04 Сейчас в теме
2. Pixar0000 18.10.19 14:52 Сейчас в теме
"собираем строку создания индекса на стороне СУБД"
профанация и бред
Оставьте свое сообщение

См. также

Восстановление работоспособности файловой базы. 3. Конфигурация Промо

Тестирование и исправление Практика программирования v8 1cv8.cf Бесплатно (free)

Восстановление работоспособности разрушенной файловой базы. Этап 3. Лечим конфигурацию.

21.04.2013    48527    0    andrewks    20    

Ошибка формата потока. Частный случай при обновлении

Тестирование и исправление v8 УПП1 Бесплатно (free)

При обновлении конфигурации столкнулся с ошибкой формата потока. Нашел вполне экономное решение по времени для решение этой проблемы.

25.04.2020    2478    0    Gasilin    8    

Проверка регистраторов при обновлении конфигурации

Тестирование и исправление v8 Бесплатно (free)

При обновлении конфигурации состав движений документов может быть изменен. Если в них были сделаны движения по своим регистрам, то их нужно восстановить. Если забыть это сделать - данные будут утеряны.

23.04.2020    1573    0    ipoloskov    8    

У Вас Задваивание безналичных платежей в УТ 11.4, исправляем!!!

Тестирование и исправление v8 v8::ОУ УТ11 УУ Бесплатно (free)

Всем привет. Может такое произойти, что в окне безналичных платежей конфигурации УТ 11 происходит задвоение информации, т.е. от одного и того же контрагента пришли поступления одной и той же суммой в один и тот же день (дублирование). У меня данные из клиент-банка заливаются в БП, а затем через обмен выполняется перелив с БП в УТ, вот и получилось у меня задвоение. В журнале операций все прошло нормально, без задвоений, а вот в самой программе отобразилось уже так, произойти это могло по многим причинам (коряво прошел обмен, ошибка релиза, внутренние ошибки алгоритма и т.п. - вариантов масса). Что я сделал, в первую очередь, конечно, резервную копию.

16.04.2020    1046    0    VID1234    6    

Недопустимое состояние объекта !m_usingOldShema [backend - src\DBGenerationsImpl.cpp (2377)]

Тестирование и исправление v8 Бесплатно (free)

Не знаю, что именно вызвало такую ошибку, поэтому напишу, что выполнен был переход с платформы 8.3.10.2561 на 8.3.16.1148. Конфигурация разрабатывалась с использованием хранилища конфигурации. База серверная на Microsoft SQL. В результате изменений в конфигурации, не вызывающих реструктуризацию базы, после нажатия F7 возникло такое сообщение.

04.04.2020    2295    0    EvgeTrofi    3    

Зависает полнотекстовый поиск! Что было? Что я сделал?

Тестирование и исправление v8 БП3.0 Россия Бесплатно (free)

Всем привет. После непредвиденного выключения компьютера, глюк системы, в одной из моих баз произошел глюк, а именно, в части поиска. Я спокойно вхожу в программу, могу все делать, но как только я начинаю пользоваться поиском, программа зависает и не отвисает, ну или нужно очень долго ждать (я этого не делал). Сначала я подумал, что глючит индексация поиска, и хотел ее перенумеровать, но зайти в настройки индексации полнотекстового поиска у меня тоже не вышло, глючит при попытке проникновения в настройки, я попробовал отключить полнотекстовый поиск, программа заработала без глюков, но при использовании поиска не выполняла свою функцию.

10.01.2020    4410    0    VID1234    14    

"Объект не найден" - не приговор! Простой способ восстановить удаленный объект

Тестирование и исправление v8 1cv8.cf Бесплатно (free)

В статье будет рассмотрен простой способ восстановления удаленного объекта с помощью обработки «Выгрузка и загрузка данных XML».

12.11.2019    4565    0    Olesia_Matusevich    12    

Восстановление SQL базы 1С 8.2. рухнувшей во время сохранения конфигурации. Промо

Тестирование и исправление Архивирование (backup) v8 1cv8.cf Россия Бесплатно (free)

При обновлении конфигурации вылетела 1С. После чего наотрез отказалась входить в базу. При этом в конфигураторе выдавалось сообщение "Внимание!!! При обновлении данных, после последней реструктуризации, произошла критическая ошибка. Повторить обновление?" Потом выходило сообщение "Обнаружена незавершённая операция сохранения конфигурации. Для продолжения необходимо завершить операцию". Горела кнопка Ок - на этом работоспособность конфигуратора и базы заканчивалась.

08.02.2012    126571    0    VanDiesel1    134    

Решение для клиент-серверной архитектуры на базе POSTGRE SQL при возникновении ошибки "Нарушена целостность структуры конфигурации"

Тестирование и исправление v8 1cv8.cf Бесплатно (free)

При динамическом обновлении возможно нарушении структуры конфигурации. Об этом можно узнать по характерному сообщению: "Нарушена целостность структуры конфигурации", после чего предлагается перезапуск или завершение. Решение описано для клиент-серверной конфигурации на PostgreSQL

07.11.2019    6542    0    leaguener    5    

Исправление ошибки "Для одного ссылочного кода существует более одной таблицы в базе данных"

Тестирование и исправление v8 Бесплатно (free)

Описана методика исправления ошибки путем внесения изменений в sql-таблицы.

23.09.2019    16364    0    Дмитрий74Чел    71    

Ошибка формата потока и команды конфигурации

Тестирование и исправление v8 Бесплатно (free)

Один из вариантов устранения данной ошибки.

11.06.2019    7377    0    l_men    5    

Исправление ошибки при открытии внешнего отчета "Не удалось обновить вспомогательные данные расширений"

Тестирование и исправление v8 Россия Бесплатно (free)

Способы исправления ошибки при открытии внешнего отчета "Не удалось обновить вспомогательные данные расширений. Обратитесь к администратору."

30.05.2019    4735    0    AlkB    4    

MS SQL Ошибка СУБД: Предоставленный поток статистики разрушен. Как решить проблему с разрушенной статистикой

Тестирование и исправление v8 1cv8.cf Бесплатно (free)

MS SQL Ошибка СУБД: Предоставленный поток статистики разрушен... Как решить проблему с разрушенной статистикой

16.04.2019    6044    0    ikorulev    1    

Cannot insert duplicate key. Кто виноват и что делать

Распределенная БД (УРИБ, УРБД) Тестирование и исправление v8 Бесплатно (free)

Ошибка "CANNOT INSERT DUPLICATE KEY" в базах 1С и связанная с ней "магия".

25.02.2019    18942    0    YPermitin    32    

Поиск и замена дублей + v0.99 Промо

Чистка базы Поиск данных Тестирование и исправление v8 1cv8.cf Бесплатно (free)

Обработка позволяет выполнять гибкий поиск, замену и удаление дублирующихся элементов любого справочника или плана видов характеристик.

03.08.2007    72015    0    tormozit    227    

Малоизвестная хитрость определения модуля и номера строки при возникновении исключения (без запуска отладки и конфигуратора). Несколько очень удобных, но малоиспользуемых возможностей работы в конфигураторе

Тестирование и исправление v8 Россия Бесплатно (free)

В статье описана возможность получить место возникновения исключения при работе пользователей без участия конфигуратора. Подробно описаны еще некоторые очень полезные приемы при работе в отладке.

17.01.2019    25027    0    PoZiTiFFF    53    

Восстановление базы 1С, ошибка источника потока

Тестирование и исправление v8 Бесплатно (free)

Очередной кирпичик в основу решения проблемы восстановления работоспособности базы после динамического обновления.

09.01.2019    17614    0    idle    25    

Авто-восстановление "битых ссылок" при обменах с несколькими базами данных в режиме управляемых форм

Тестирование и исправление v8 v8::УФ 1cv8.cf Россия Бесплатно (free)

В процессе исполнения проектов консолидации данных из разных источников, возникновение «битых ссылок», особенно для закрытых периодов и действующих бизнес-процессов, могут быть крайне нежелательными в конкретный момент времени. Ясно, что специалисты со временем нормализуют обмены, восстановят утраченные по ошибке записи, но в моменте это не быстро, и необходим способ решения, который позволит продолжить производственный процесс на уровне продвинутого пользователя.

31.07.2018    6459    0    SvkMaster    5    

1С: Сценарное тестирование 3.0. Запись и отладка интерактивного сценария

Тестирование и исправление v8 1cv8.cf Бесплатно (free)

Конфигурация «Сценарное тестирование 3.0» (далее СТ) позволяет записывать интерактивные действия пользователей и формировать на их основании сценарий тестирования, который в последующем можно использовать в тестах. Рассмотрим это на примере.

07.11.2017    15156    0    user759624    7    

Окно "Зарегистрировано 0 изменений из 1 на узле "Имя узла""

Тестирование и исправление v8 1cv8.cf Бесплатно (free)

Почему может появляться окно предупреждения "Регистрация изменений" с текстом " Зарегистрировано 0 изменений из 1 на узле "Имя узла" "" ? Как исправить проблему?

02.08.2017    21003    0    StudentM    4    

Рекурсия тестирования баз 1С. Когда однократного тестирования базы недостаточно

Тестирование и исправление v8 1cv8.cf Россия Бесплатно (free)

В данной статье описывается ситуация, когда однократного тестирования недостаточно. В работе мы столкнулись с ситуациями, когда приходится тестировать базы по нескольку раз.

22.06.2017    10596    0    iskan    7    

Отладка не работает, или отладка фоновых заданий

Тестирование и исправление v8 1cv8.cf Бесплатно (free)

На написание данной статьи вдохновила статья http://infostart.ru/public/633522/ Я разработчик старой формации, до сих пор обслуживаю клиентов на платформах 7.7, 8.1, 8.2, времени изучать все мануалы и отслеживать новые тенденции не хватает. Цель этой статьи помочь разработчикам, таким же людям, как и я. Если эта статья сэкономит, хотя бы, 1 человеко-час жизни, значит, написана не зря.

16.06.2017    23268    0    IvanovAV    24    

Когда перестает работать отладчик

Тестирование и исправление v8 Россия Бесплатно (free)

Полагаю, некоторые коллеги уже оказывались в ситуации, когда отладка внезапно пропадала, и различные "шаманские" методики (переустановка платформы, чистка локального кэша и прочее) результата не давали. Опишу свой опыт по выявлению и устранению причины.

13.06.2017    27894    0    mickey.1cx    20    

Предопределенный элемент отсутствует в данных

Тестирование и исправление v8 БП3.0 Бесплатно (free)

Предопределенный элемент отсутствует в данных. Исправляем ошибку.

13.06.2017    24007    0    niko11s    11    

Перенос данных из базы с поврежденными таблицами

Тестирование и исправление Обмен через XML Перенос данных из 1C8 в 1C8 v8 БП2.0 Казахстан БУ УУ Бесплатно (free)

У клиента что-то произошло с жестким диском, что потребовало восстановления данных на нем. Базу 1С вроде бы сохранили, и она даже открылась. Однако при попытке доступа к документу "Платежный ордер, списание денежных средств" база вылетает с ошибкой. Также при получении оборотов за период в целом и по декадам выводились разные цифры. Обработка переноса данных в идентичную конфигурацию не подошла, из-за того, что так же вылетала с ошибкой БД. Ниже опишу мои действия по созданию новой конфигурации.

06.06.2017    15371    0    ermek6    14    

Ошибка формата потока. Решение с описанием проблемы

Тестирование и исправление v8 1cv8.cf Россия Бесплатно (free)

Ошибка формата потока. Страшная, но симпатишная своей загадочностью. 1С ничего толком не объясняет и не подсказывает. Ниже решение, которое мне помогает решать данную проблему на 100%. Всё очень просто. Данная ошибка возникает (на моей практике) только у клиент серверного варианта. просто потому что с другим форматом не работаю. Рекомендация: Старайтесь избегать динамического обновления, особенно если у вас возможны кратковременные проблемы с 220 и LAN. Далее описание лечения:

25.04.2017    27481    0    juker    1    

Ошибка в 1С: Не удается вставить повторяющуюся строку ключа в объект

Тестирование и исправление v8 1cv8.cf Бесплатно (free)

В 1С может появиться ошибка такого рода: Ошибка при чтении изменений при обмене РИБ: Ошибка при вызове метода контекста (ПрочитатьИзменения): Попытка вставки неуникального значения в уникальный индекс: Microsoft SQL Server Native Client 11.0: Не удается вставить повторяющуюся строку ключа в объект "dbo._AccRgAT118760" с уникальным индексом "_AccR118760_ByPeriod_TRRRRN". Повторяющееся значение ключа: (ноя 1 5999 12:00AM, 0xab52f3e52b35efa847b0cfef9c90ff9d, 0x95eb00112f2a1abf11dac09f12116a47, NULL, NULL, NULL, NULL, 0). HRESULT=80040E2F, SQLSrvr: SQLSTATE=23000, state=1, Severity=E, native=2601, line=1 Техническая информация: Ошибка при чтении изменений при обмене РИБ: {ОбщийМодуль.ПроцедурыОбменаДанными.Модуль(1559)}: Ошибка при вызове метода контекста (ПрочитатьИзменения): Попытка вставки неуникального значения в уникальный индекс: Для ее решения делаем следующее:

18.04.2017    21304    0    tonn12    13