1С + PostgreSQL + SSD: Куда уходит ресурс хост-записей?

Публикация № 1118674

Администрирование - Администрирование данных 1С

PostgreSQL SSD pg_stat хост-записи

Работа PostgreSQL на SSD начиная с 10 версии, резко увеличивает нагрузку на ресурс SSD, даже когда к базе нет коннектов.

После обновления PostgreSQL c 9 на 10 версию, я заметил странное - ресурс SSD (хост-записи) начал резко уменьшаться. На рабочих SSD это было не заметно и я бы не обратил внимание, но там где находятся тестовые базы, счетчик хост-записей показывал запись от 3 до 9 ГБайт в день. Что было более чем странно. В принципе для SSD это не нагрузка, но...

Анализ показал, что виновник - сборщик статистики PostgreSQL. Настройки (кроме памяти) я использую стандартно-рекомендованные. Статистику PostgreSQL пишет в каталоги pg_stat, pg_stat_tmp. Файлы там обновляются очень часто.

Выход довольно прост - перенести эти каталоги на HDD или Memory Disk. В принципе на сервере памяти хватает и 0,25 ГБайта не жалко.

Диск можно создать любым приложением, я использую - imdisk. Вызывать можно из планировщика или сделать отдельный скрипт для старта PostgreSQL. 

imdisk -a -s 250M -m M: -p "/fs:NTFS /V:MemDisk /q /y"
m:
mkdir pg_stat_tmp

В postgresql.conf нужно дописать:

#stats_temp_directory = 'pg_stat_tmp'
stats_temp_directory = 'M:\pg_stat_tmp'

Если PostgreSQL стартанет до того, как будет инициализирован Memory Disk, то статистика пойдет в каталоги "по умолчанию".

По моим наблюдениям, каталог со статистикой не растет дальше определенного размера и зависит от количества баз \ таблиц. После переноса файлов статистики, количество хост-записей упало до 1 Гбайта в день - что больше похоже на правду.

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. ogidni 161 06.09.19 22:25 Сейчас в теме
Скорость работы выросла?
2. 2tvad 62 06.09.19 23:22 Сейчас в теме
(1) Я не заметил прироста. На рабочих базах по ощущениям скорости тоже не прибавилось. Скорее всего дисковая подсистема не является у меня узким местом. А вот процы у меня слабоваты, что на рабочем, что на тестовом сервере.
3. GreenDragon 07.09.19 08:54 Сейчас в теме
(1) Так он же не данные перенёс, а всего-лишь статистику.
4. stopa85 07.09.19 20:53 Сейчас в теме
Мне это давало 2-3 попугая по тесту Гилева, но на hdd.
5. ogidni 161 09.09.19 10:43 Сейчас в теме
можно было и временные таблицы за одно туде же на Ramdisk, тогда гарантированнно будут попугаи. Медленная работа с временными таблицами - это узкое место Слонов.
Что касается старения SSD-то перенос статистики на другой диск мало чем поможет - Слон не перезаписывает данные - удаляет данные блоками и пишет новые.
Так что SSD для слона это необходимые для рациона корм и считать его думаю нет смысла.
6. 2tvad 62 09.09.19 11:57 Сейчас в теме
(5) У меня не настолько много оперативки. С тем что производительность должна вырасти, согласен.

В рабочих базах лишние 3-9 гбайт хост-записей в день, у меня и не видно. Но в тестовых средах и там где пользователей не очень много, это может быть существенным. Все же в тестовых средах использовать серверные SSD дорого, мы используем "середнячков" из обычных линеек.
Оставьте свое сообщение

См. также

Сказ о том, как online_analyze INSERT "удлинял"

Статья Системный администратор Нет файла PostgreSQL Бесплатно (free) Статистика базы данных Администрирование СУБД

Немного о тонкостях работы модуля online_analyze для PostgreSQL. Опус для тех, у кого, как и у меня, не всегда хватает времени на то, чтобы разобраться, как это работает, и поэтому бывает так, что следуешь рекомендациям из сети и пользуешься методом "копипаста", пока не прижмет.

10.02.2020    670    Sloth    0       

Управление ИТ-проектами. Модуль 2: продвинутый онлайн-курс по классическим методам управления проектами. Вебинары проходят с 12 марта по 11 июня 2020 года. Промо

Продвинутый онлайн-курс по классическому управлению ИТ-проектами позволит слушателям освоить инструменты из PMBoK® и 1С:Технологии корпоративного внедрения и научиться их применять для проектов любого масштаба. Курс включает в себя 12 вебинаров и 12 видеолекции, разбор кейсов и рекомендации экспертов по проектам слушателей. Ведущая курса - Мария Темчина.

от 13000 рублей

Ошибка Frontol 5, 6 при работе с базой (internal gds software consistency check)

Статья Системный администратор Нет файла Розничная и сетевая торговля (FMCG) Windows Бесплатно (free) Тестирование и исправление

При продаже товара выскакивает критическая ошибка "Ошибка работы с базой! Internal gds software consistency check (can't continue after bugcheck)" и работа базы прекращается, любые повторные попытки войти в базу приводят к огромным количествам не понятных ошибок, сбоев, зависаний и вообще может выдать что база не обнаружена (перемещена или удалена). При попытка остановить/перезапустить службу Frontol она вообще зависала и помогала только перезагрузка терминала

23.01.2020    980    ClickUp    2       

Организация резервного копирования файлов с использованием rclone

Статья Системный администратор Нет файла Россия Бесплатно (free) Архивирование (backup)

Описание использования достаточно универсальной утилиты по синхронизации файлов.

21.01.2020    1510    malikov_pro    0       

Программы для исполнения 54-ФЗ Промо

С 01.02.2017 контрольно-кассовая техника должна отправлять электронные версии чеков оператору фискальных данных - правила установлены в 54-ФЗ ст.2 п.2. Инфостарт предлагает подборку программ, связанных с применением 54-ФЗ, ККТ и электронных чеков.

Самые распространенные заблуждения об индексах в мире 1С

Статья Системный администратор Программист Нет файла Бесплатно (free) Администрирование данных 1С Администрирование СУБД

"Магия" индексов привела к множеству заблуждений об их работе. Попробуем развеять некоторые из них в контексте 1С.

28.11.2019    12589    YPermitin    44       

INFOSTART MEETUP Kazan. 13 марта 2020 г. Промо

Инфостарт продолжает путешествие по России. Следующая остановка - Казань. Тема мероприятия - управление и технологии автоматизации учета на платформе "1С: Предприятие". Ждем всех: докладчиков и участников! Стоимость участия - 5 500 рублей. Цена действительна до 30.01.2020

5 500

Установка 1С Сервера взаимодействия на Linux

Статья Системный администратор Нет файла Россия Linux Бесплатно (free) Администрирование данных 1С

В статье описан пошаговый процесс установки Сервера взаимодействия 1C на Linux CentOS 7.6.

06.09.2019    4817    KlSergey    14       

О Unit-тестах замолвите слово.Часть 1

Статья Программист Нет файла Бесплатно (free) Тестирование и исправление

Последнее время в контексте 1С очень много говорят о функциональном тестировании, BDD. А Unit-тестирование обходят стороной. Попробуем разобраться, для чего Unit-тестирование применять стоит.

22.07.2019    4312    Сурикат    27       

Голосование за доклады на INFOSTART MEETUP Kazan - до 25 февраля. Промо

Выбирайте и голосуйте за самые интересные доклады! Лучшие из лучших попадут в окончательную программу казанского митапа. Оставить свой голос можно до 25 февраля 2020 года.

Обновление PostgreSQL на Windows

Статья Системный администратор Нет файла Windows Бесплатно (free) Администрирование данных 1С

Указана последовательность действий при обновлении PostgreSQL на примере Windows. Также описаны некоторые особенности.

11.06.2019    9272    extalionos    4       

Базовый курс по обмену данными в системе 1С:Предприятие. Онлайн-интенсив с 12 по 28 мая 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, обеспечивающих обмен данными между различными прикладными 1С-решениями и взаимодействие с другими информационными системами. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”.

5500 рублей

Регулярная перезагрузка Сервера 1С с чисткой кэша

Статья Системный администратор Нет файла Windows Бесплатно (free) Администрирование данных 1С Стартеры 1С

Батник для перезагрузки агента сервера 1С и чистки серверного кэша и сеансовых данных. Для регулярной перезагрузки вставляем в планировщик заданий Windows.

17.05.2019    8103    alfir70    19       

​​​​​​​CorelDRAW Graphics Suite 2019 Промо

CorelDRAW – пакет профессиональных инструментов для редактирования фотографий, разработки дизайна, создания макетов страниц и векторных иллюстраций

Способы проверки доступности TCP-портов

Статья Системный администратор Нет файла Windows Бесплатно (free) Администрирование данных 1С

Как проверить доступен ли порт сервера? Или внешний веб-сервис? Приведены несколько способов для использования на Windows-системах.

12.05.2019    15489    -vito-    9       

PID процесса в сборщиках PerfMon

Статья Системный администратор Нет файла Россия Windows Бесплатно (free) Администрирование данных 1С

Одним из неудобств при работе с PerfMon является то, что одноименные процессы именуются по-порядку, с добавлением суффикса #n к имени процесса. Описана настройка, позволяющая устранить этот недостаток.

06.04.2019    3552    -vito-    9       

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

Введение в лицензирование ПО Microsoft

Статья Системный администратор Пользователь Нет файла Россия Бесплатно (free) Администрирование данных 1С

Поговорим о принципах лицензирования программных продуктов Microsoft.

19.03.2019    14857    accounting_cons    37       

Готовые переносы данных из различных конфигураций 1C Промо

Рекомендуем готовые решения для переноса данных из различных конфигураций 1C. C техподдержкой от разработчиков и гарантией от Инфостарт.

1C:Предприятие для программистов: Расчетные задачи (зарплата). Онлайн-интенсив с 01 по 17 июня 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, которые предназначены для автоматизации периодических расчетов, а именно - для расчета зарплаты. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”, а также для опытных пользователей прикладного решения “1С:Зарплата и управление персоналом” и прочих прикладных решений, в которых реализован функционал расчета зарплаты.

4900 рублей

Собираем бюджетный игровой компьютер core i7 для Программиста 1С из всякого хлама за 20 тысяч рублей

Статья Системный администратор Программист Нет файла Бесплатно (free) Администрирование данных 1С

В продолжение статьи со сборкой бюджетного сервера так же решил написать про свой комп. С бюджетом 20 тыс. рублей.

29.01.2019    8758    ogidni    126       

Собираем бюджетный б/у сервер 1С:Предприятия 8.3 на 250+ Пользователей за 100 тыс. рублей

Статья Системный администратор Нет файла Бесплатно (free) Администрирование данных 1С

В последнее время в виду дорогого доллара, санкций и прочих проблем покупка нового сервера за 500 и более тысяч рублей стала недостижимой роскошью.  Ввиду этого попытаемся собрать его из б/у сервера на Авито.

24.01.2019    15194    ogidni    137       

Подборка программ для взаимодействия с ЕГАИС Промо

ЕГАИС (Единая государственная автоматизированная информационная система) - автоматизированная система, предназначенная для государственного контроля за объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. Инфостарт рекомендует подборку проверенных решений для взаимодействия с системой.

Установка Windows без загрузочной флэшки и загрузочного DVD-диска

Статья Системный администратор Нет файла Windows Бесплатно (free) Администрирование данных 1С

Что делать, если нужно установить Windows на ПЭВМ со старой системной платой, а под рукой нет dvd-привода, а с флэшки загрузка невозможна или идет очень медленно.

09.01.2019    5339    independ    5       

Семь рекомендуемых бесплатных курсов Microsoft для ИТ-администраторов

Статья Системный администратор Нет файла Бесплатно (free) Администрирование данных 1С

Образовательный портал «Нетология» предлагает вам пройти семь онлайн-курсов по облачным сервисам Microsoft бесплатно и получить сертификат об их завершении. Все курсы основаны на самых популярных сценариях использования облачных технологий в компаниях малого и среднего бизнеса. Разберемся, что же эти учебные программы предлагают.

28.12.2018    12711    VKuser24342747    1       

Онлайн-курс "Подготовка к экзамену 1С:Эксперт и 1С:Профессионал по технологическим вопросам" с 7 по 24 апреля 2020 г. Промо

На курсе вы получите практические навыки решения задач производительности 1С, в том числе характерных для высоконагруженных информационных систем (более 1000 пользователей). Подготовка к экзамену – только одна из составляющих курса. 70% слушателей приходят за знаниями, которые позволят расти и зарабатывать, делать сложные задачи на крупных проектах.

16450 рублей

Ректальное администрирование: Основы для практикующих системных АДминистраторов

Статья Системный администратор Нет файла Бесплатно (free) Администрирование данных 1С

Одной из самых популярных и зарекомендовавших себя методологий системного администрирования является так называемое ректальное. Редкий случай сопровождения и обслуживания информационных систем, инфраструктуры организации обходится без его использования. Зачастую без знания данной методологии сисадминам даже бывает сложно найти работу в сфере ИТ, потому что работодатели, особенно всякие аутсорсинговые ИТ фирмы, в основном отдают предпочтение классическим, зарекомендовавшим себя методикам, а не новомодным заграничным веяниям: практикам ITIL, нормальным ITSM и прочей ерунде.

22.12.2018    13022    Jokemas    25       

Исследование использования СУБД (MS SQL, PostgreSQL, Oracle, IBM DB2) с отраслевыми конфигурациями на платформе 1С:Предприятие

Исследование no Нет файла Россия Бесплатно (free) Администрирование данных 1С

Инфостарт подводит предварительные итоги третьего опроса по системам управления БД, которые используют участники Сообщества для автоматизации на платформе 1С, и анализирует тенденции рынка.

20.12.2018    8436    Kochergov    13       

Новый раздел на Инфостарте - Electronic Software Distribution Промо

Инфостарт напоминает: на нашем сайте можно купить не только ПО, связанное с 1С. В нашем арсенале – ESD-лицензии на ПО от ведущих вендоров: Microsoft, Kaspersky, ESET, Dr.Web, Аскон и другие.

  • Низкие цены, без скрытых платежей и наценок
  • Оперативная отгрузка
  • Возможность оплаты с личного счета (кешбек, обмен стартмани на рубли и т.п.)
  • Покупки идут в накопления для получения скидочных карт лояльности Silver (5%) и Gold (10%)

Как включить RemoteApp на Windows 10 Professional. Инструкция

Статья Системный администратор Программист Нет файла Бесплатно (free) Администрирование данных 1С

Всем наверно знакомо, что Professional выпуск Windows позволяет использовать режим удаленного рабочего стола. Но мало кому известно, что есть возможность настроить и режим «RemoteApp» знакомый нам по серверным продуктам. То есть клиенту будет доставляться не весь рабочий стол, а лишь приложение, например, 1С.

16.12.2018    22841    Aleksey81    31       

Как в RDP избавиться от языковой раскладки и оставить только выбор языка

Статья Системный администратор Нет файла Windows Бесплатно (free) Администрирование данных 1С

До чего же бывает трудно, когда в терминальной сессии работает выбор как языка ввода, так и языковой раскладки. Раздражает ведь??? Решение есть, и весьма простое!

14.12.2018    11417    Aleksey81    44