Read postgres metadata

[sreznick]

We need to obtain information about available table, their oids etc.

So we need to parse some metatables like pg_class

[Michaelsladkov]

работа ведётся в ветке pgclass-parsing

На данный момент

1. перенесена структура pgclass из postgres
2. реализовваны функции для чтения структуры и текстового представления
3. найдено смещение, по которому сущность pgclass лежит в специальном файле 1259
4. проверено чтение из реальной базы и совпадение полей с выводимыми postgres

[shuuuurik]

Внёс ряд изменений, реализовал логику постраничного чтения отношений (Relation) из pg_class, кажется что минимально необходимый парсинг pg_class выполнен. То есть можно брать этот код за основу и подстроить под свою задачу.
Подробные изменения:

1. Добавлены структуры для заголовка страницы и указателя на версию строки (перенесены из репозитория postgres)
2. Реализован постраничный парсинг pg_class: на каждой странице происходит чтение заголовка страницы, вычисление длины массива указателей, чтение массива указателей. Затем итерируемся по массиву, где для каждого указателя происходит переход по соответствующему смещению и чтение строки отношения Relation (также добавляется смещение, чтобы "перепрыгнуть" заголовок строки, читать который как будто нет необходимости, а его длина фиксирована и составляет 32 байт)
3. В процессе чтения строк отношений (Relation) сохраняются только таблицы и индексы (relkind у отношений - 'r' или 'i'), а также отбрасываются системные отношения, которые не лежат в схеме public (в схемах pg_catalog, information_schema и pg_toast): для этого оставляются только те записи, у которых relnamespace соответствует схеме public, но в текущей реализации просто захардкожено, что схема public имеет oid 2200, а это не совсем корректно - подробности ниже.

В данной реализации есть недостатки:

1. Oid для схемы public захардкожено и равно 2200, но на самом деле это значение не является константным (хотя и является наиболее распространённым), то есть не гарантированно одинаково во всех базах данных. По-хорошему нужно парсить таблицу pg_namespace (но возможно на текущем этапе реализация с oid = 2200 допустима для данной задачи)
2. Было замечено, что для некоторых баз появляются дубликаты записей для одного и того же отношения, и даже записи с разными значениями oid для одного и того же отношения. Полагаю, что это из-за механизма многоверсионности (MVCC), так что даже когда все транзакции завершены, то "мёртвые" записи остаются пока не будет выполнен VACUUM. Варианты как это можно решить:
   1. Пытаться прочитать и как-то проанализировать заголовок версии строки (изучив правила проверки видимости),
      отбрасывая при этом "мёртвые" записи;
   2. Воспользоваться механизмом хеш-таблицы и для каждого отношения (идентифицировать по relname) сохранять
      только наибольший oid;
   3. Возможно достаточно просто выполнить VACUUM перед сохранением снепшота базы.

[shuuuurik]

По аналогии в этой же ветке pgclass-parsing добавлен постраничный парсинг метатаблицы pg_attribute (структура, названная Attribute, перенесена из исходников postgres на github)