Дельта-синхронизация
Как обновлять изменённые документы и безопасно обрабатывать удаления.
Сокращённый перевод. Раздел Data на русском — абриджированная версия английской документации, не пословный паритет с EN.
Запуск коннектора сравнивает нормализованный документ с сохранённым payloadHash.
Новый документ добавляется, изменённый обновляется, совпадающий пропускается.
Стабильный external_id нужен, чтобы обновление не создавало новую запись.
Проверка результата
В истории задач сравните loaded, indexed, skipped, pruned и failed.
На неизменившемся источнике ожидается рост skipped. Изменение маппинга может
изменить нормализованный документ и вызвать повторную запись.
Удаления
При включённом pruneDeleted отсутствующие в источнике документы удаляются
из выдачи только после полного чтения. Обрыв загрузки, достижение лимита или
частичная ошибка не должны считаться подтверждением удаления остальных записей.
Перед запуском полного импорта проверьте URL, режим и лимит: пустой полный
источник может означать удаление всего набора документов этого коннектора.
Удаление из выдачи не означает уничтожение всех сохранённых данных. Не используйте синхронизацию как подтверждение исполнения запроса на удаление персональных данных.
Курсор
Курсор продвигается после полного успешного прохода. При неполной загрузке или ошибках документов сохранение прежней позиции позволяет повторить обработку. Проверьте историю задач после восстановления источника.
Повтор ошибок
Повтор ошибки подключённого источника ставит в очередь полную синхронизацию его текущих данных и настроек. Старое содержимое ошибки не импортируется. Успешное полное чтение закрывает предыдущие ошибки этого коннектора после проверки удалений. Частичный проход и отменённое задание сохраняют их открытыми.
Для ручного импорта повтор допустим только для последней ошибки записи, которая ещё ни разу не была принята. Если запись уже обновлена, удалена или очищена, проверьте актуальную версию и отправьте новый импорт. Удалённый источник необходимо подключить заново; интеграция с отправкой данных должна повторно отправить актуальные записи со своей стороны.
Изменение содержимого — задача синхронизации. Изменение структуры полей требует проверки схемы, иногда — переиндексации.