Загрузка файлов

Коннектор file превращает загруженные документы в записи индекса. Поддерживаются PDF, DOCX, текст и Markdown. CSV сюда не входит — у него свой тип коннектора.

Как это работаетCopy Anchor Link

1. В консоли: Индекс → Коннекторы → Загрузить файлы. Для каждого файла консоль получает подписанный URL; тип и лимит размера тарифа проверяются до подписи.
2. Браузер загружает файл напрямую в объектное хранилище (приватный бакет connector-uploads). Байты файла через API не проходят.
3. Консоль создаёт коннектор file со списком загруженных объектов.
4. Запуск коннектора ставит в очередь задачу file_import. Планировщик скачивает каждый объект, сверяет сигнатуру (magic bytes) с расширением, извлекает текст и импортирует один родительский документ на файл.

ЛимитыCopy Anchor Link

DOCX — это zip-архив; его оглавление проверяется до распаковки, поэтому архив, который развернулся бы больше чем в 50 МБ (или запись больше чем в 100 раз крупнее своего сжатого размера), отправляется в dead letters как ARCHIVE_TOO_LARGE без распаковки. Файл, не уложившийся в лимит времени, уходит в dead letters как EXTRACT_TIMEOUT.

Размер проверяется дважды: при подписи URL и при скачивании воркером.

Квота, ошибки, хранениеCopy Anchor Link

• Квота считает один документ на файл, даже если длинный файл режется на чанки.
• Прогресс — в Синхронизации и в GET /jobs/{jobId}; результат: { loaded, indexed, failed, skipped, ocr_pages, files[] }.
• Нечитаемый файл (зашифрованный PDF, битый архив, нет текста) попадает в dead letters индекса; остальные файлы импортируются.
• Загруженные объекты удаляются через 7 дней. Проиндексированные документы остаются; повторный запуск после истечения отправляет отсутствующие файлы в dead letters, а документы не удаляет.

ОграниченияCopy Anchor Link

• OCR включается отдельно. У сканированного PDF нет текстового слоя; без OCR он попадает в dead letters как «нет текста». Включите OCR для индекса в Настройки поиска → OCR (settings.search.ocr): страницы без текстового слоя, содержащие изображение, отправляются в OCR-сервис, который вы запускаете сами (HTTP-эндпоинт или собственный tesseract-server), не более 100 страниц на файл. Неудачный вызов OCR отправляет файл в dead letters как OCR_FAILED; файл, в котором есть и текстовые страницы, индексируется с этим текстом. Результат задачи сообщает ocr_pages.
• Список файлов нельзя изменить после создания — создайте новый коннектор.
• Ошибки извлечения нельзя повторить из dead letters — загрузите исправленный файл в новый коннектор.