Daten
Datei-Uploads
PDF, DOCX, TXT und Markdown mit dem Datei-Connector indexieren — Limits, Textextraktion, Kontingent und bekannte Grenzen.
Der Connector file macht hochgeladene Dokumente durchsuchbar: PDF, DOCX,
Text und Markdown. CSV hat einen eigenen Connector-Typ.
Ablauf
- Konsole: Index → Connectoren → Dateien hochladen. Pro Datei wird eine signierte Upload-URL ausgestellt; Typ und Größenlimit des Tarifs werden vorher geprüft.
- Der Browser lädt direkt in den privaten Bucket
connector-uploads; die Bytes laufen nicht über die API. - Die Konsole legt einen
file-Connector mit der Objektliste an. - Ein Lauf erzeugt einen
file_import-Job. Der Scheduler lädt jedes Objekt, prüft die Magic Bytes gegen die Endung, extrahiert den Text und importiert ein Elterndokument pro Datei.
| Limit | Free | Pro | Enterprise |
|---|---|---|---|
| Größte Datei | 10 MB | 100 MB | 500 MB |
| Dateien pro Connector | 200 | 200 | 200 |
| Seiten pro PDF | 500 | 500 | 500 |
| Zeit für die Textextraktion einer Datei | 60 s | 60 s | 60 s |
| Zusatzzeit für OCR eines PDF | 5 min | 5 min | 5 min |
| DOCX: entpackte Gesamtgröße / Einträge | 50 MB / 2 000 | 50 MB / 2 000 | 50 MB / 2 000 |
Ein DOCX ist ein Zip-Archiv; sein Verzeichnis wird vor dem Entpacken geprüft.
Ein Archiv, das über 50 MB anwachsen würde (oder ein Eintrag mit mehr als dem
100-Fachen seiner komprimierten Größe), landet ohne Entpacken als
ARCHIVE_TOO_LARGE in den Dead Letters. Eine Datei, die das Zeitbudget
überschreitet, landet als EXTRACT_TIMEOUT dort.
Kontingent, Fehler, Aufbewahrung
- Das Kontingent zählt ein Dokument pro Datei, auch wenn lange Dateien gechunkt werden.
- Fortschritt in Sync und über
GET /jobs/{jobId}; Ergebnis{ loaded, indexed, failed, skipped, ocr_pages, files[] }. - Unlesbare Dateien landen in den Dead Letters des Index; der Lauf geht weiter.
- Hochgeladene Objekte verfallen nach 7 Tagen. Die indexierten Dokumente bleiben.
Bekannte Grenzen
- OCR ist optional. Ein gescanntes PDF hat keine Textebene; ohne OCR landet es
als „kein Text“ in den Dead Letters. OCR wird pro Index unter
Sucheinstellungen → OCR (
settings.search.ocr) aktiviert: Seiten ohne Textebene, die ein Bild enthalten, gehen an einen von Ihnen betriebenen OCR-Dienst (ein HTTP-Endpoint oder ein selbst gehostetertesseract-server), höchstens 100 Seiten pro Datei. Ein fehlgeschlagener OCR-Aufruf führt zum Dead LetterOCR_FAILED; eine Datei, die auch Textseiten hat, wird mit diesem Text indexiert. Das Job-Ergebnis meldetocr_pages. - Die Dateiliste ist nach dem Anlegen fest — für neue Dateien einen neuen Connector anlegen.
- Extraktionsfehler lassen sich nicht aus den Dead Letters erneut versuchen.