A dokumentum feldolgozás
folyamata

Minden keresés a jogosultságkezeléssel indul. A rendszer a Passport JSON-ből állapítja meg, hogy a felhasználó mely szervezethez tartozik, és milyen dokumentumokat érhet el. Így minden válasz csak azokat a dokumentumokat tartalmazza, amelyekhez a felhasználónak joga van.

A dokumentum szöveges rétegét karakterfelismeréssel (OCR) állítjuk elő. A szkennelt dokumentumoknál ez elengedhetetlen lépés — ez adja az alapot minden további feldolgozáshoz.

Az OCR-ezett nyers szöveget strukturált Markdown formátumba alakítjuk. Eltávolítjuk a zajt (fejléc/lábléc ismétlődések, oldalszámok), és egységes, tiszta szöveget hozunk létre az MI feldolgozás számára.

A dokumentumot 6144 dimenziós vektorrá (ujjlenyomattá) alakítjuk, majd gépi tanulással felismerjük a típusát. A rendszer összehasonlítja a tanított minták ujjlenyomataival, és 0,9–0,95 küszöbértékkel osztályoz.

A felismert irattípus alapján a rendszer kinyeri a kulcs-érték párokat: adószámot, összegeket, dátumokat, neveket. Három technikát kombinál: reguláris kifejezések, névelem-felismerés (NER) és LLM alapú kinyerés.

A normalizált szöveget egy elasztikus keresési indexbe helyezzük. Ez biztosítja a klasszikus szöveges keresést: pontos kifejezés, részleges egyezés, szűrők, és hasonlósági keresés a strukturált mezőkben.

A dokumentumokat feldaraboljuk és vektorizáljuk: minden szövegdarabot 1024 dimenziós vektorrá alakítunk. Ezeket a Qdrant vektoros adatbázisban tároljuk, lehetővé téve a jelentés-alapú keresést — nem a szavak, hanem az értelmük alapján.

A végső lépésben az elasztikus és szemantikus keresési találatokat kombináljuk. Mindkét forrásból a legjobbakat összevonjuk és újrarangsoroljuk: az első körben 30 találatot választunk ki, majd ezekből a Top 10-et adjuk vissza a felhasználónak.