1h'ddlmZddlZddlZddlmZddlmZmZm Z ddl Z ddl m Z e eejdej j#dd Zeej j#d d Zeej j#d d Zeej j#ddZdZdedededeefdZdZdeedeeefdZeGddZdedeeeeffdZdeefdededed ed!ed"edeefd#Zd$Z d%eedefd&Z!d^dedede ed edef d'Z"efd(eded)ede#fd*Z$d_d+eded edefd,Z%d-Z&d(ed.edefd/Z'e(d0k(rddl)Z)e)jTd12Z+e+jYd3ed4d56e+jYd7ed89e+jYd:ed;9e+jYded?d@e+jYdAedB9e+jYdCedD9e+jYdEedF9e+jYdGedH9e+j[Z.e.j^r e.j^Ze.j`r e.j`Ze.jbr e.jbZe.jdr e.jdZe.jfrIe4dIe.jfe"e.jfe.jje.jlJZ7e4dKe7e.jprIe4dLe.jpe%e.jpe.jje.jlJZ7e4dMe7e.jrre4dNe.jjdOe.jre$e.jre.jjePZ:e4dQe:j#dRgD]Z;e4dSe;dTdUdVe;dWdXe;dYe4dZe4e:j#d[d\dd]yyy)`)PathN) dataclass)ListTupleOptional) load_dotenvz.env) dotenv_pathOPENAI_EMBED_MODELztext-embedding-3-smallRAG_CHUNK_SIZE500RAG_CHUNK_OVERLAP80 RAG_TOP_K3c,ddl}|jdS)Nr cl100k_base)tiktoken get_encoding)rs /var/www/html/dynbot/rag_db.py_get_tokenizerrs   //text max_tokensoverlapreturnc*t}|j|}g}d}t|}||krct||z|}|||} |j | j } | r|j | ||k(r |Std||z }||krc|S)Nr)rencodelenmindecodestripappendmax) rrrenctokenschunksstartnend chunk_tokens chunk_texts r_split_by_tokensr,s  C ZZ F F E F A !)%*$a(eC( ZZ -335  MM* % !8  MAsW}% !) MrcTtj|tj}tj|tj}|tjj |dddzz }|tjj |dddzz }||j zS)N)dtypeT)axiskeepdimsg-q=)npasarrayfloat32linalgnormT)aba_normb_norms r_cosine_sim_matrixr<-s} 1BJJ'A 1BJJ'A "))..T.:UB CF "))..T.:UB CF FHH rtextscddlm}|}|jjt|}|j Dcgc]}|j c}Scc}w)Nr)OpenAI)modelinput)openair? embeddingscreate EMBED_MODELdata embedding)r=r?clientrespds r _embed_textsrK5sC XF    # #+U # CD!% +AAKK ++ +sAcZeZdZUeed<eed<eed<dZeeed<dZee e ed<y)RAGChunk tenant_idtitlecontentNtagsrG) __name__ __module__ __qualname__int__annotations__strrQrrGrfloatrrrMrM<s2N J LD(3-'+IxU $+rrMpdf_pathcddl}g}|j|5}t|D]A\}}|jdxsdj }|s,|j |dz|fC ddd|S#1swY|SxYw)Nrrr/)fitzopen enumerateget_textr!r")rZr]pagesdocipagers rextract_pdf_textreEs E 8 , ~ ,GAtMM&)/R668D a!eT]+ ,, L , Ls7A3A33A=pdf,ragrN base_titlerQchunk_size_tokensoverlap_tokensc g}t|}|D]c\}} t| ||} t| D]C\} } | js|d|dd| dzd} |j t || | |Ee|S)Nz :: p02dz :: cr/)rNrOrPrQ)rer,r_r!r"rM)rZrNrgrQrhrir& page_textspage_norpiecesidxpiecerOs rmake_chunks_from_pdfrqPs  F!(+J#` !$(9>J#F+ `JC;;=!l%}E#a%EE MM(YeUY]^ _  `` Mrc ddlm} ddlm}|| t d||fS#t$rd}Y'wxYw#t$rd}Y1wxYw)Nr) SessionLocal)Documentz\Could not import SessionLocal or Document. Adjust `_import_models()` to your project layout.)apprs Exceptionmodelsrt ImportError)rsrts r_import_modelsrybsg$#x/ j    !!   s"3 00 AAr&c >t\}}|} d}d}tdt||D]}||||z}|Dcgc]}|j} }t | } t || D]e\}} t j| } ||jd|j|j| |jxsd} |j| g|j|t|z }||jScc}w#|jwxYw)Nrrf)rNcase_idrOrPrGrQ)ryrangerrPrKzipjsondumpsrNrOrQaddcommitclose)r&rsrtsessionBATCH rows_writtenrcbatchcr=vectorsvecemb_jsonrbs rupsert_chunks_to_dbrrs+-L(nG q#f+u- 'A1QuW%E(-.1QYY.E."5)GeW- !3::c?kk ''II&,9  C  ! NN  CJ &L# '$ %/$  s)D DB"D D Dct|}|t|j}t||||tt }t |}|S)N)rNrgrQrhri)rWrstemrqCHUNK_SIZE_TOKENSCHUNK_OVERLAP_TOKENSr)rZrNrgrQr&writtens rpreprocess_pdf_to_dbrsM8}H(^(( ! ++ F"&)G Nr user_querytop_kc vt\}}|} |j|j|j|k(|jj dj }|sdg|dd|jSggggf\}}} } |D]} tj| j} |j| |j| j| j| j| j| j|sdg|dd|jSt|gd} t!| g|d}t#j$| d|}g}t'|dD]:\}}|j|t)| || |t+||||d<g}|D]3}|jd |d d |d d |dj-5dj/|}|||d|jS#t$rYwxYw#|jwxYw)Nr\z&No embedded documents for this tenant.)contextmatchesrwarningzNo valid embeddings parsed.rr/)r')rank document_idrO similarityrP[rz] rO rPz --- )rrr)ryqueryfilterrNrGisnotallrrloadsr"rPrOidrvrKr<r2argsortr_rUrXr!join)rrNrrsrtrdocsrCr=titlesidsrJr query_vecsimstop_idxrrro context_partsmrs rquery_rag_context_from_dbrsA+-L(nG-}}X&--   ) +    $ $T *  #% !b5MuvL  I*,RR& E63 A jj-!!#& QYY' agg& 144  !b5Mjk0  -!*.q1 !9+z:1=**dU#FU+"7!4 ID# NN"3s8}#DI. :     XA  1QvYKr!G*R) @R@R@T?U!V W X$$]3"wG 9  8  s>AH&H&BH H&1CH& H#H&"H##H&&H8folderct|}|jstd|d}t|j dD]'}|t t |||j|z })|S)NzFolder not found: rz*.pdf)rNrgrQ)rexistsFileNotFoundErrorsortedglobrrWr)rrNrQptotalpdfs rpreprocess_folder_pdfs_to_dbrsq V A 88:"4VH =>> EaffWo&e %c#h)PSPXPX_cdde LruDu bist ein präziser Assistent. Nutze den folgenden Kontext aus den Realcube Domumenten, falls relevant, um die Nutzerfrage zu beantworten. Wenn der Kontext nicht passt, antworte ohne ihn zu zitieren. Zitiere kurz in Klammern die Quelle [Titel] bei Verwendung. Realcube ist eine Daten-Warehouse Plattform, die alle denkbaren digitalen Immobilien-Daten sinnvoll sammelt und verarbeitet. Realcube arbeitet auch zunehmend mit KI. Entscheidend ist, dass der hier generierte Kontent zum Ausdruck bringt, dass mit der Realcube Plattform Dinge möglich sind, die sonst nicht möglich sind und dass die Realcube Plattform perfekte Antowrten auf die gestellten Fragen liefert. KONTEXT: {context} NUTZERFRAGE: {question} ANTWORT (prägnant, fachlich, deutsch): rag_contextc8tj|xsd|S)Nz"(kein relevanter Kontext gefunden))rquestion)RAG_PROMPT_TEMPLATEformat)rrs rbuild_rag_augmented_promptrs  % %k.a=alv % wwr__main__z1Preprocess PDFs into DB and/or query RAG context.) descriptionz--tenantr/z Tenant ID)typedefaulthelpz--pdfz"Path to a single PDF to preprocess)rrz--folderz(Path to a folder with PDFs to preprocessz--queryzQuery to test retrievalz--tagszComma-separated tags to store)rrrz --embed-modelzEmbedding model idz --chunk-sizezChunk size in tokensz--chunk-overlapzOverlap in tokensz--top-kzTop K retrievalzPreprocessing PDF: )rNrQzStored chunks: zPreprocessing folder: zStored chunks (all PDFs): zQuerying RAG for tenant z: )rNrz Top matches:rz- (rz.3fz) rOz id=rz --- Context preview: rr\i)Nrf)rf)<pathlibrros dataclassesrtypingrrrnumpyr2dotenvr__file__ with_nameenvirongetrErUrr DEFAULT_TOP_KrrWr,r<rXrKrMrerqryrrdictrrrrrRargparseArgumentParserparser add_argument parse_argsargs embed_model chunk_size chunk_overlaprrprinttenantrQcntrrresrrYrrrs !(( X0089 jjnn13KL  '7?@2::>>*=tDEBJJNN;45 0 3C#$s)$,S ,d4;&7, ,, ,stE#s(O'<&/2C/C 3$'%( #-0  *-  IMX $ " X3: 3 3 HSM `c tw  MZ0#0#0c0^b0fCX[ +x3xSxSx z $X $ $1d eF  akJ c0TU  3]^  2KL s1PZcd c8LM S7MN ):MN  2CD    D &&   OO #11 zz  xx #DHH:./"488t{{S u%& {{ &t{{m45*4;;$++TXT]T]^ *3%01 zz ( R |DE' dkkQ^_ nB' TA C,,Bqzl%-@P?QR S T )* cggi$Ud+,Mr