Product Development · Client: Digital innovation zone - AI chatbot

Digital innovation zone - chatbot cu inteligenta artificiala

Un chatbot RAG găzduit intern care răspunde la întrebări despre serviciile DIZ EDIH pentru instituții publice — eligibilitate, finanțare, cursuri și ecosistemul de inovare — bazat strict pe baza de cunoștințe proprie a DIZ, rulând integral pe infrastructura proprie, fără costuri per interogare către furnizori externi.

Digital innovation zone - AI chatbot — Digital innovation zone - AI chatbot

Digital Innovation Zone (DIZ) EDIH — hub-ul european de inovare digitală pentru regiunea Nord-Est a României — avea nevoie ca instituțiile publice (primării, spitale, școli, organizații culturale) să înțeleagă rapid pentru care dintre serviciile sale gratuite, finanțate din fonduri UE, sunt eligibile, fără să caute prin reguli de eligibilitate, structuri de finanțare și cataloage de cursuri răspândite în mai multe documente. Am construit un chatbot RAG (retrieval-augmented generation) care răspunde în limbaj natural, bazat strict pe baza de cunoștințe proprie a DIZ — cataloage de servicii, parcursul de acces la finanțare, lista de cursuri, glosarul juridic și un FAQ — astfel încât nu inventează niciodată un răspuns în afara a ceea ce DIZ oferă efectiv.

Întregul sistem rulează găzduit intern, pe infrastructura proprie a DIZ, în loc să apeleze un API extern de tip LLM: un backend NestJS orchestrează căutarea într-un vector store Qdrant și generarea răspunsurilor printr-un model Ollama rulat local, cu cache Redis și răspunsuri transmise în flux (streaming) pentru o experiență de chat rapidă pe un front-end React. Administratorii gestionează direct baza de cunoștințe — încărcând sau eliminând documente sursă PDF, DOCX, TXT și Markdown — astfel încât răspunsurile rămân actuale pe măsură ce programele DIZ evoluează, fără costuri per interogare către furnizori externi și fără ca datele instituționale să părăsească serverele proprii.

Tehnologii

ReactNestJSOllama (self-hosted LLM)QdrantRedisDocker

Ce am făcut

RAG architecture & knowledge base designSelf-hosted LLM deploymentVector search integrationAPI design and implementationFrontend design and implementationStreaming chat interfaceAgile framework