RAG mint szakdolgozat téma
Posted by Designer_Potato4480@reddit | programmingHungary | View on Reddit | 18 comments
Sziasztok!
MSc hallgató vagyok, és most kell szakdolgozat témát választani. Van egy kiváló professzor, és van nála egy érdekes téma is. A Relevance-Aware RAG, ez szerintetek mennyire aktuális téma? Gondolkozok PhD-n is, azért is érdekel, hogy ez a téma mennyire tovább vihető és "jövő képes".
Basic-Love8947@reddit
"RAG is dead"
TinyCuteGorilla@reddit
Innen lehet tudni hogy valaki csaok cikkeket olvasgat de nem dolgozik valós projekteken ahol kulcsszerepe van a RAG-nek és nem tudod de nem is akarod lecserélni..
Geff10@reddit
Csak tegyük hozzá, hogy miért. Mert megzabálja a kontextusablakot túl könnyen
Chance_Papaya1517@reddit
huh...nem, nem ezért
TekintetesUr@reddit
Akkor miért?
Chance_Papaya1517@reddit
leginkább azért, mert pont arra szolgált, mint megoldás, hogy kiküszöbölje az AI modellek szűk kontextus-ablakát. a RAG akkor lett népszerű, amikor még sokkal kisebbek voltak a context window-k.
Idő közben rengeteget fejlődött a technológia (bár sokan itt nyilván cáfolják ezt), és a Claude Code-hoz hasonló agentek pont a nagy adathalmazok navigálásában nagyon jók lettek.
Továbbá a vektor adatbázis mindig is hibás volt, ugye csak a szemantikus "chunkokat" adta ki eredményként, amiből legenerálta az eredményt, tipikus nem látja a fától az erdőt helyzeteket teremtve.
Szóval röviden: mindig egy szükségmegoldás volt, de már nincs rá szükség, mert fejlődött a technológia, lettek sokkal jobb lehetőségek.
pattern_recognition1@reddit
Ez azért arra enged következtetni, hogy nem ezzel foglalkozol. Ez még akkor volt igaz, amikor 2023-ban megjelent maga a RAG mint fogalom. Azóta nagyon sok fejlődés volt ebben is, főleg hogy pár hónappal rá már mindenki bm25 + biencoder + cross encoder együttest használt, hogy jobb legyen a találat.
Bár az egész "rag is dead" résszel nem értek egyet, megvan hogy mikor jó, mindent minden másnál.
Chance_Papaya1517@reddit
hát, a "mindenki" nagyon-nagyon-nagyon durva túlzás, nyilván vannak reranker megoldások, de a felhasználók 99,9%-a szvsz nem is hallott erről
krinya@reddit
De akkor ha nem fér be a context window-ba akkor mit csinálsz?
Chance_Papaya1517@reddit
azt, amit a Claude Code és Codex csinál: indexál, greppel, stb... nem szükséges mindent betenni a context window-ba, hogy meg tudja keresni, ami kell éppen, és miután megtalálta csak azt betölteni
Basic-Love8947@reddit
Lehet kombinálni a hagyományos módszerekkel, keyword alapon, db vagy gráf alapú lekérdezésekkel. Pár éve chatgp még 4000 tokenes context window-al indult, most ugyanez sok esetben 1M
inagy@reddit
Az az 1M azért eléggé fentartásokkal kezelendő. Egyrészt vannak rá a "tű a szénakazalban" benchmark-ok amelyek megmujtatják, hogy közel sem egyformán képes visszautalni a betöltött context minden részére.
Másrészt olvasni hogy a nagy cloud modellek az idők során butítva lettek, valószínűleg a context length maximális mérete is erősen vissza lett húzva.
Igazából ez utóbbin nem lepődök meg, az új Gemini kapcsán is most a Google visszább vágtak az előfizetések kereteit. Remélem nem követi a többi, de sajnos van egy rossz érzésem..
inagy@reddit
https://i.redd.it/k8y4qyuz2d2h1.gif
Chance_Papaya1517@reddit
bocs - aludtam
ResearcherWorking686@reddit
Ez igy ebben a formaban.. nem igaz :D
Geff10@reddit
Olyan értelemben nem igaz, hogy aki igazán ért hozzá, tudja jól csinálni bizonyos elveket betartva. "Ész nélkül', vagy inkább régi módszerekkel, viszont könnyű elrontani. Lehet mondani, persze, hogy ez mindenre igaz, csak arra célzok, hogy itt az alappal is könnyen elromlanak a dolgok, elég csak "sokat csinálni"
attila-codernicus@reddit
A Relevance-Aware RAG-gal nincs tapasztalatom, ugyanakkor általánosságban a RAG egy nagyon jó téma lehet: adott egy nagyon egyszerű alap, amit BSc-s ésszel is könnyen fel lehet dolgozni, és erre jönnek ki hetente újabb és újabb, akár általános, akár szakterület-specifikus variációk. Ezeket nagyon sokféle módon lehet összehasonlítani, elemezni. E variációk közé tartoznak a lentébb is említett hibrid megoldások is, melyek ugyanúgy RAG-nak tekinthetők és nevezhetők.
És akkor persze ott van a tágabb kontextus (pun intended), amibe a RAG is illeszkedik:
- eleve az információ-visszakeresés,
- context engineering feltétlenül,
- már akár a harness engineering is.
Szerintem legalábbis egy nagyon jó MSc-s diplomamunkát ki lehet belőle sajtolni. Ez pedig aztán jó ugródeszka lehet a PhD irányába is, hiszen ha komolyan veszed, akkor ez a diplomamunka remek alkalom lehet a tudásod elmélyítésére egy nagyon aktívan kutatott területen. Azaz, jövőképesnek egészen biztosan jövőképes.
Utóbbihoz viszont csak annyit tennék hozzá, hogy amikor PhD témát választasz, akkor sok más szempont mellett a legfontosabb talán az, hogy téged is szenvedélyesen érdekeljen: ha nincs így, akkor nagyon hosszú és fáradságos lesz az a 4-5 év.
Basic-Love8947@reddit
Viccet félretéve a RAG alapkoncepció már rég nem akkor hype, mint akár 1 éve volt, de különböző nem teljesen RAG megoldásokban (hybrid) még lehet gondolkodni.