Mennyire megbízhatóak az AI detectorok?
Posted by harilaci3@reddit | askhungary | View on Reddit | 15 comments
Épp most írok szakdolgozatot, és egyes részeknél van, hogy használok AI-t, pl. szakirodalomban keresés, nehezebb összefüggések magyarázata, stb, viszont egy az egyben gondolatokat, mondatokat nem veszek át tőle. Kíványcsiságból viszont a dolgozat egy részét beküldtem több AI-detectornak is, és volt amelyik 70-80% AI generáltságott mutatott, holott én fogalmaztam meg az egészet. Most be vagyok parázva, hogy esetleg egy ilyen nem létező dolog miatt elhasal a dolgozatom.... Van/volt olyan, aki hasonló cipőben járt? Az egyetemek hogyan kezelik ezt? Ha megvádolnak ilyennel, holott nem igaz a vád, mit csinálok? :')
pattern_recognition1@reddit
Legjobb magyar AI detektor az a https://preds.hu azok közül, amiket próbáltam. Most adom le a szakdogámat.
capybarajapan_@reddit
Szerintem az AI-detektorokra nem nagyon lehet teljesen hagyatkozni. Elég sok példát lehet látni arra, hogy saját írású szövegre is magas AI-arányt mutatnak, mert valójában csak bizonyos mintákat próbálnak felismerni a szövegben.
Ha te írtad a dolgozatot, és az AI-t legfeljebb segítségként használtad (pl. ötleteléshez vagy forráskereséshez), akkor valószínűleg nincs okod különösebben aggódni. A legtöbb egyetemen inkább a plágiumot ellenőrzik komolyan, nem azt, hogy egy AI-detektor mit jelez.
Ha mégis felmerülne a kérdés, általában elég megmutatni a jegyzeteket, forrásokat vagy a dokumentum korábbi verzióit. Ezekből látszik, hogy te dolgoztál rajta, és nem csak bemásoltál egy kész szöveget.
andesz@reddit
kíványcsiság baszdmeg XD
harilaci3@reddit (OP)
Elírtam na XDD
TopVeterinarian9956@reddit
Ne aggódj, nem lesz semmi gond, főleg ha nem veszed át telibe a mondatokat. Nekem is segített, AI nyilatkozatot is kellett kitöltenem, hogy melyik részén használtam a szakdolgozatnak, de azt írtam, hogy sehol sem használtam. Nem volt belőle semmi gond, ha ésszerűen használod nálad sem lesz gond. :)
DetectiveAnus@reddit
Aki itt 1 mondatnál többet irt, az mind AI!
pannon-pixie@reddit
Megbízhatatlanok. Szerintem az AI-detektorok 90%-a a valóságban csak egy random generátor, a maradék meg teljesen használhatatlan. IT-területen a mai napig aktívan publikálok különböző fórumokon, az írásaim kifejezetten olvasottak, és erősen gyanítom, hogy sok közülük felhasználásra került az AI-ok traineléséhez is.
A lényeg, a legtöbb AI-detektor AI által generáltnak jelöli meg az írásaimat, még azokat is, amiket majdnem 10 évvel ezelőtt írtam, amikor ezek a generatív nyelvi modellek még sehol sem voltak.
Puzzled-Study-856@reddit
Szerintem hülyeség. Volt olyan, ami teljes egészében az én gondolatom volt és azt írta rá, hogy részben ChatGPT iromány. :D
EntrepreneurTough285@reddit
Az a megoldás, hogy a felhasznált irodalom jegyzékébe írd be, hogy használtál AI-t a helyesírás és nyelvhelyesség ellenőrzésére. Nem tilos AI-t használni, csak fel kell tüntetni! Ezután mondhatod azt, hogy ha valaki kötözködik, hogy betetted az egészet AI-ba a helyesírás miatt, ezért ismeri fel a detektor.
raven-999@reddit
Semennyire, olyan szövegben is talált vagy 30%-ot, amit 2009-ben írtam, regény, szóval még a tartalom is full saját
Main_Yak6791@reddit
Az AI detector-ok még béta verziósok szerintem minden programban. Én füleltem már le a segítségével valódi csalást, de ahhoz az is kellett, hogy igen jól ismertem a hallgató képessegeit arra vonatkozóan, hogy önállóan milyen szöveget tud alkotni.
Ha az egyetemednek van az AI használatára vonatkozó irányelve, szabályozása, akkor nézd át, hogy mit enged. Az tuti, hogy nem gond, ha szakirodalmat azzal keresel, de azért legyél résen, mert ad ám fiktív szakirodalmat... Ha elemzésre használod, illetve arra, hogy jól be tudd mutatni az adataidat, akkor az szerintem nem probléma. De ezt jelölni kell a dolgozatban, mármint hogy AI segítségével készült az a rész.
A legtöbb ilyen detector egyébként nem azt vizsgálja, hogy AI írta-e a szöveget, hanem azt, hogy mennyi a valószínűsége az AI befolyásanak a szövegben. Tehát, ha az AI szövegből merítettél inspiraciót, de nem koptiztad egy az egyben, akkor lehet, hogy arra is bejelez.
Egyébként, azon túl, hogy átnézed az egyetem vonatkozó irányelvét, kérj tanácsot a témavezetőtől is ezügyben.
Alapvetően szerintem ne parázz ettől, ha valóban nem írattál meg vele egy az egyben szövegeket, akkor nincs félnivalód. Bízz a témavezetődben is, hogy valamennyire ismeri a képessegeidet és tudja, hogy milyen szövegek alkotására vagy képes egyedül, és nem rögtön arra gondol, hogy ez túl jó a többi szövegedhez képest, szóval ez biztos AI.
alterEd39@reddit
Pont mint a többi AI - semennyire.
Jó oké, generációnál az esetek 90%-ában valszeg nincs vele baj, ezt el tudom fogadni - de amikor véletlenül behallucinál valamit, azt ugye nem tudod, ezért mindenképpen érdemes fact checkelni. Én ezért nem szoktam olyan dolgokra használni, amihez amúgy nem értek alapból és nincs módom validálni hogy amit mond az nem faszság-e. És amikor olyanra használom amihez viszont értek, de nem egy lineáris "1 probléma -> 1 megoldás" dologra kell (amiből lássuk be, kevés van), akkor mindig rájövök hogy mennyire kurva sokat téved, hallucinál, a seggéből ránt elő dolgokat.
Az "AI-detektorok" szerintem kinda evolúciós zsákutcák, mert amúgy egy GPT modell úgy működik, hogy a szavakat gyakorlatilag statisztikai valószínűség alapján pakolja egymás után. Amiből ugye az következik, hogy ahogy ezek a modellek fejlődnek, "tanulnak", úgy egyre ember-szerűbb (és igen, sablonosabb) lesz az, ahogyan a szavakat egymás után rakosgatják. Na most egy AI detektor nem igazán tud mást nézni, mint azt, hogy azok a mintázatok amik a szövegben vannak mennyire vannak átfedésben azzal, ahogyan egy tipikus generatív AI generálná ezeket a szövegeket... Látod ez hova fut ki...?
Persze, hogy 70-80% AI-egyezést mutat, mert az "AI-beszéd" 70-80%-ban megegyezik az emberi beszéddel. A "problémás" inkább a maradék 20-30.
Szerintem egyébként az, hogy filler szövegeket AI-jal generáltatsz ki, vagy bonyolult magyarázatok egyszerűsítéséhez használod, az nem hiszem hogy baj, vagy bárkit is érdekel (amúgy a múltkor láttam valahol egy statisztikát a Google Scholar-on a publikációkban radikálisan megnőtt a tipikus telltale AI-szófordulatok, mint a "let's delve into [...]", használata az utóbbi időszakban). A probléma ott kezdődik, ha valamit nem tudsz, megkérdezed az AI-t, majd a választ készpénznek véve leírod valós fact checking vagy kutatómunka nélkül.
pongvin@reddit
Praktikusan semennyire, próbáld ki magad. Etess meg velük 10 2022 előtti tudományos publikációt, és 10 ai generált szöveget hasonló témákban, és majd látni fogod. Aztán etess meg vele olyan ai generált szövegeket, aminél olyan instrukciókat adsz, hogy ne vagy alig használjon komplex szavakat és mondatokat. Bullshit az egész.
TekintetesUr@reddit
Semennyire, egy óriási szemfényvesztés az egész. Ettől még persze lehet, hogy az egyetemen a nyugdíj és a halál közötti professzor hisz benne.
mrlaslowy@reddit
Szarj rá, nekem 100%-ot dobott egy teljesen saját magam által írt szövegre, aztáneg 80-at...nincs erre megbízható eszköz ami pontosan ellenőrizni tudja.