Mit csinálnak a Data szakemberek?
Posted by blackphoenix0@reddit | programmingHungary | View on Reddit | 14 comments
Sziasztok!
Most fogok szakvizsgát tenni technikumban fejlesztőként és sokat gondolkodom azon, mivel is szeretnék foglalkozni az IT világában.
Szeretem a webfejlesztést és a programozást, de nem tudom magam benne elképzelni hosszútávon, más irányt vennék fel.
Szeretem az adatbázisokat és az adatokat, mint tematikát és itt kezdett el érdekelni, hogy pontosan mit is csinálnak a Data Analyst, Data engineer és Data scientistek.
Hogyan néznek ki a napi feladatok és milyen stackben dolgoztok? Általánosságban mit gondoltok róla?
Keveset hallok erről a szegmensről az IT-ban, mintha nem lenne olyan népszerű, mint a fejlesztés, kevesebben mennek át erre. (legalábbis ahogy olvasok a témáról)
Érdekelne a tapasztalatotok, hogy hogyan kerültetek bele és mi az amit szerettek benne.
Egyébként ha lényeges: PHP, MySQL, .NET stackben tanulok.
One-Composer1577@reddit
Ideális esetben:
Data Engineer: a cég szar minőségű és mindenhol össze-vissza levő adatát tisztítja és rendezi szépen táblákba, amit utána könnyű használni
Data Analyst: ezeket a táblákat kérdezi le és vizualizálja, keres összefüggéseket és magyarázatokat, több kapcsolat a “fogyasztóval”
Data Scientist: machine learning goes brrrr
Legtöbb helyen össze-vissza csinál minden titulussal mindent az ember.
Mióta bejött az AI mindenki össze csak depisen ül a gép előtt.
onehedgeman@reddit
Kihagytál egyet
Data Architect: kitalálja (előidézi) a teljes káosz mögötti rendszert, milyen felhő meg adatbázis típus legyen, felállítja az alap szabályokat, hogy a rendszer ne fossa össze magát, ha holnap hirtelen tízszer annyi adat jön be
One-Composer1577@reddit
OP nem kérdezte (plusz ahol dolgozom nincs, lehet azért is fossa a rendszer össze magát mindig)
onehedgeman@reddit
Előbb lövünk aztán kérdezünk meló :D
klenium@reddit
Sokszor ez a DE feladatköre mivel mérnöki szemlélet kell hozzá.
ppmnia3@reddit
Mióta bejött az AI annyi munka van belegebedünk.. analystek végeznek engineer munkát, van egy csomó új irányzat is pl analytics engineer. De saját agenteket is fejlesztünk nameg QA, mert igen az AI is hibázik kb. 15-20% aranyban és ha valami kritikusn fontos, főleg pénzügy vagy ügyfél produkt, azt kétlem, hogy ekkora MoE-t bárki megengedhet magának. Szerintem cége válogatja - nálunk mindig minden elbaszódik ezért kb a napi teendők 60% fixing vagy troubleshooting AI ide vagy oda. Annyi biztos hogy ez a klasszikus DA DE DS felállás már a múlté.
klenium@reddit
Gyakorlatban: - Data engineer: mindenhez is ért az infrától kezdve a riportálási élményig - Data analytics: Kéne egy új riport asap így összeömlesztve lesz valami - Data scientist: ez kétjelsntésű, én is úgy tudtam hogy machine learning, de sok helyen ilyen minden üzleti kérdésre is válaszolok jellegű szerepköre van
klenium@reddit
A data engineer az az, aki előbb vagy utóbb garantáltan elbassza a dolgokat: https://www.reddit.com/r/dataengineering/s/1kSQWZWE49
PityPety@reddit
Fontos, hogy data scientist ès data analyst alapvetően nem mérnöki pozik, míg a data engineer mérnök. Értsd: Data Scientistként és Analystként az üzleti oldalon ülsz, ahonnan nem tudsz csak úgy átülni IT-ba. Mérnöki best practicek nem elvàrtak, max python notebookokat írogatnak, analystok inkább csak SQL-t, riportokat gyáratanak (excel), meg esetleg automatizálnak riportot power bi-al meg tableau-val. Office politics eléggé esszenciális része a dolognak, szóval helyezkedni kell, meg kell mutatni hogy milyen fontos vagy és folyamatosan zaklatnak emberek teamsen akikkel kapcsolatot kell tartanod (jellemzően). Data engineering ezzel szemben 2 féle: tipik multinál általában adattakarító (tehát összerakod az analyst-nak a nyers adatokat), vagy jobb helyeken valódi swe, aki perzisztens adattároláshoz is ért. Érdemes elemezni a hirdetèseket, mert hatalmas különbség van pozíciók között, amit ugyanúgy hívnak elméletben. Csak az egyik cégnél azért hívják data engineernek, hogy imponáló legyen, és egyáltalán jelentkezz rá, míg máshol valóban engineerkedni kell, de ott sokkal magasabb a küszöb. Tapsztalatom szerint data engineerbe általában pár év tapasztalattal szoktak átmenni swe-ből, de analystból sem lehetetlen upgrade.
SnooSprouts801@reddit
Én adattárházakat tervezek és optimalizálok
zoltansz@reddit
VS Code, Python (Pandas, FastAPI, de bármi, pl. OAuth, Entra SSO), Azure (Blob Storage, Fabric, OAI modellek, bármi), ORA RDBMS, Graph adatbázis, OpenShift vagy AKS, Power BI, Gitlab (pre-commit pipeline-ok, release promotion), JFrog, ArgoCD, OpenTelemetry, Grafana (meg Loki) és persze Jira meg Confluence. Ilyesmik.
Ma például egy rettenet nagy requestet kellett széttördeltem minibatch-ekre, mert a modell elhasal 300k token felett és a sequence number alapján párosítottam a response-ból. Múltkor meg írtam egy normális reliable requestort, retry, backoff meg hasonlók.
Aztán, ha unbatkozom, akkor Ray Serve, meg AHO Corasick implementációk, hogy haladjanak a dolgok.
Mindent hátrakötözött kézzel és bekötött szemmel, mert bankról van szó.
FKKGYM@reddit
DS vagyok. Szerteágazó, van aki csak egész nap nyomja az ML kódolást, van aki keményen matekozik, én spec inkább a tanácsadáshoz vagyok közelebb: a menedzsment szeretne valamit, én meg onnantól kísérem őket, hogy egyáltalán a kérdést meg tudják fogalmazni, kidolgozom egy módszertant, ami a keretek közé illeszkedik, de a lehető legminőségibb, modellezek, tesztelek, prezentálok. Az én irányomon fontos a jó beszélőke, az alapok erős ismerete, és a domain mély ismerete.
bgufo@reddit
Pivot táblát
Basic-Magazine-9832@reddit
bq-ban lekérdnek valamit aztán szólnak csetdzsipitnek hogy csináljon belőle 1 fancy looking chart-ot