Data Engineer trendek 2026
Posted by Old_Variation_5493@reddit | programmingHungary | View on Reddit | 23 comments
Sziasztok!
Elsősorban Data Engineerek véleményét szeretném megkérdezni, hogy mit láttok mostanában a szakmában (akár kifejezetten MO-n, akár más regionális kontextusban).
Még mindig akkora a kereslet, mint pár éve, vagy kezd telítődni a piac?
Mik azok DE specifikus tech stackek, amiben szerintetek kifejezetten érdemes most elmélyülni (saját tapasztalatokra vagyok kíváncsi), vagy maradjunk svájci bicskák? .. olyan stack, amit kerülni, mint egyszeri Gulyás a kérdéseket kormányinfón?
Ami engem külön érdekel: mik azok az alap dolgok, amit természetesen mindenki tud, de a gyakorlatban még medior/senior szinten is sokszor találkoztok vele, hogy az adott DE-nek fogalma sincs a témáról (bevallom, biztos bűnös vagyok én is néhány dologban)? Pl. erős SQL tudás (join hintek, query optimalizálás).
Ugyanitt Snowflake-Databricks kevert pipeline eladó.
Köszi!
hobbyhacker@reddit
passz, de az sql tudás lassan semmit sem ér önmagában. bedobod ainak a tábladefiniciókat, leírod mit akarsz látni és 1 perc alatt jobb queryt rak össze, mint amit te egy óra alatt össze tudnál szenvedni magadtól.
Kukaac@reddit
Ezt azzal egészíteném ki, hogy bár az SQL tudás önmagában nem elégséges, a data engineerek fele mégis meg tud bukni közepes nehézségű SQL kérdéseken.
A koncepcionális dolgokat meg tudsz érteni, akkor általában az ahhoz kapcsolódó SQL tudásod is megvan. Nem különbözik a data engineering a softwaretől se. Ott is mindent ki tudsz AI-al generálni, attól még nem biztos, hogy a végén egy működő és megbízható terméket kapsz.
hobbyhacker@reddit
nem hiszem hogy össze lehetne hasonlítani egy általános szoftvert egy selecttel.
egy sql queryt triviálisan egyszerű tesztelni, megadott tesztadatra megadott kimenetet kell hogy adjon. ráadásul a teszteket is lehet hozzá generálni. szóval elég nagy bizonyossággal el lehet dönteni egy aigenerált selectről, hogy tényleg jól működik. a végeredményen nem sokat változtat az, hogy előtte 10évig gépeltél selecteket, vagy csak megnéztél egy egyórás yutubtutorialt, esetleg bátor voltál és végigcsináltál valami többórás tanfolyamot.
ugyanez egy akármilyen szoftvernél nagyságrendekkel több erőforrást és időt igényel hogy nagy biztossággal tudd azt állitani hogy nem egy kalap szar amit az ai generált.
ezzel azt akarom mondani, hogy hiába vagy profi sqlmágus, nem sokkal érsz többet egy kezdő mellett ai támogatással. míg egy több éves önálló szoftverfejlesztő tapasztalat azért jelentősen jobban hasznosítható ai támogatás mellett is, sokkal tágabb témakör, és sokkal több a hibalehetősége az ainak, amiket egy igazi fejlesztő még mindig jobban ki tud szúrni, mint aki aznap látott forciklust először.
MajomaKetrecben@reddit
Már a tesztelést is AI végzi.
Old_Variation_5493@reddit (OP)
De ki nézi át, hogy nem írt-e hülyeséget, mielőtt kitolod prodba?
Gyakran találkozom garantéltan generált pyspark kóddal, amiben valami kis aprócska hiba mindig van - mégha csak optimalizációt cseszi el, nem is a business logicot.
MajomaKetrecben@reddit
AI Agent, látja az üzleti igényeket (nálunk konkrétan Jirából), ellenőrizni tudja a megfeleltetést, el tudja végezni a smoke teszteket, fel tudja mérni az infra állapotát.
hobbyhacker@reddit
látszik is a legújabb microsoft és cloud provider bugokban :)
Byrune_@reddit
Szerintem kevered a szerepeket, az az analyst, aki ad-hoc select-eket írogat. Egy data engineer data pipeline-t épít és tart karban, itt ugyanolyan fontos a rendszerszemlélet és a tesztelés. Az egyes select-ekben segíthet az AI, de ezek összedrótozása egy működő rendszerré, na az a nehéz része.
hobbyhacker@reddit
szerintem a kollega válaszát kevertem össze. én csak annyit mondtam, hogy selectet irni kiváloan tud már a gép is, szoval manapság nem nagy előny ha magadtól is meg tudnád csinálni. aztán ide lett keverve minden más is.
Kukaac@reddit
Azt ugye tudod, hogy a data engineerek munkájának komplexitása nem abban merül ki, hogy selecteket írnak? Ráadásul a legtöbb esetben nem is SQL-t írnak, hanem olyen kódot, ami később SQL-t generál ki.
Meg a teszteket is meg kell tudni írni. Jó pár olyan megoldás láttam az évek alatt, amikor bár "technikailag" megoldotta az engineer a problémát, de üzletileg használhatatlan eredményt kapott.
És ezt úgy mondom, hogy a karrierem egy jó részében SE-ként készítettem datás termékeket.
Glad_Connection_6701@reddit
Nálunk azzal küzködök, hogy a data analyst egyáltalán nem tud sql-t írni, csak Python.
Az meg már sok neki, hogy előre definiálj job-ok és materiális nézetek, és dolgozzák fel a 100 TB adatokat előre és optimalizáljanak, ahelyett, hogy realtime-ban futtasson rajta lekérdezéseket.
EntertainmentOne7897@reddit
Adat milyen? Analyst here. Ha szutyok az adat és kismillió cte meg join kell hogy valami létrejöjjön és még tisztogatni kell akkor köszi inkább nem írok sql-t.
Egy ilyen tákolmány ezerszer jobban működik egy moduláris python pipelineban.
Mondjuk kérdés hogy milyen tool áll rendelkezésre? 100TB akkor van cloud. Akkor ahogy másik hozzászóló irta kicsit a szemléletet kéne kiterjeszteni, hogy folyamatában lássa az adatot.
Meg amúgy ha inkább pythonos írjon pysparkot. 100TB adatra much better és ott van hely jobokat optimalizálni engineernek is ha már ő nem akarja
Glad_Connection_6701@reddit
nagyon remek, amikor egy realtime dashboard-hoz én építem ki a silver és gold adatokat
hobbyhacker@reddit
ehez mondjuk nem sql tudás kéne hanem folyamatszemlélet, és az adott framework ismerete. attól hogy van egy kalapácsod, még nem lesz minden szög. ezen sajna nem segít az ai sem, mert ha azt sem tudja mit kérdezzen tőle, akkor azt sem fogja tudni eldönteni hogy amit mondott az mennyire használható az adott környezetben.
bármilyen rendszernél nélkülözhetetlen az alaptudás, anélkül csak gányolás lesz belőle. ami feleslegessé válik, az a jól behatárolt részfeladatok (amúgy is rutin) megoldása, mint egy select, vagy egy regex. de ezeket tudni kell beilleszteni a megfelelő helyre, mert önmagukban nem sokat érnek.
BearBathTune@reddit
Szinttől is függ. A BI junioromra igaz, de nekem csak sokat segít, ha nem 100% baromság, amit javasol.
Ráadásul a junior háromnegyed év után se tudja, hogy mit hol talál, úgyhogy fejlődni pont nem tud semmit.
Valójában az hiányzik, hogy AI-ra optimalizáljuk a DW-t, de ezt ne nekem kelljen már felvetni!
NightL4@reddit
Nincs két ugyanolyan role. Minden cégnél más, és bele kell szokni. Leggyakoribb egy BI/adattárház és belső back-office analytics csapat támogatása, de vannak product közeli roleok vagy projektek ahol inkább swe vagy, és pl te csinálod a streaminget. Tehát teljesen hely függő, de alapvetően ami általános, hogy SQL-t és Python-t mindenhol kérnek, illetve valamiféle orchestratort és git-et tudni kell ha nem akarsz szenvedni. Akkor is ha nagyon magabiztosnak érzed magad vibecodinggal. Ennél a szakmánál nem a kód mennyiség a lényeg hanem a minőség. Egy rosszul megírt job sokba tud kerülni a cégnek. Ahhoz hogy ezt el tudd dönteni tudni kell hogy működik pl a Spark és persze maga a kód.
Fent említették az adatmodellezést, és én kiegészíteném a partíciók ill performancia optimalizálással. Nagyon sokszor futottam bele hogy egy jobnál valami nem volt rendbe, vagy maga az adatmodell a bottleneck (pl.: Data Vault). A régi bevált módszerek minden BI-nál működnek (star schema, snowflake).
Magyarországon nem annyira érzem hogy telítődve lenne a piac. Folyamatosan látok állásokat és keresnek is recruiterek. Lehet hogy csak azért mert viszonylag olcsó munkaerő, és jobb mint egy indiai. Ha ebből indulunk ki akkor szerintem rendben van egyenlőre.
Kiváncsi lennék a kevert pipelineodra op :)
Remélem tudtam segíteni.
Old_Variation_5493@reddit (OP)
Hidd el, nem akarod tudni.
supreme_harmony@reddit
Személyes tapasztalatom az, hogy mi egyáltalán nem használunk SQL-t, így nálunk nem is kell tudni. Nálunk a cél, hogy az egész pipeline-t megírd, nem fogsz magad kereséseket írni.
A Pipeline-t meg megírod nextflow-ban, az egyes scriptekhez kell bash, R, python tudás. AWS ismerete elengedhetetlen, és mostanában kezdik kötelezővé tenni a agentic AI ismeretét.
Szóval nálunk a többi kommentelőhöz képest mást értenek a data engineer alatt, így ezt tudom neked elmondani.
Kukaac@reddit
Jó data engineerből hiány van, rosszból meg Dunát lehetne rekeszteni. Itt is el lehet mondani, hogy már a két szép szemed miatt nem fognak felvenni, mint 5-10 éve.
Stack irreleváns, mert minden cég mást használ, mégis egyforma az összes. Ha láttál Snowflaket, akkor a Databrickset is gyorsan megérted. Nyilván minél több eszközben van tapasztalatod, annál jobb. Szerintem még DE-nél is fontosabb a domain tudás, ha már minden típusú toolból láttál már egyet.
Egyébként annak ellenére, hogy engineer pozi, fontosak a soft skillek. Mivel databan kisebb projektek vannak, kevesebb fővel, sokkal gyakoribb, hogy egy DE egyeztet más csapatokkal is. És meglepődnél, de sokszor nem tudják elmondani, hogy mit és miért akarnak. De rengetek DE-t látok, akiket a beszélt és írt angol tudása limitál a legjobban.
AI itt is kicsit olyan, mint a teenage sex. Mindenki beszél róla, de a legtöbben csak chatbottal iratnak kódot. Ritka, hogy production adathoz engednek egy agentet, hogy ő maga queryzzen.
Adatmodellezés (valamiért szinte csak az 50 plusszos kollégák hallottak erről), SCD, SQL optimalizáció (execution planek), inkrementális töltésekből adódó komplexitás (és annak kezelése).
De fogtunk már meg senior DE-t azzal, hogy nem ismerte a window functionöket, vagy nem tudta, hogy kell megkeresni a duplicate recordokat egy táblában.
Old_Variation_5493@reddit (OP)
Fogtam már meg több senior DE-t azzal, hogy mi a különbség egy tábla és a matview között, De szórtak meg már latin varázsigékkel interjúztatás közben is.
Az adatmodellezés mindenkinél mumus (nálam is), mert tapasztalatom szerint mikor projektre kerülsz, már van ott valami, és bottal se bökködöd szívesen - így újra nem kell feltalálnod a spanyolviaszt legtöbbször.
Kukaac@reddit
Attól még meg tudod mondani, hogy amit csináltak, az jó vagy rossz. Sőt a legtöbb cég időnként szereti ilyen-olyan migrációval újraépíteni az adatmodelljeit.
A legtöbb DE-nek azért jelent problémát a modellezés, mert nem tudja vagy nem akarja megérteni az üzleti folyamatok működését és a hozzá kapcsolódó rendszereket. Szerintem pont ez a tudás marad kritikus, a repetitív feladatokat lehet AI-al automatizálni.
LoneRider11@reddit
Beleírja kb boldog-boldogtalan a Pythont a cv-jébe, majd egy list comprehension kérdésre csak hebeg-habog.
TinyCuteGorilla@reddit
a_list = [x.get("some_key") for x in b_list]
EZt nem tudom miért irom, de jól esik kézzel írni kódot, valszeg ez az utolsó sor kód amit valaha írni fogok AI nélkül az életem során.