duda sobre descargarse IA de forma local
Posted by Individual-Party1661@reddit | LocalLLaMA | View on Reddit | 5 comments
Hola, tengo actualmente un dispositivo con Truenas Scale, mi disposotivo tiene in i5 4570, 32gb ddr3, varios ssd para NAS y le instale hace poco una rtx 3060 de 12gb con el proposito de correr una ia local, para llamar a claude code o tener una IA tipo chat gpt en open web, tengo ejecutando actualmente qwen2.5-coder:7b, mi pregunta seria, para utilizar de forma eficaz una ia local hace falta un SO en concreto? tambien me he estado informando e incluso me estoy replanteando comprar una Nvidia P102-100 10GB para intentar correr modelos mas grandes a un precio asequible funcionaria eso o seria una perdida de dinero? Espero que me sepais responder mi dudas, muchas gracias.
brahh85@reddit
with just a 3060 , try qwen 3.5 9B
if we count your RAM and 3060, try gemma 4 26B
it should be a bit slow, because a part of the model will sit on RAM , but you will get a good idea of what you can get
if you like it, but consider it too slow, then buy the Nvidia P102-100 to speed up things.
If you look at buying an old gpu, i would recommend you the more VRAM the better, thats why i bought MI50 with 32 GB .
10 GB look like an improvement , but maybe for just a bit more of money you can get a GPU that allows you to do more things , like the difference between loading a 9B model or a qwen 3.5 27B or gemma 4 31B. Its like comparing a knife with a sword.
From my perspective, if you arent doing too much, probably the 3060 and your RAM could be enough for your needs.
About OS, give linux a try, if you like it and things runs smoothly, just move to linux. Ive been using it for the last 20 years. For some setups linux is the only way to unlock the full potential of their hardware , because windows is just bloatware.
About gpu, maybe other people recommend you buying a 3090 , and if you can afford it, i will support that idea too, for example if you are coding all the time with claude code, the combo of the 3060 and the 3090 looks great.
Individual-Party1661@reddit (OP)
muchas gracias por la informacion, por lo que me recomiendas desistalar truenas como SO y meterle un linux tipo ubuntu o algo de eso verdad?
brahh85@reddit
en teoria, no te hace falta desinstalar windows , yo instalaria ubuntu en uno de los ssd que tienes, y luego el sistema de arranque de ubuntu (grub) te permite elegir si arrancas linux o windows cada vez que enciendes el PC
yo en cada SSD que tengo hay instalado un SO diferente, porque esto me permite que si algo se rompe siempre tengo otro para usar
y ademas, si algun dia quieres actualizar tu SSD por otro mejor, asi es mas facil clonar tu SSD con tu OS a ese nuevo disco, y disfrutar de la velocidad sin tener que reinstalar. Yo ahora mismo estoy usando ubuntu 24.04
Individual-Party1661@reddit (OP)
creo que me estas entendiendo mal, mi SO no es ni windows ni linux, es Tuenas Scale
cheapestinf@reddit
¡Buenas! Con tu RTX 3060 de 12GB y 32GB de RAM DDR3 tienes setup más que suficiente para IA local. Para el SO no necesitas uno específico, Linux funciona muy bien. La P102-100 es de miners, mejor busca una RTX 3060 Ti o RTX 3070. Una opción que te puede interes