duda sobre descargarse IA de forma local

Posted by Individual-Party1661@reddit | LocalLLaMA | View on Reddit | 5 comments

Hola, tengo actualmente un dispositivo con Truenas Scale, mi disposotivo tiene in i5 4570, 32gb ddr3, varios ssd para NAS y le instale hace poco una rtx 3060 de 12gb con el proposito de correr una ia local, para llamar a claude code o tener una IA tipo chat gpt en open web, tengo ejecutando actualmente qwen2.5-coder:7b, mi pregunta seria, para utilizar de forma eficaz una ia local hace falta un SO en concreto? tambien me he estado informando e incluso me estoy replanteando comprar una Nvidia P102-100 10GB para intentar correr modelos mas grandes a un precio asequible funcionaria eso o seria una perdida de dinero? Espero que me sepais responder mi dudas, muchas gracias.