Sıfırdan Eğitilmiş 258M Parametre Türkçe LLM: Marul V7
Posted by Marul_AI@reddit | LocalLLaMA | View on Reddit | 3 comments
Selam,
Bir süredir üzerinde çalıştığım bir projeyi paylaşmak istiyorum. Sıfırdan geliştirdiğim bir Türkçe dil modeli var: Marul V7
Model tamamen bağımsız şekilde eğitildi. Yaklaşık 258M parametreye sahip ve eğitim sürecinde hazır LLaMA benzeri mimariler kullanılmadı. Kendi tokenizer yapısını ve kendi model mimarisini geliştirdim. Pretrain aşamasında tamamen Türkçe ve temiz bir dataset kullanıldı, ardından instruction tuning yapıldı.
Şu an model:
- Temel Türkçe dil görevlerinde çalışabiliyor
- Günlük konuşma ve genel kültür sorularına cevap verebiliyor
- Basit kod ve markdown üretimi yapabiliyor
- Bazı instruction tabanlı görevleri yerine getirebiliyor (mükemmel değil ama temel seviyede)
Çok büyük bir model değil ve haliyle GPT seviyesinde bir şey beklemek doğru olmaz, ancak Türkçe odaklı sıfırdan bir LLM geliştirme açısından bir başlangıç noktası olduğunu düşünüyorum.
Model şu an web üzerinden erişilebilir durumda: marulai.com.tr
Ayrıca Android uygulaması olarak da Play Store’da “Marul AI” adıyla yayınlandı (link: marulai.com.tr/app.html ).
İlgilenen olursa geri bildirimlere açığım. Özellikle modelin zayıf olduğu yerleri görmek benim için daha önemli şu an.
Marul_AI@reddit (OP)
(english version)
Hi,
I wanted to share a project I’ve been working on for a while. It’s a Turkish language model I built from scratch: Marul V7
The model was trained completely independently. It has around 258M parameters, and no existing architectures like LLaMA were used during development. I designed my own tokenizer and a custom model architecture. The pretraining phase was done entirely on a clean Turkish dataset, followed by instruction tuning.
Right now, the model can:
It’s not a large model, and of course it’s not comparable to GPT-level systems. However, I see it as a starting point for building a Turkish-focused LLM from scratch.
The model is currently accessible on the web: marulai.com.tr
It is also available as an Android app on the Play Store under the name “Marul AI” (link: marulai.com.tr/app.html)
I’d really appreciate feedback from anyone interested, especially on where the model performs poorly. That’s the most valuable part for me right now.
Fine_Nectarine9328@reddit
you can post in english many people don't know your language
Marul_AI@reddit (OP)
Yes, you're right, I'll share it again in English.