Клайд — маленькая языковая модель, обученная с нуля

Клайд

Клайд — семейство маленьких языковых моделей, которые один человек учит с нуля: свой словарь, своя архитектура, своя школа диалогов. Ни одного чужого веса внутри.

Это не соревнование с большими моделями, а честная попытка узнать, сколько можно выжать из нескольких сотен миллионов параметров.

Clyde is a family of small language models trained from scratch by one person: own tokenizer, own architecture, own dialogue school. No borrowed weights. English summary is below.

Модели

Модель Размер Состояние
Клайд-2.1 371M в обучении
Клайд-2 371M готов, скоро появится здесь
Клайд-3 больше в планах

Подробности о каждой модели — как она устроена, чему училась и что показала в тестах — будут в её собственной карточке.

Чего ждать и чего не ждать


Clyde in English

Clyde is a family of small language models that one person trains from scratch: own tokenizer, own architecture, own dialogue curriculum — no borrowed weights. The goal is not to compete with large models but to find out, honestly, how far a few hundred million parameters can go.

Model Size Status
Clyde-2.1 371M in training
Clyde-2 371M done, coming here soon
Clyde-3 larger planned

Details for each model — architecture, training and test results — will live in its own model card.

What to expect. Clyde is small. It makes mistakes with facts and numbers when answering from memory, knows mostly Russian and English, and should be double-checked on anything important. It is a learning project, not a finished product.