
DiLoCo без синхронизации: как обучать ИИ на разбросанных узлах
Метод DiLoCo снижает частоту обмена данными между узлами обучения в сотни раз. Его развязанная версия убирает жёсткую синхронизацию, позволяя тренировать большие модели на нестабильном интернете и разнородном железе.










