Два

Научные отчеты, том 13, Номер статьи: 11658 (2023) Цитировать эту статью

173 доступа

Подробности о метриках

Федеративное обучение позволяет нескольким узлам выполнять локальные вычисления и сотрудничать для выполнения задач машинного обучения без централизации частных данных узлов. Однако частые операции загрузки/выгрузки градиентов моделей, требуемые платформой, приводят к высоким затратам на связь, которые стали основным узким местом для федеративного обучения по мере масштабирования глубоких моделей, снижая его производительность. В этой статье мы предлагаем двухуровневый алгоритм накопленного квантованного сжатия (TLAQC), который эффективно снижает затраты на связь при федеративном обучении. TLAQC достигает этого за счет сокращения как стоимости индивидуального общения, так и количества раундов глобального общения. TLAQC представляет пересмотренный метод квантования под названием RQSGD, который использует коррекцию нулевых значений для смягчения неэффективных явлений квантования и минимизации средних ошибок квантования. Кроме того, TLAQC снижает частоту загрузки информации о градиенте за счет адаптивного порогового значения и механизма самопроверки параметров, что еще больше снижает затраты на связь. Он также накапливает ошибки квантования и сохраняет дельты веса, чтобы компенсировать потерю знаний о градиенте. Благодаря коррекции квантования и двухслойному накоплению TLAQC значительно снижает потери точности, вызванные сжатием данных. Экспериментальные результаты показывают, что RQSGD обеспечивает частоту неэффективного квантования всего 0,003% и снижает среднюю ошибку квантования до 1,6 × \({10}^{-5}\. По сравнению с FedAVG полной точности, TLAQC сжимает загружаемый трафик всего до 6,73%, одновременно повышая точность на 1,25%.

Благодаря быстрому развитию новых технологий, таких как Интернет вещей (IoT) и периферийные вычисления, объем данных, генерируемых на границе сети, растет в геометрической прогрессии. Значительный объем ценных данных распределяется по различным терминальным устройствам. Традиционные методы глубокого обучения обычно требуют централизованного хранения обучающих данных, что создает проблемы в достижении централизованной интеграции данных в естественных средах. Такая ситуация приводит к образованию «островов данных» и создает барьеры между источниками данных. В 2016 году Google представила концепцию федеративного обучения, специально разработанную для мобильных устройств. Федеративное обучение1,2 появилось как решение, в некоторой степени решающее проблему «островков данных». МакМахан и др.3 описали структуру федеративного обучения для задач глубокого обучения и предложили известный алгоритм FedAVG (алгоритм федеративного усреднения). Ключевым аспектом федеративного обучения является то, что оно устраняет необходимость совместного использования частных данных между узлами, предоставляя узлам полный контроль над своими локально хранящимися данными. В типичной архитектуре рабочий-сервер4,5,6,7,8 рабочие узлы загружают информацию об обучении своей локальной модели (например, градиенты или обновления параметров) на центральный сервер. Сервер использует загруженную информацию с рабочих узлов для обновления глобальной модели с использованием алгоритма агрегации.

Однако, с одной стороны, федеративное обучение требует большого количества коммуникаций между узлами для достижения хорошей точности модели; С другой стороны, с непрерывным увеличением масштабов глубокого обучения количество параметров модели резко возросло, что резко увеличивает стоимость передачи данных при федеративном обучении. Ограничение стоимости связи, ограниченное условиями сети и пропускной способностью, не позволяет многим граничным узлам участвовать в федеративном обучении. Высокая стоимость связи стала основным узким местом федеративного обучения. Чтобы решить проблему высоких затрат на связь при федеративном обучении, исследователи предложили различные методы сжатия данных, направленные на снижение накладных расходов на связь как при федеративном обучении, так и при распределенном машинном обучении. Эти методы направлены на облегчение коммуникационной нагрузки при сохранении или повышении общей производительности процесса федеративного обучения.