Не само копаенето на криптовалути и дигиталните услуги потребяват много енергия - развитието и обучаването на изкуствения интелект има сериозен въглероден отпечатък, но и скъпият достъп до възможностите му задълбочава неравенството в технологичния сектор, като дава преимущество само на гигантите.

Това обясняват изследователите в нов доклад, публикуван този месец от Масачузетския университет в Амхърст и отбелязан и от Масачузетския технологичен институт. В него се посочва, че енергията и разходите за обучение на модели, с които машините да разбират и използват човешки език, поглъща значителни ресурси в "новото поколение големи мрежи, обучавани с изобилно количество данни" и тенденцията ще се задълбочи, ако сегашният модел се запази.

Подобренията в сектора "зависят от това дали са достъпни изключително големи изчислителни ресурси, които изискват също толкова съществено потребление на енергия." Разходите за хардуер и електричество, които възникват, са сериозни, такъв е и въглеродният отпечатък на тензорните процесори, създадени от "Гугъл" специално за машинното самообучение на невронни мрежи, продължава текстът.

И тук напредъкът е подобен на този с биткойн - някога стационарни компютри бяха основните инструменти за "копаенето" (също включващо сложни изчислителни операции), а днес вече индустриалният мащаб продължава да се разраства и това само увеличава хардуерните, финансовите и енергийните изисквания, причинявайки и по-голямо отделяне на емисии в околната среда.

Разходите се увеличават хиляди пъти

"Обучаването на най-високотехнологичен модел изисква значителни изчислителни ресурси, които изискват сериозно количество енергия, заедно с финансови разходи и цената за околната среда. Изследователската и развойна дейност за тези модели увеличава с хиляди пъти тези разходи, тъй като изисква повторно обучение (на невронни мрежи - бел. ред.), за да се експериментира с архитектурата и хиперпараметрите им," обясняват авторите. Последната дума включва всички стойности, които се задават на изкуствения интелект, преди той да започне да бъде обучаван. Дори за съвсем леки допълнителни настройки на моделите, даващи минимално подобрение, е необходима много енергия.

"Докато преди десетилетие повечето модели за обработка на естествен език (преобразуване на човешки език в данни и обратното - бел. ред.) можеха да са обучат или разработят на лаптоп или сървър, много от тях днес изискват голямо количество специазиран хардуер като графични процесори (за обработка на графични изображения, GPU, бел. ред) и тензорни процесори, ограничавайки достъпа до тези модели с висока точност по финансови причини."

При обучение за подобряване на "крайната точност" на модела се наблюдава "експлозия" на разходите за околната среда, а при някои от техниките реалните ползи са много малки. Например обучението на един от моделите, т. нар. Трансформатор, използван за ефикасен и точен машинен превод, отделя 82 кг еквивалент на въглероден диоксид и струва между 289 и 981 долара. Това е около една осма от въглеродните емисии, произведени от полет между Ню Йорк и Сан Франциско, продължават авторите.

При прилагане на търсене в невронната архитектура - похват за фина настройка - отпечатъкът набъбва до 28.4019 тона или 315 такива полета, пет пъти колкото емисиите на средностатистическа американска кола от началото до края на употребата ѝ.

Твърде скъпо

Освен това финансовата цена на търсенето в невронната архитектура за обучение на "Трансформър" е между 942.9 хил. и 3.2 млн. долара. Тези разходи изключват множество академични изследователи от дейност, свързана с машинното самообучение, и го оставят в ръцете на компаниите, които предлагат услуги за изчисление в облак (cloud computing) с достатъчна изчислителна мощ - "Амазон", "Майкрософт", "Гугъл" и други.

Цената "не е по силите на всички, които искат достъп" и повечето модели, изучавани в текста, дори не са разработени в академичните среди. Свеждането на научноизследователска дейност в областта до лабораториите на бизнеса е опасно за креатимността в сектора, но и създава естествена бариера. Много изследователи, дори да имат добри идеи, не могат да ги осъществят по тази причина. Затвърждава се и цикълът, в който "богатите стават още по-богати" - успешни и добре финансирани групи получават още финансиране за дейността си. Облачните изчисления се оказват принудителни за всички, които искат да започнат работа в тази насока.

Всичко това означава, че са нужни "съвместни усилия на индусктрията и академичния сектор", за да се насърчат изследвания за създаване на по-ефикасни алгоритми, както и на "хардуер, който изисква по-малко енергия" за намаляване на въглеродния отпечатък.

Дневник