АЛБЕРТ Хидраулична пумпа АБТ1-55-4Р02-З11 АЛБЕРТ АБТ1-25-1Р00-Б10Е АБТ1-55-2Р02-Ц1 серво хидраулична пумпа крилне пумпе.

Повећање величине модела приликом претходног обучавања репрезентација природног језика често резултира побољшаним перформансама на низводним задацима. Међутим, у неком тренутку даље повећање модела постаје теже због ограничења ГПУ/ТПУ меморије и

дуже време тренинга. Да бисмо решили ове проблеме, представљамо две технике смањења параметара за смањење потрошње меморије и повећање тренинга

брзина БЕРТ-а (Девлин ет ал., 2019). Свеобухватни емпиријски докази показују

да наше предложене методе доводе до модела који имају много боље размере у поређењу са

оригинални БЕРТ. Такође користимо самоконтролисани губитак који се фокусира на моделирање

кохерентност међу реченицама, и показати да доследно помаже низводним задацима са

уноси са више реченица. Као резултат тога, наш најбољи модел успоставља ново стање технике

резултати на мерилима ГЛУЕ, РАЦЕ и СКуАД док имају мање параметара у поређењу са БЕРТ-великим. Код и унапред обучени модели су доступни