16B означает 16 миллиардов параметов, а, например, 175B миллиардов параметров (175,000,000,000). Подразумевается семейство моделей GPT-3, разработанное и обученное компанией OpenAI. Основан на механизме внимания, когда для предсказания следующего слова все предыдущие слова перевзвешиваются и корректируют предсказанные вероятности. Появился в 2017м году (разработка компании Google), набрал популярность и