Gray Tag:Влад:
В GlobeBench давали задачи вроде: «Если я сделаю X с объектом A, что станет с объектом B, который зависит от A?» — и проверяли, сможет ли модель пройти по цепочке A → B → C и правильно сказать, что произойдёт в итоге; результат: 5.1% правильных ответов, что является уровнем «почти случайного угадывания»
Даю справку, 1) "почти случайное угадывание" для 1632 элементов - это 0.061%, 2) Модель GPT6 Astra имеет в этом тесте результат 49,57%, что примерно в 809 раз лучше случайного угадывания.
GlobeBench git
Если Система - это упорядоченность, то статистика системы - это не случайность.