Humanity’s Last Exam «Последний экзамен человечества»
Проект, целью которого является измерение того, насколько мы близки к созданию систем искусственного интеллекта экспертного уровня. Целью экзамена является создание самого сложного в мире публичного теста искусственного интеллекта, собирающего экспертов во всех областях.
Вот некоторые правила для отправки своего вопроса:
- Вопрос нельзя скопировать из Интернета, книг, научных статей и других источников.
Он должен быть оригинальный, придуманный именно вами.
- Вопросы должны быть сложными, на них должно быть нелегко ответить большинству людей.
Кроме того, ответы должно быть сложно "нагуглить".
- У вопроса должен быть один конкретный неспорный ответ.
- Вопросы не должны быть связаны с оружием или любой формой насилия.
Когда вы подаете вопрос и указываете ответ, то прямо на сайте вашу задачку сразу пытаются решить пять передовых моделей: GPT-4o, o1-mini и o1-preview от OpenAI, Gemini от Google и Sonnet 3.5 от Anthropic. Если все пять моделей дают неверный ответ, ваш вопрос принимают на рассмотрение.
Предложить вопрос может каждый, и если его примут, то автор получит от 500 до 5000 долларов, а также соавторство в статье про получившийся бенчмарк. Всего исследователи планируют собрать не менее тысячи вопросов
Дедлайн отправки – 1 ноября 2024 года.
Весь список условий и инструкцию можно найти
вот тут
