ChatGPT 5

[leblon]

 Купил себе платный сабж. Думал, поиграюсь месяц и ладно. С версией 4 у меня был неудачный опыт. 

И вот теперь я в шоке уже два дня. Машинка работает на уровне умного постдока. Причем с образованием во всех областях математики сразу. И раз в двадцать быстрее человека. Не знаю, радоваться или ужасаться.

Comments

[ai_sur]

принимать как должное и готовиться жить в мире где машинка поумнеет еще раз в 100500

[avva]

И что, нет галлюцинаций, не путается в показаниях? У меня немного другие результаты, есть улучшение в сравнении с 4, но не супер значительные.

[dmm]

Вопрос в том, что значит "в сравнении с 4". С исходной 4 в марте 2023-го, с первой 4o, с самой новой 4o, с o3?

Вообще говоря, прогресс более-менее описывается кривой на первой картинке здесь:

https://evaluations.metr.org/gpt-5-report/

Так что, разница с исходной 4 в марте 2023-го огромна, а разница с o3 довольно заметна, но не супер значительна. Тем ни менее, похоже, что в сложных проектах на грани возможного сегодня, даже и разница с o3 довольно заметна, вот довольно типичный report, который очень сильно отличается от того, что было возможно с o3 для проектов этой сложности (advanced non-standard virtual machine and compiler), хотя до идеала там ещё очень, очень далеко (a neutral report, "some people on both sides of this debate will be upset"):

https://x.com/VictorTaelin/status/1960345221012619469

[leblon]

Да, я поторопился. Сегодня потратил много времени на то, чтобы выловить у нее одну ошибку. Ошибка в конечном счете оказалась неважной, но печально то, что даже когда я ее указал, машинка извинилась, но не исправилась, а сделала точно ту же ошибку повторно.

Задачка в которой она прокололась была такая.

Let T(u)=u^2+u+u^{-1}+u^{-2} be a polynomial with coefficients in the field with two elements. Consider the equation x^2+xT+1=0. Does it have a solution in the ring of Laurent series with coefficients in the same field?

[k_uao]

Ну вот да. При этом вещь все равно полезная, и время экономит .

[k_uao]

У меня такое ощущение было в марте. Но если начать проверять за ней детали, такое себе. Если давать нерешенные задачи, которые негде подглядеть — вообще толку никакого нет. А так да, впечатляет и очень полезно, но по решению сложных задач не дотягивает даже до мастеранта хорошего.

[leblon]

Поторопился я, см выше ответ avva