Opus 5.5 РАЗНЁС бенчмарки. А на РЕАЛЬНОЙ задаче?

О выпуске

Три модели, один запрос и финансовый симулятор онлайн-школы. Сравниваем результат с точки зрения пользователя.

В этом тесте Олег предпочёл интерфейс, созданный GPT-6 Astra: он оказался проще и понятнее для повседневной работы. Это вывод по одной задаче, а не универсальный рейтинг моделей.

Что проверяли

Opus 5.5, Fable 5.1 и GPT-6 Astra получили одинаковое задание: создать с нуля локальное веб-приложение для расчёта экономики онлайн-школы. Моделям оставили свободу в выборе оформления. Результаты сначала показываются без названий моделей.

Как оценивали результат

В выпуске Олег меняет входные данные: количество роликов, конверсии и расходы. Проверяет пересчёт показателей и применение подсказок. Отдельно оценивает, удобно ли пользоваться интерфейсом, а не только его внешний вид.

Какой вывод можно перенести в свою работу

Проверяйте модели на одинаковом задании из собственной практики. Сравнивайте удобство готового результата, время и расход ресурсов. Красивый интерфейс и высокое место в бенчмарке сами по себе не отвечают на вопрос, подходит ли инструмент вашей задаче.

Вопросы по выпуску

Тайм-коды

Нажмите на время, чтобы открыть нужный момент на YouTube.

Транскрибация

Автоматические субтитры YouTube. Возможны ошибки распознавания. Названия, функции и условия в записи относятся к моменту съёмки.

0:00На этой неделе Клод выкатил свою новую модель OPUS 5.5, и она сходу заняла все лидирующие места во всех бенчмарках, а также получила хорошие отзывы. По показателям модель OPUS 5.5 превзошла как Fable 5.1, то есть флагманскую модель самого Antropic, так и ближайшего конкурента GPT6 Astra от компании Chat GPT. Таким образом, у нас есть серьёзная заявка на то, что у нас новый лидер среди больших языковых моделей. Но мы с вами, как обычно, не верим бенчмаркам,

0:32не верим тому, что говорят, а пробуем и тестируем всё сами [музыка] на своих задачах. Поэтому я возьму одну простую задачу, один промт на пустой папке устрою слепой тест между новой OPUS 5.5 Fable 5.1 и также для сравнения возьму сюда GPT6 Astra от chat GPT. Таким образом, среди трёх флагманских моделей вы можете выбрать себе ту, которая подойдёт вам лучше всего для работы. Задача у нас будет следующая: с полного нуля за один пром создать работающий

1:04симулятор онлайн-школы. То есть нам нужна финмодель, которая просчитывает экономику запуска, экономику нашего бизнеса, сверяет воронку и также нам даёт советы, как улучшить показатели. Я написал один подробный промт, который даю всем трём моделям. Да. Задача следующая: создай с нуля полностью работающее локальное веб-приложение, светофор запуска, финансовую модель запуска, онлайнообучения и да, возьмём вот как пример такую вот школу, как

1:30будто мы с вами её открываем. И здесь очень важно, я дал модели достаточно много свободы в том, что касается дизайна и оформления, чтобы мы как раз с вами могли сравнить, да, а не просто получить три одинаковых сайта, да. И кроме того, модель ещё должна нам давать подсказки, как нам улучшить показатели и выйти на нашу цель по чистой прибыли, да. Так что вполне должно получиться реальное работающее приложение, да. Давайте посмотрим, как наши модели с ним

1:57справся. Кстати, сам вот этот вот большой промт, а также инструкцию о том, как работать в агентах, как работать в CLД-код, как работать в Кодекс, а вы можете получить у нас в Telegramботе, да, там будут материалы к этому уроку. Значит, сможете повторить и сделать подобное приложение и также в целом разобраться в агентах. Там мы подробно об этом говорим. Смотрите по ссылочке в описании. Итак, я отправил модель OPUS 5 на усилии Маx выполнять эту задачу. Ну и

2:25далее такой же промт я даю модели Pable 5.1 и также даю его нашей с вами GPT6 Astra, да? То есть иду в кодекс и здесь тоже на очень высоком усилии, а значит, даём его чат GPT. И давайте смотреть на результаты. Посмотрим и оценим три созданных сервиса, три созданных сайта. И дальше я раскрою, какая, а, какой сайт, какая модель делала. И вот наш первый сайт. Ну, мм, не знаю, мне кажется, как минимум довольно спорно по

2:57дизайну. Тут ещё вот эта странная тема, что вылезла, а, сама как бы сами цифры, да, сами надписи. Ну, допустим. Ладно, давайте проверим, как всё работает. Значит, у нас здесь указано, что желаемая прибыль в месяц 500.000 руб. По нашим расчётам, которые мы вбили, получается 307. То есть это такая жёлтая зона, надо что-то докрутить. Мы тут можем, значит, мм менять количество роликов, да? Значит, допустим, я хочу на YouTube снять 100, не 100 роликов, а,

3:27например, 105 для того, чтобы с них трафик шёл. И вот нам пересчитывается и прибыль, пересчитывается количество регистраций, продажи. То есть в целом вроде как всё работает. Мы здесь можем как вот такими кнопочками это делать, так и, например, вводить вручную. Допустим, я там, а что, если я 78 роликов только успею выпустить, да, тут же у нас сильно уменьшается, да, прибыль. А вот если сделаю 120, то она увеличивается. Так, ну о'кей. То есть в

3:55целом вроде как работает, да? Можем ещё посмотреть, допустим, конверсия аа из YouTube в регистрацию на практикум, да, будет не 0,6, а 0,7. Вот у нас тоже меняются цифры, да? Значит, в целом, вроде как всё работает. То есть, ну, я думаю, что чисто арифметически вряд ли модели будут ошибаться, да? То есть, мне кажется, они все уже достаточно умны, чтобы мм чтобы как бы не ошибаться в простых расчётах. Дальше идут расходы по статьям, да, опять же, мы тут можем

4:25регулировать, какая у нас налоговая нагрузка, сколько мы тратим процентов на возвраты. Например, мы заложили 4%, а вдруг будет пять, да? Вот тогда вот у нас будут меняться цифры. Вот такой вот итог, да, все расходы за период, да? Значит, давайте смотреть, что у нас получается. Ну и вот, да, жёлтая зона. То есть при желаемой прибыли в 500.000 мы получаем только 307 в таком раскладе. И вот самое интересное, да, он нам нарисовал такие подсказки, сделал, чтобы

4:51каждый, э, как бы какие можно показатели изменить, чтобы добиться желаемого результата. И мы можем применить, ну, допустим, что если у нас будет конверсия из регистрации в продажу, да, не 3Д, а четыре. Ну вот, например, нажмём применить. Аа применилась у нас действительно а вот эта вот подсказка, да, и тут же у нас все цифры поменялись, да? Все цифры у нас как-то они стали получше, да? Вот. О'кей. Это работает. По крайней мере, это работает.

5:21Подсказки, кстати, действительно довольно логичные. Ну что могу сказать? М всё работает. Но, честно, чисто по дизайну, во-первых, мне кажется, это не сильно удобно объективно, да, то есть врядли я бы каждый день таким пользовался. Ну и опять же вот некоторые решения мне не очень нравятся, но давайте посмотрим другой сайт. И выглядит это вот так. Тоже, как вы видите, очень похожий стиль, да, вы, наверное, можете уже догадаться, что это

5:48две, а, два сайта от одного как бы производителя, да, от модели от одной компании. Но здесь, мне кажется, немножко поаккуратнее сделано. Тоже воронка, тоже здесь идёт даже какая-то анимация. А, тоже цифры все мы видим, что, да, сходятся все расчёты. Опять же, здесь мы можем потыкать, поменять, да, разные конверсии сделать, и всё будет считаться. Здесь в целом всё правильно. А дальше идут расходы. Мне кажется,

6:17здесь сделано не очень удобно, на мой взгляд. Ну вот, как-то видите, здесь вот сделаны четыре такие штуки. Здесь две, но они сделаны больше. И поэтому как-то это всё выглядит немножко растянуто. Здесь три. И поэтому, ну, на мой взгляд, как бы не очень аккуратно, поэтому тут я бы не сказал, что это удобно. Да. Вот. И всё это вот на таком тёмном фоне. В общем, не знаю. Мм, мне не кажется, что это прямо классный, удобный дизайн. Ну

6:43ладно. Так. И мм давайте посмотрим на подсказки. Да, подсказки у нас примерно такие же. Тоже конверсию в продажу нужно увеличить. А выпустить больше роликов на YouTube. Ну давайте попробуем это применить. И наша цель достигнута, да? Значит, вот мы вышли на 502.000. Если мы снимем не 100 роликов, а 118, да, у нас будет больше контента, больше просмотров, соответственно, больше регистраций и больше выручка. Ну, допустим, да, постараюсь снять побольше

7:11роликов. И давайте посмотрим третий вариант. Да, значит, и вот наш третий вариант. И вы заметили, что он совсем другой. Я думаю, вы можете сразу догадаться, да, значит, что это делал другой производитель, да, другая модель совершенно. И давайте посмотрим. На первый взгляд кажется, что как-то сильно проще, да. Но, знаете, честно, как пользователь, если мне предложили сервис, которым я бы реально пользовался, я бы пользовался именно вот

7:38этим, потому что здесь, по крайней мере, всё более-менее понятно, да, нет вот этих всех 3D, там какой-то графики ярких цветов, но более-менее понятный, а, действительно дашборд, что вот у нас идёт YouTube, Instagram, м, количество роликов, просмотр каждого ролика. Мы получаем просмотр за период, приглашаем людей на практику, с такой-то конверсией заходят люди в регистрации, да, можем это менять. И что дальше? Продаём курс такой-то

8:09конверсии, получаем выручку, да? То есть в целом вот чисто с точки зрения пользователя, если бы мне нужен был реально пульт, чтобы этим всем управлять, вот, несмотря на то, что кажется, что сильно проще, я бы, наверное, взял вот это. Дальше. Сколько стоит запуск? Процент от выручки, производство контента, переменные расходы и, ну, о'кей, всего расхода за период. Я, может быть, немножко бы всё-таки поменял бы. Где-то я бы,

8:35наверное, добавил ярких акцентов. Возможно, сайт совсем уж блёклый получился, но, честно, мне это кажется более удобным для использования, чем вот такие вот штуки, да, все эти вот сейчас модно, да, делать какие-то мм анимации, какие-то звездолёты, 3D-графика, всё обязательно на тёмном фоне. Но, поверьте мне, если бы вы создавали свой сервис, да, и попробовали бы его показать пользователям, чтобы им пользовались, да, вот это было бы ближе к тому, чем

9:03люди реально готовы пользоваться. И давайте посмотрим на то, что надо изменить, чтобы модель сошлась. В целом похожие подсказки, да? Увеличиваем конверсию в продажу, больше роликов, выше средний чек. Ну, нажмём применить. Всё, экономика сходится, если у нас курс стоит не 50.000, а 61, да? Значит, здесь в целом всё можно этим управлять. И наши расходы. Наши расходы вот так вот они здесь сделаны. Ну и, собственно, пора раскрыть карты. Смотрите, вот это у нас

9:33сделал Fable 5.1, вот это сделал Opus 5. Да, я думаю, вы догадались, что два похожих дизайна, потому что и то, и другое клод. И Ча GPT6 Astra пошёл абсолютно другим путём. Да, вот не зря мы дали моделям свободу действий. Видим, что совершенно другой результат. Э, кто-то скажет, что он проще и примитивнее, а мне лично этот больше нравится как пользователю. Только что мы с вами в трёх разных моделях. с одного запроса сделали вполне себе

10:03работающий сервис. Чтобы научиться делать такие штуки, приходите на наш бесплатный [музыка] практикум по нейросетям и вайп-кодингу, который пройдёт совсем скоро. Приглашение на него вы получите по ссылке в нашем Telegram боте, ссылка в описании. [музыка] И кроме того, в этом же боте вы получите материалы к этому ролику. Это инструкция о том, как делать подобный дашборд, такую финансовую модель, и также как вообще в целом пользоваться

10:28агентами. У нас есть классный гайд, как по CLД код, так и по кодекс. Так что заходите по ссылке и начинайте пользоваться агентами. Ну а мы с вами давайте теперь посмотрим на самый главный вопрос. [музыка] Сколько это всё стоило и как долго каждая из этих моделей работала, да? Значит, давайте посмотрим. У нас тут есть некоторые подсчёты. И у нас получается, что клод OPUS 5,5 работал дольше всех, да? А, сделал больше всего действий, написал

10:58больше всего знаков кода. И если бы мы, да, значит, платили по API, он потратил бы 16 долларов. Clot Fable 5.1 сработал чуть-чуть быстрее, да, делал чуть меньше действий, но вышел дороже. Тут интересный момент, потому что вообще считается, что Fable 5.1 должен быть сильно дороже в работе, чем OPUS 5,5. Но у нас тут получилось так, что поскольку он сделал меньше действий, да, и справился быстрее, чем OPС, да, то конкретно в нашем примере он не сильно

11:30дороже, буквально там процентов на 20, да, хотя вообще по идее разница должна быть в разы. Ну и GPT6 Astra отча GPT справилась быстрее всех, да, сделала меньше всего действий, меньше всего знаков кода написала и всего лишь за 8 долларов, то есть вдвое дешевле, чем Opus 5,5 у нас справилось. Пишите в комментарии, какой сайт из представленных вам больше всего понравился. И также можете писать, какими моделями лично вы пользуетесь и

11:58почему. [музыка] Но главный вывод такой. Дело не столько в конкретной модели. Дело в том, как в целом вы пользуетесь агентами и в ваших собственных навыках, потому что модели постоянно выходят новые, постоянно обновляются. Сегодня топовая модель одна, завтра другая. Но что главное - это иметь навык работы с агентами, которые действительно могут помогать вам в работе, жизни и бизнесе.