law.exe

Отличное видео для бодрого начала недели.

Стартап Figure AI эпично проводил на пенсию старое поколение своих антропоморфных роботов в стиле Терминатора 2 при личном участии самого Арни. Видео короткое, рекомендую к просмотру.

Сначала хотел мрачно пошутить про армию боевых андроидов, но компания принципиально отказывается от контрактов с военными и силовыми ведомствами (по крайней мере - пока).

Развеем тишину в канале. Пишу редко, буду стараться чаще.
13 сентября закончилась летняя акция Anthropic, временно раздувавшая токенные лимиты в Claude Code. Честно скажу - мне и тех лимитов не хватало, но спасибо за летние каникулы. Сегодня стало известно, что недельные лимиты поднимут на 25% (ну хоть что-то).
Так что с сегодняшнего дня затягиваем пояса потуже и учимся выжимать воду из Дарио камня. Начнем с теории:

Кто там в нашем зоопарке
⬖ Fable 5.1 - упрощенная версия модели Mythos, которую широкой публике не показывают. Упор на написание кода и кибербезопасность. Парадокс: формально это модель «для айтишников», но по ощущениям - самая приятная модель Anthropic. Не склонна упорствовать. Модели поглупее обычно грешат обороной своей точки зрения по принципу «я сделаль», а эта - дипломатичная и податливая к эксплуатации. Ну и самая дорогая, естественно. У нее отдельный лимит внутри недельного, то есть наговориться с ней вам дадут меньше всего.
⬖ Opus 5 - следующая по интеллекту и моя основная рабочая лошадка.
⬖ Sonnet 5 - модель крайне тупая. Постоянно переспрашивает, делает сверх нужного и додумывает там где не просили.
⬖ Haiku 4.5 - самый младшенький, Иван-дурак семейства. Уровней размышления у него нет вообще.
Что такое effort
Effort - это усилие, то есть сколько токенов модель тратит на размышление перед тем, как открыть рот.
Ступеней пять: low, medium, high, xhigh, max.
Сразу предупреждаю: max - режим крайне затратный. А если врубить его на Fable, то неиллюзорен шанс выжечь пятичасовой лимит за несколько минут и при этом не решить задачу. Отдельной строкой стоит ultracode - это уже не уровень размышления, а режим, в котором Claude Code выкатывает на задачу целую бригаду агентов. Жрет бригада соответственно. Кстати небольшой юмор - если в тексте промпта будет слово ultracode, то обвязка автоматически включит использование той самой бригады (мультиагентный режим из ultracode), поэтому фильтруем базар.
И еще одна кнопка - fast mode (включается командой /fast, доступен на Opus 5 и 4.8). Это тот же Opus, просто перенастроенный на скорость - до 2,5 раз быстрее при том же качестве. Нюанс тут не в токенах, а в деньгах. На подписке fast mode в лимиты не входит вообще: он списывается с usage credits, то есть с карты, даже если недельный лимит у вас еще не выбран. Пока кредиты не подключены, /fast просто откажется включаться.

Мои настройки
⬖ Fable 5.1 - high. По множеству наблюдений это оптимум по соотношению качества и токенов, выше - расточительство. Модель умная, большинство вопросов закрывает сама. Скажу больше: я очень часто гоняю ее на medium, мне этого хватает.
⬖ Opus 5 - high и xhigh. На medium он резко тупеет относительно high: включает режим вахтера и начинает принимать глупые решения за вас. Поэтому на medium я доверяю ему только редактуру текста. Под архитектурное проектирование иногда ставлю xhigh, но честно скажу - вместо Opus на xhigh чаще выгоднее взять Fable на medium.
⬖ Sonnet 5 - только high. Для этой модели у меня фактически одна настройка: ниже high она становится совсем тупой, а если нужно выше - стоит призадуматься над Opus. Задачи ей достаются соответствующие: резюмирование и редактура текстов, глубокие исследования, составление списков, проверка документации и сверка с ней кода. На большее годится мало.
⬖ Haiku 4.5 - не использую вовсе. Наверное, с какими-то задачами она справится, но жечь ради этого подписку Anthropic я не стану.

Очередной нюанс
Opus 5 болтлив, и не лечится (промптом). Поэтому иногда - а также при сработавших фильтрах безопасности - я отползаю на Opus 4.6 и 4.8, которые подобным страдают меньше.

#LLM

Детекция ИИ контента

Искины генерят контент с огромной скоростью, а теория мертвого Интернете становится ближе. Мы с https://t.me/evdokia_arch по уши закопались в тему и написали препринт статьи «Маркировка ИИ-изображений».

База: автором по закону может быть только человек, роботы авторства не порождают. Российские суды пока в тему особо не вникают, а вот EU AI Act требует вшивать в сгенерированный контент машиночитаемую метку.
Есть прямой способ - C2PA, открытый «паспорт контента»: криптоподпись и история правок, прицепленные паровозиком к файлу. Но паспорт лежит в кармане у файла и теряется на раз - пересохранил или загрузил в соцсеть, и метаданных нет.

А ТЕПЕРЬ САМОЕ ВКУСНОЕ

Для EU AI Act хватило бы одного C2PA. Но Google идет дальше и зашивает в картинки SynthID - клеймо, выжженное в самих пикселях. Переживает сжатие, кадрирование и множество других финтов ушами. Зачем делать больше, чем велит регулятор? Накидали мыслей:
⬖ Удалил водяной знак Google - нарушил пользовательское соглашение, а оттуда и до отказа в доступе ко всем сервисам недалеко (вместе с твоими данными на их серверах).
⬖ SynthID позволяет Google безошибочно узнавать «свой» контент - отсюда один шаг до приоритетного показа своего и тихого задвигания чужого в выдаче.

Выводы невеселые: штука, придуманная ради прозрачности и защиты человека, прекрасно конвертируется в инфраструктуру контроля и монополии. PDF под постом, будем рады критике.

#longread

Пять часов - новый стандарт

Хотелось бы говорить о пятичасовом рабочем дне, но увы. Разговор будет о пятичасовом скользящем окне лимитов:
⬖ Claude - первая ласточка. Скользящее окно работает у него уже давно: привязка идёт не к конкретному времени, а к началу использования. Отправил первое сообщение - время пошло.
⬖ ChatGPT - подхватил эстафету. Раньше при слишком активном диалоге тебя на пару часов переключали на модельку попроще, но теперь пятичасовое окно зафиксировано в документации.
⬖ Gemini - присоединился к профсоюзу буквально на днях. Ввел новую политику с пятичасовыми и недельными лимитами.
Итого: 5 часов - это индустриальный стандарт, под которым подписались все большие дяди.

Перекрой привычек

Чтобы пост был не чисто новостным, расскажу, как новый хронометраж перетряхнул мой распорядок. Последние несколько лет работаю на удаленке, пару месяцев плотно живу в Claude.
⬖ Только продрав глаза, врубаю комп и кидаю банальное «Привет, какие новости». Цель - запустить скользящее окно ДО начала работы. Дальше иду на утренние процедуры, а таймер тикает.
⬖ Считаем: рабочий день 8 часов + обед = 9, а два полных цикла лимитов - это 10. Таким образом, обновление попадает плюс-минус на обед.
⬖ Первая половина дня всегда самая нагруженная, иду обедать - возвращаюсь к обновлённому Claude. Второго присеста обычно хватает, чтобы добить работу до вечера.
⬖ Вечером лимиты обновляются третий раз, и я переключаюсь на личные проекты. Итого три полных использования лимитов за сутки.
Юмор в том, что скользящее окно (а не я) теперь определяет ритм моего дня.

ИИ-революция? Работодатели не в курсе

Правильно говорил один известный философ о том, что безделье - игрушка дьявола. Поэтому я решил не впадать в шашлычный угар на выходных, а немного поковыряться в данных юридического рынка труда.

Источник - http://hh.ru/, окно сбора данных - 29 апреля по 1 мая 2026, инструментарий - мои любимые LLM. Мини-отчет ниже, здесь только выжимка:
⬖ Проведен анализ 4 036 вакансий;
⬖ Из них юридическими оказалось 2 230 вакансий (в качеству поиска появляются вопросики);
⬖ ИИ упоминается в 79 — это 3,5%.
Там где ИИ упоминается полный винегрет: это может быть как требование к соискателю, как преимущество работодателя (у нас развернуты локалки, пыщ-пыщ), так и скупое упоминание в тексте через запятую с остальными терминами (IP, IT, AI).

Выводы: до ИИ трансформации юридической отрасли еще очень далеко.

Ответственно заявляю: я не настоящий сварщик исследователь, методы исследования вызывают вопросы, но я ответственно заверяю, что Headhunter не пострадал, а мое любопытство удовлетворено.

Не растягивайте диалоги с LLM

В этом посте поговорим про промпт-инжиниринг. В мае 2025 года Microsoft Research и Salesforce опубликовали статью https://arxiv.org/abs/2505.06120 - времени прошло немало, протестированные LLM уже не в моде, однако выводы очень интересные. Собственно суть:

Исследователи взяли пучок LLM ( в т.ч. и топы вроде GPT-4.1, GPT o3, Claude 3.7 Sonnet, Gemini 2.5 Pro и Flash, DeepSeek-R1 и т.д.) и прогнали через них 200 000+ симулированных диалогов, с одним и тем же набором задач: код, SQL, математика, резюмирование. Но информация подавалась двумя разными способами: целиком в одном сообщении (single-turn) и по кускам в несколько заходов (собственно тот самый "multi-turn conversation" из названия исследования).

Результат: подход "всё сразу" показывает в среднем на 39% лучшую производительность чем "по частям", причем у всех: у моделей маленьких и больших, размышляющих и не очень.

Что происходит:
⬖ При уточнении задачи в последующих сообщениях, модель пытается "встроить" их в существующие ответы, создавая франкенштейна из прошлых предположений и новых правок.
⬖ Свернуть не туда достаточно один раз, дальше модель скатывается по скользкой дорожке (цитирую: when LLMs take a wrong turn, they get lost and do not recover).

Что точно не помогает (исходя из исследования):
⬖ Размышления (тут кстати любопытный момент - Gemini 2.5 Pro не была упомянута авторами как думающая, мама миа, считай нашел косяк в именитой статье) не помогают, а скорее затрудняют дело (больше мыслей - больше предположений и метаний).
⬖ Снижение температуры до нуля.
⬖ Промпт-прием вроде "повтори всё сказанное в последнем сообщении" дает прирост +15-20%, но до уровня single-turn не дотягивает.

Выводы:
Золотое правило "чем короче - тем лучше" заиграло новыми красками за пределами деградации контекста (неэффективная обработка информации в рамках контекстного окна - context rot).
Другое золотое правило "без ТЗ - результат ХЗ" было повторно апробировано.

Что делать:
Не знаете чего хотите - собираете контекст в одном чате, а потом начинаете новый чат с четкой задачей.

#prompting

[Тут должен быть заголовок, но законы России сделали это невозможным]

Есть один знаменитый университет, который в России знаменит настолько, что входит в перечень нежелательных организаций. Так вот этот университет давненько следит за развитием искусственного интеллекта с тех самых пор когда это еще не было мейнстримом и выпускает научные материалы на эту тематику. Но так как в нашей стране подобные материалы распространять нельзя, я лишь перескажу основные выводы:

⬖ Развитие ИИ и не думает замедлятся. Темпы развития не снижаются, а 2025 год побил предыдущие.
⬖ Знания ИИ неравномерны. Модели стали еще умнее, в науке приблизились к человеку, решают олимпиадные задачки, но путаются в детских загадках и слабы в логике. Это не ново, Ханс Моравек рассказывал об https://ru.wikipedia.org/wiki/Парадокс_Моравека с в 80х. 2025 обозначился прорывом в кодинге, но мы вайбкодеры об этом и так знаем.
⬖ Беспрецедентная скорость распространения. ИИ за три года накрыл 53% населения Земли - быстрее, чем в свое время ПК и Интернет, но уровень использования прямо коррелируется с бедностью.
⬖ Полярные взгляды на технологию. AI-специалисты говорят о высоком влиянии технологии на мир (каждый кулик своё болото хвалит), но широкая публика считает иначе.
⬖ Сильнейшее влияние на образование. 80% американских старшеклассников и студентов используют нейросети для учебы, в то время как учителя не понимают, что с этим делать. Тут как всегда - молодежь быстро подхватывает технологии, пока мамонты пытаются адаптироваться.

#новости #цензура

Я очень часто использую глубокие исследования. Почти каждый день. Это когда вместо тебя гуглит робот, который сайт за сайтом собирает досье по теме - от профессиональных вопросов до выбора пылесоса. По пылесосу, кстати, у меня вышло пять исследований и отдельный проход синтеза информации. Пылесос - это серьезно!

Стал ловить себя на том, что после прочтения по диагонали все это добро летит в корзину. Сожженные токены оплачены, выбор сделан, цель достигнута, но осадочек, как говорится, остался.

⬖ LLM-wiki
Андрей Карпатый (один из отцов-основателей OpenAI, а теперь перебежчик в Anthropic) в апреле выкатил идею LLM-вики. План прост и поэтому красив - папка с markdown-файлами и три служебных файла: инструкция, индекс (содержание библиотеки) и журнал. LLM ведет всю бухгалтерию, человек только читает. Идея, справедливости ради, не его. До этого ровно то же самое называли Obsidian-зависимой памятью и вторым мозгом. Просто авторитета Карпатого хватило на шестнадцать миллионов просмотров.

⬖ Иди и сделай
Собственно, я бросил в искина десяток исследований и сказал: вот тебе идеи Карпатого, а дальше сам разбирайся, инструкцию себе тоже напиши сам. Чукча - читатель, чукча не писатель. Ответственным библиотекарем был назначен Claude Opus. На этом библиотечное дело закончилось и начался цирк. В бухгалтерии традиционно все перепутали: индекс заполнялся криво, ссылки были битые, а журнал выглядел как сводка боевых действий. Поглядев на это побоище со здравым смыслом, я включил золотое правило - если работу может сделать алгоритм, то работу должен делать алгоритм. Получилось дофига строк кода, которые превратили типичные действия в кнопки: заведение нового материала, заполнение содержания библиотеки, проверка ссылок. А еще я прикрутил поиск, словарь и дизайн-систему. Но основной смысл: накосячил - кнопка не нажмется.

⬖ Дисциплина
Но самое интересное вот в чем - инструкцию роботы писали для себя сами, и она пережила не десятки, а сотни правок (204, если точно). Собственно, любой косяк облекался в правило, которое Клод величаво называл дисциплиной. Но уже на паре десятков итераций все распухло до неприличных размеров: куча объяснений, почему это здесь и какая у этого была история, декларативные положения, разбор типовых ошибок и прочие нейрослопные прелести. В итоге простое правило жми на красную кнопку превращается в жми на красную кнопку, потому что она вызовет определенную функцию, но не перепутай ее с зеленой, обрати внимание, что рядом желтая, а чуть дальше - фиолетовая. Периодически я брал бритву Оккама и устраивал поножовщину, но вербальные сорняки прорастали обратно.

⬖ Собственно нюанс
Казалось бы, отпусти инструкцию в свободный самотек - работает же, пусть Клод пишет, как ему вздумается. Но привязываться я не хочу ни к Anthropic, ни к кому-либо еще, а вести библиотеку в итоге планирую с помощью локальных моделей. Такую простыню они не переварят - да и человек тоже.

Все вместе это напомнило эксперимент по синтетической эволюции: напихал пауков в банку и изучаешь результат. И оно работает. Но есть нюанс.

#project

Если вы читаете это, вы и есть сопротивление. 😁

Продолжаем тему VPN (завтра ведь 01.04). Теперь нужно разобраться, как работают скрытые протоколы VPN, но для этого нужно немного понять, как устроен Интернет.

Интернет-трафик
Все в Интернете (пользователи и серверы) общаются по правилам, которые все должны соблюдать, называются они - транспортные протоколы.
⬖ TCP - надежный грузовик, стабильно доставляющий данные. Если что-то потерялось в пути - отправит заново. Работает медленнее, зато без потерь. На нем построены веб-сайты (HTTP), почта и большая часть привычного Интернета.
⬖ UDP - мото-курьер, быстрый, но необязательный: кинул пакет и поехал дальше, потери не важны. Хорош для видеозвонков и онлайн-игр, где скорость важнее, чем доставка каждого бита.
⬖ TLS - это криптоброня, которая надевается на TCP. Когда ты видишь адрес https:// и замочек - это значит, что между тобой и сайтом работает TLS-шифрование. Провайдер же видит, что бронированный грузовик едет к серверу http://google.com/, но не может заглянуть внутрь. Абсолютное большинство современного веб-трафика - это TCP + TLS, то есть HTTPS.
⬖ QUIC / HTTP/3 - новый транспорт от Google, берет все лучшее от TCP/UDP/TLS. YouTube, Google, и все больше крупных сервисов уже работают на нем.
Еще одно понятие, без которого будет непонятно - порт. Представим, что компьютер в сети это здание, а порт - это номер ворот, куда заезжает транспорт. За воротами 443 сидит HTTPS, 80 - старый незащищённый HTTP, за 25 - почта. Что за кем закреплено - решает международная организация IANA (Internet Assigned Numbers Authority), это вроде "кадастра" Интернета. Номера 0-1023 закреплены за основными протоколами ещё с 80-х годов. Короче, весь мир договорился использовать определенные циферки, чтобы знать в какие ворота стучаться. Пакет данных направляется не просто "к серверу", а к конкретному порту. Провайдер видит, в какие ворота ты стучишься, и по их номеру может догадаться, чем ты занимаешься.

Почему это важно для понимания VPN? Потому что ваш провайдер и та самая железка от ФСБ (ТСПУ) видят ваш трафик как транспорт с определенной точкой назначения (айтишники так говорят "транспортный уровень"). Они не могут прочитать содержимое, но могут определить его вид.

VPN-протоколы
Их трафик отличается от обычного (использующего транспортные протоколы). Быстрые и надежные, но отчетливо видимые провайдеру сети (и ТСПУ).
⬖ WireGuard - использует UDP со своим собственным форматом пакетов и это проблема - не похоже ни на TLS/QUIC, ни на другой "обычный трафик" и как итог - легко определяем.
⬖ OpenVPN - ветеран среди VPN-протоколов. Многофункционален: умеет работать и через UDP, и через TCP/443 (тот же порт, что у HTTPS), но также легко обнаруживается.
⬖ IKEv2 - работает на фиксированных портах UDP 500/4500, что делает его легкой мишенью: заблокировал пользователю два порта - убил весь IKEv2.

Скрытые VPN-протоколы
А вот эти ребята не палятся и мимикрируют под обычные потоки данных (транспортные протоколы). Для провайдера и ФСБ, их трафик неотличим от обычного серфинга.
⬖ VLESS-REALITY - маскируется под HTTPS (TCP + TLS). Причем не абстрактно, а весьма конкретно - VPN-сервер притворяется реальным сайтом (условный http://google.com/). При поступлении правильного запроса - открывается VPN-тоннель. При попытке анализа трафика (так делает ТСПУ) - VPN-сервер делает вид, что он http://google.com/, показывая настоящие документы (сертификат подлинности). Заблокировать можно, только заблокировав Google целиком.
⬖ Hysteria 2 - маскируется под HTTP/3 (UDP + QUIC), со своим уникальным алгоритмом Brutal, который не снижает скорость при потере пакетов. Цензура часто не блокирует подозрительный трафик, а замедляет его. Обычный TCP выдает в таких условиях черепашью скорость, а Hysteria - нет. Она держится на заданной скорости, компенсируя потери повторными отправками.
Кстати, многие VPN-провайдеры создают "собственные" протоколы - которые, как правило, лишь модификации существующих. Поэтому если увидите VPN протокол "SUPER_PUPER_VPN_PROTOCOL", то в лучшем случае это апгрейд, а возможно просто ребрендинг.

#VPN #база

Новый Gigachat 3.1
Ну не китайским автопромом единым! На прошлой неделе Сбербанк https://huggingface.co/collections/ai-sage/gigachat-31 GigaChat 3.1 с https://habr.com/ru/companies/sberbank/articles/1014146/ на Хабре.

В релизе две MoE модели: Ultra (702B параметров, 36B активных) и Lightning (10B, 1.8B активных). Архитектура хитрая - модель не грузит все 702 миллиарда разом, а подключает только "нужное", что обещает быть быстрее и дешевле при том же качестве. По заверениям разрабов модели натренированы без применения иностранных компонентов ( https://t.me/forgednotwritten).

Лицензия MIT - бери и используй как хочешь: в коммерции, в продуктах, дорабатывай под себя, ограничений практически нет.

Я радуюсь любым свободным весам, а родным весам радуюсь вдвойне!

#LLM

Все эти MMLU и HumanEval - детский сад по сравнению с реальной жизнью. Если мы хотим доказать существование искусственного интеллекта, нам нужен суровый отечественный ЖКХ-бенчмарк. Суть проста: скармливаешь квитанции за полгода и несколько фотографий счетчиков, сделанных на тапок где-то в темном коробе за унитазом, и просишь разобраться с правильностью начисления платежей. Никаким vision-тестам такой треш и не снился: тут вам и красное-черное, и неверный угол, да еще и некоторые цифры стыдливо застыли в промежуточном значении.

Дальше переходим к math-части, и тут тоже все жестко: бухгалтер ТСЖ производит начисления как Боги на душу положат, а некоторые позиции явно привязаны к фазам Луны. И как вишенка на торте - мистические строки «недопоставка» и «корректировка», которые искажают пространство и здравый смысл.

Я прогнал несколько моделек через это чистилище:
⬖ Fable 5 - фото распознал, математику посчитал верно, но сделал неверный итоговый вывод.
⬖ Opus 5 - фото распознал, но в расчетах намотал целый ком галлюцинаций, окончательно сдался и посоветовал ножками дойти до ТСЖ.
⬖ Sonnet 5 - фото интерпретировал неверно и предсказуемо посыпался в вычислениях дальше.
⬖ Gemini 3.1 Pro - фото распознал, но в расчетах поплыл и также посоветовал обратиться за разъяснениями к ТСЖ.
⬖ Gemini 3.6 Flash - фото распознал отлично, но ошибся в расчетах.
Итоговый счет: ЖКХ - ИИ 5:0, всухую. Теперь я думаю, что Skynet решит уничтожить человечество только потому, что не сможет понять, откуда взялись пени в 12 рублей при регулярной переплате.

#пятничное

Циферки против людей

Илья Семухин нашел очень интересное дело про детекцию сгенерированного текста. А дело-то родное - Верховный суд Республики Татарстан и Вахитовский районный суд Казани. Фабула простая: студентка пытается защитить диплом, работу прогоняют через "Антиплагиат.ВУЗ" - систему, которая вроде как умеет находить ИИ-контент. И тут начинается цирк.

Работу загружали трижды:
⬖ 7 июня - ИИ-контент 41,91%;
⬖ 8 июня - научрук заявляет, что более чем в 70% текста намеренно перемешаны слова, чтобы искусственно поднять оригинальность ценой смысла, называет это фальсификацией и отправляет работу на доработку;
⬖ 9 июня - ИИ-контент 11,92%, а оставшиеся 88,08% суд потом зафиксирует как показатель авторского текста и приравняет к требованию оригинальности не менее 50%.
Тут необходимо сделать оговорку, что неясно, изменялся ли текст между загрузками. Но в сухом остатке - отчисление. Добро пожаловать во взрослую жизнь.

Но девушка решила побороться в суде и победила. Основные выводы суда:
⬖ Человеческой верификации не было. Уже в заседании представитель ответчика признал: научный руководитель вообще не в курсе, как работает Антиплагиат, и компетенции проверять текст на ИИ у нее нет. Представитель также не смог объяснить принципы работы программы, пределы погрешностей и критерии достоверности - короче, ничего. Все просто посмотрели на выводы программы и решили: "И так сойдет!"
⬖ У Антиплагиата нет прозрачной методологии. Отчет системы - вероятностный по своей природе, и в нем самом стоит оговорка: окончательное решение за живым экспертом. А этот "эксперт" немножечко кнопкожим, да и не эксперт вовсе. Вишенка на торте: сравнили отчеты от 7 и 9 июня - одни и те же куски текста в одном помечены как "написал ИИ", а в другом - как "написал человек". И наоборот.
Итоги: вероятностная циферка, которую никто не понимает и не может перепроверить, не может быть единственным и бесспорным доказательством того, что студент жульничает.

Важный нюанс: судя по тексту, представитель вуза давил на то, что определенный процент сгенерированного текста сам по себе является проблемой. Правда, почему это проблема и как ее определять, не рассказал. От себя еще раз отмечу, что в отсутствие цифровых отпечатков в контенте способы определения ИИшницы больше напоминают гадание на кофейной гуще.

Грустная история (благо хоть с хорошим концом) о том, как непроверенные алгоритмы решают судьбу человека.

QWEN 3.5: НОВЫЕ БОЙЦЫ ЛОКАЛЬНОГО ФРОНТА

После выпуска флагманской модели Qwen3.5-397B-A17B вышли младшие модели: 0.8, 2, 4, 9 миллиардов параметров, которых я очень ждал. Я специально не стал делать дежурную новость в духе «смотрите, у Qwen очередной релиз». Сперва хотелось обкатать их в бою, для чего пришлось собрать маленький испытательный полигон и как следует погонять этих искинов. Собственно на что способны эти ребятишки?

Есть две популярные задачи:
Извлечение данных
Представим, что для неких целей вам надо извлекать из текста некую информацию, например название организаций, реквизиты или цену договора. Решать ее классическими средствами и библиотеками обработки естественного языка (NLP) долго и больно. Оставим это лингвистам и математикам.

До этого релиза адекватно вытягивать данные могли только модели от 4 до 8 миллиардов параметров (и выше), а малыши до 4 миллиардов параметров справлялись с этой задачей весьма посредственно. А что сейчас: Qwen3.5 2B весьма бодро извлекает нужные сущности из текста.
Резюмирование (саммаризация) текста
Читать наши любимые душные полотенца судебных актов в поисках крупиц нужной информации любят все, но хорошего помаленьку. По опыту с прошлым поколением Qwen 3, качество резюмирования мелкокалиберных моделей меня категорически не устраивало. Пристойный результат начинался только с тяжеловесов свыше 30 миллиардов параметров (Qwen3 30B-A3B, Qwen3 32B). Теперь же младшая модель Qwen3.5 4B выдает весьма неплохое резюме юридических текстов.
Это не все - они еще и зрячие
Ко всем моделям, включая малышку 0.8B, прикручен модуль компьютерного зрения, то есть они буквально видят изображения. Проверил самолично - модель 2B хоть и с галлюцинациями, но справляется с небольшими объемами текста. Мучать крошку 0.8B подобными задачами идея рискованная, но уверен и она найдет точку приложения.

Как считаю - идеальный текстовый процессор не за горам.

#LLM

Иногда ловлю себя на том, что часто ругаю своих ИИ-помощников, а когда они отступают от инструкций - даже матом. Занятие это глупое и бессмысленное, токены жрет, экологии вредит, короче годится только для выпуска психологического пара. Долго думал как эту ситуацию исправить и решил задать модели инструкцию: Пользователь является "Создателем", я обращаюсь к нему уважительно и только так (Мой Создатель), если я ошибаюсь то не ищу оправдания, а коротко извиняюсь. (удивительно, но многие нейронки предпочитают замалчивать ошибки, совсем уже как люди).

Так вот, когда твой искин отвечает тебе:
Мой Создатель, прощу прощения за ошибки. Я стараюсь быть внимательным.
Злиться на него попросту невозможно.

#лайфхаки #пятничное