Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №160 /llama/
Аноним
22/08/25 Птн 15:57:35
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1326416 (OP)
>>1323697 (OP)
Твой персонаж не сможет сказать нет, если он не умеет разговаривать .
А ещё кстати, хотя некоторые модели имеют сильный байас в сторону юзера, его можно почти полностью элиминировать в рп когда в рп НЕТ юзера - постов содержащих "я, мне, мой, моё (итд)" вне диалогов, а есть просто ряд персонажей.
И конечно при условии что модели не запрещается писать за кого-то из них.
> Ты глухонемая хорни кошкодевочка которая может только мычать
Мне еще нравится наитупейший хинт :
Если прописать в карточке, что персонаж знает все языки мира, то хоть на китайский переходи, не будет этого : и тут персонаж услышал незнакомые слова.
> А ещё кстати, хотя некоторые модели имеют сильный байас в сторону юзера, его можно почти полностью элиминировать в рп когда в рп НЕТ юзера - постов содержащих "я, мне, мой, моё (итд)" вне диалогов, а есть просто ряд персонажей.
К сожалению, это не так. Всегда пишу от третьего лица, не помогает. Возможно, проблема смягчается, но точно не решается "почти полностью".
Видимо зависит от самих промтов и контекста.
А, ну возможно ещё тема в том что я пишу завершёнными сегментами.
Я на этот случай держу армированный скотч.
>>1329164
Меняй плату на плату с бифукацией. Уже есть варианты на AM5 с 4 подключениями к процу (и ещё парочка чипсетных).
Да я про корпус. Бифуркация и так есть, я же вставил три карточки.
> я же вставил три карточки.
Это не говорит что есть бифуркация. На матери в основной пеке 4 псины и 3 нвме
У меня х8/4/4 + х4, но ссюка места нет... Разве что сверху на корпус класть карточку, но это всрато.
>Уже есть варианты на AM5
Списочек известных материнок АМ5 для четырех видимокарт озвучьте пжалста.
Вот тут ищи, смотри с бифукацией и слотами M2, потом гугли раскладку, в общем, дальше сам
https://docs.google.com/spreadsheets/d/1NQHkDEcgDPm34Mns3C93K6SJoBnua-x9O-y_6hv8sPs/edit?gid=2064683589#gid=2064683589
Как пример Asus ProArt X870E-Creator WiFi, зелёными цифрами обозначил процессорные слоты. Там ещё парочка чипсетных, но это уже слишком далеко.
Такая же табличка для АМ4 говорит, что на моей мамке бифуркации нет. Ебало мое представь теперь.
>Дефолтное поведение интула на двух плашках, почитай про новшества DDR5.
Ну вот у меня 2 плашки, пишет dual channel. Что еще спизданешь про новшества DDR5, долбоеб?
Реквести изменения. Я не писал, что табличка истинна в последней инстанции. Но для первичного поиска это лучше, чем искать обзоры для каждой платы по отдельности.
>>1329209
Почитай про двуранги и одноранги и перестань позориться.
И что за парад калек на 5600? Вы блядь ебанутые, или купили память на её выходе?
У тебя версия новее. Тот чел использует старую версию, не факт, что она корректно обрабатывает особенности DDR5.
А испек сырники. Хорошие сырники на твороге. Пиздатые.
Кушаю сижу. Наверное какой ни будь анон сейчас еще чай пьет с французскими булочками.
Намек понятен ?
Булок не, зато чая бадюль на 8 литров. Алсо почти поставил кубы на виртуалку (остался 1 шаг из инструкции), держу в курсе
А какой у тебя промпт? Что ты подразумеваешь под завершенными сегментами?
Интересно, в какой модели тебе удалось победить байас. Потому что в моем понимании это невозможно. Так же фантастично, как победить слоп, например.
Одна планка заводится нормально.
Вторая планка не хочет заводиться ни соло, ни в паре!
Я 45к отдал за то, чтобы у меня одна планка не пахала или чо але.
ДНС.
Вези новый комплект, чтобы завтра утром был!
>А какой у тебя промпт?
сторителлер переписанный под соавтора
>>1329273
>Что ты подразумеваешь под завершенными сегментами?
Ну, то есть модели надо продолжить историю, а не предложение / отвечать на действия юзверя.
Получается надо было 128 рам брать?
У меня так же - инструкция продолжать нарратив, а не реагировать на действия юзера (персоны). Проблема в том, что байас не заключается в особенном отношении к юзеру. Удалив юзера из уравнения, байас модели никак не меняется. Тестировал и на гм промптах, и CYOA (текстовых приключениях), и рп с формулировкой выше. И даже в режиме продолжения истории, без дополнительных инструкций и сущностей. Модели даже в таком случае буду гнуть свою линию. Потому что байас - результат тех данных и особенностей, что вкладывались в ллмку на этапе тренировки.
Как-то из любопытства пытался начало одного и того же сценария скормить разным ллмкам с единственной инструкцией - продолжить историю, учитывая описание карточки. Персонаж - древний вампир, что тысячелетиями кушал людей. Гемма все свела к тому, что персонаж все это время испытывал душевные терзания на этот счёт и не смог скушать очередного бедолагу; Мистраль показывал что персонаж пытался сопротивляться, но не смог, и голод затмил ему разум; Коммандер во всех подробностях описал сцену пожирания крестьянина и безумную улыбку персонажа; Квены/Квк сравнили охотников и ополчение, что охотились на персонажа. Конечно, свайпил много раз, но суть все та же. Это интересно, советую попробовать.
Молодец, но твой высер к этому треду не имеет отношения, так что без намеков сходи-ка нахуй
Попробуй значительно больше файл подкачки поставить если ты на винде, модель распердится после запуска и нормально будет. MMAP не используй. Mlock попробуй попереключать, может запустится.
>Дефолтное поведение интула на двух плашках
Вот только у меня 4 плашки. Я же писал.
>>1329226
>>1329221
Зачем это делать, зачем, какой смысл, господа амдблядки? Он пишет quad channel потому что у меня 4 плашки, у анона две - у него dual channel. Все просто как простая гайка.
> миксовать ддр5 с файлом подкачки
Пиздец. Нахуй я обновлялся тогда
--no-mmap — чтобы НЕ грузилась в оперативу та часть, которая в видео.
УБИРАЕШЬ --mlock, чтобы не держалась вся модель в оперативе железно.
Для винды так.
А у меня одна не завелась плашка, ебать теперь ждать этого днса неделю, пока он на замену привезет. =( Вот тебе и 128, хули.
Не одно, так другое.
Поменьше контекста поставь. И проверь - правильно ли слои раскидал. Если ты все на рам скинул - конечно он не влезет.
А для чего вообще mmap/mlock сделано? Читал, но нихуя не понял в чем плюсы.
Когда оперативе бьется в потолок, винда может выгрузить часть оперативы. Чтобы не выгружалась модель сделана mlock.
no-mmap в винде и линухе работает по-разному, кек, и очень ситуативно. =)
Но в общем, просто поиграйся с параметрами, должно разбиться: часть модели в видяху, остальная часть в оперативу.
Все, что я вижу, когда включаю - это засирание лишней оперативки.
mlock выглядит интересно, я так понимаю это чтоб предотвратить проеб загруженной модели
mmap все еще непонятен
Комплект из двух штук брал или две по одной. Если не комплект-то это норма.
>Как эти дебилы вообще додумались притащить эту хуйню из бдсм
В БДСМ, даже бархатном, никто не занимается постоянным контролем и вопросами. Практика 3х да, это про предварительную договоренность и сигналы. Если ты во время развлекухи будешь отвлекаться на постоянные вопросы, то ты сломаешь атмосферу.
Не, ты должен следить за партнером, базару нет, но важно не разрушать интимную атмосферу саб/дом.
А по самому вопросу - ну напиши ты, что согласие партнера не требуется, или все по умолчанию согласны.
>гемму в третьем кванте
А не лучше ли будет попробовать A3B квен с выгрузкой неактивных слоев на цпу? Я конечно не знаю, что там на третьем кванте геммы, но звучит не очень многообещающе.
Квен же вроде может в русек? Или я ебнулся...
>не лучше ли будет попробовать A3B квен
Честно скажу, пропустил всю движуху с выходом нового квена. Да и других моделей тоже. Даже не знаю что от него ждать. Помню только, что старый квен с русским вообще дружил очень плохо, да и на инглише иероглифы протекали время от времени.
>звучит не очень многообещающе
Вот сейчас как раз и проверять буду. Если будет совсем лоботомит, возьму четвертый квант.
>>1329410
>Нейронка это же по сути математическая зависимость символов.
Ну так цензура теми же зависимостями и закладывается. Не хочешь чтобы модель генерировала вредоносный или чувствительный контент - пихаешь в датасеты кучи рефьюзов в разных вариациях для разных ситуаций. Это если совсем просто объяснять.
>пихаешь в датасеты кучи рефьюзов в разных вариациях для разных ситуаций
рефузы на уровне претрейна ща вроде только у гопоты и ещё какого-то говна, остальные алайнмент закладывают уже на этапе инстракта
>>1329397
>оделитесь сакральным знанием, какая модель лучше всего может в великий и могучий
Мистраль, Гемма, Мое-квен, Руадапт-квен, Янка.
Да, так и есть. Однажды джейлбрейком пробился до этого индуса, посидели с ним, хорошо поговорили..
>Помню только, что старый квен с русским вообще дружил очень плохо, да и на инглише иероглифы протекали время от времени.
Обновленный не протекает, и вообще неплох... но обожает писать стилем китайских новелл. С кучей образов, иносказаний, и поэзии. При этом, для РП слабоват, IMHO - модель явно пытается сбиваться с РП на полноценный рассказ (с рассказчиком и письмом за всех сразу). Чувствуется - не на РП натскивали. Вот просто писать рассказ с ним вместе - это пожалуйста.
Если я скажу что бегемот был не плох, ты же хуй без логов поверишь.
Верно, мне будет сложно поверить что мистралеподелие было хорошо для РП. И параметров почти в 2 раза меньше чем у квена.
Но тут вкусовщина может быть конечно. Кому-то хочется чтобы модель прыгала на него в первом же сообщении с пустым контекстом.
Никакая лол. И квен тоже говно.
Все современные ЛЛМ, даже пафосные корпы - это исключительно текстовые приключения с кучей но. Но никак не РП.
Когда научатся не проебывать даже базовые расчеты урона, тогда и поговорим.
> Кому-то хочется чтобы модель прыгала на него в первом же сообщении с пустым контекстом.
Сразу видно домоседа. Бабы они такие. Рандомная блядина норовит скакнуть на хуец - это правда жизни.
Кажется, ты не понимаешь что такое LLM и зачем они нужны. Урон, хп и прочее - можно легко не проебывать, просто для этого нужно соотв. RAG и/или агентов накрутить, а не вешать это на LLM.
Урон, как матан лишь пример. Я могу накатать целую пасту, почему РП в текущем виде говно. Только боюсь вам это будет неинтересно, да и смысла в этом нет, так как вне ерп вы все прекрасно и сами видите.
Где ггуфы, блядь.
Ты лучше бы пошел и написал хороший промпт с системой дайс-роллов. Поди даже не знаешь, какие модели могут честно выдавать рандомные цифры, ролеплейщик тьфу.
Еще раз, расчеты это просто пример. Дайсы может кидать даже мику в первом кванте.
О, я подобрал, что хочу сказать :
Нейронка делает безжизненную декорацию пустого мира.
> ролеплейщик тьфу.
Можешь не останавливаться, а сразу переходить на прямые оскорбления. Я не хочу ни в чем тебя переубеждать, если тебе норм, ну значит твои потребности нейронки закрывают.
Я тебе выше написал, что LLM принципиально не закрывают и никогда не закроют многие потребности в РП. И не только в РП. И не должны.
Учись прикручивать к ним разные доп. сервисы, практически всё можно реализовать уже сейчас. Для неосиляторов языков программирования есть nocode платформы, на которых можно всё накрутить. Например n8n.
LДа что уж тут, даже в таверне уже можно многое накрутить.
мимошел
Не обращай внимания. Мистраль очень хорошая модель, легко тюнится, многие с неё начинали. Просто некоторые при переходе на другие модели, которые больше, не могут не завалить пиздак и не написать что нибудь обидное про мистральку.
Ведь они открыли неведомую истину, оказывается модели в которых на несколько миллиардов параметров больше - умнее.
Да не, неплохая модель. Просто тут сидят бояре и они уже знают плюс минус его поведение и он кажется слишком податливым и читаемым. Ну это я со своей колокольни. Модели у них неплохие, но надо добиваться разнообразия за счет промптов. Я думаю как вариант можно использовать рандомизацию за счёт бросков кубика и длинных карточек. Также с контекстом она плохо работает, относительно квена. qwq snowdrop мне кажется для рп все также наиболее годным.
>Аноны можете пояснить почему в треде так срут мистраль?
Не обращай внимания. У них хронический понос - срут на все. По другому не могут.
Выше я обосрал тюны мистраля, а не мистраль сам по себе. Мистраль-лардж охуенен, следующий после квена 235. Но он уже староват, достает шаблонными языковыми конструкциями, циклами, и так далее. Требует сильно больше усилий для такого же результата.
Еще, он существовал как бы одновременно с gpt-4, и был уже тогда сильно хуже. Тут, скорее, есть какие-то неоправданные ожидания.
Мистраль брали как базу для тюнов очень многие. И делали хуевые тюны. Любой тюн делает модель тупее в целом, а я лично люблю когда модель в целом более интеллектуальна, даже если хуже заточена под что-то конкретное.
Всего понемногу. Отчасти потому, что многие здесь гоняют куда более серьезные модели, что в десятки раз больше 24b Мистраля. Они, естественно, дают опыт получше. Отчасти потому, что Мистраль слишком, так сказать, "народный" - альтернатив нет в пределах 12b (Гемма 12b, как я понял, не сыскала популярности), да и 24b тоже. Есть немало людей, что могут запустить 24b Мистраль, но не Гемму 27b в приличном кванте и скорости. Такая "народность" имеет обратную сторону медали - приелось. Многие видят мистрализмы (каждой модели без исключений присущи определенные паттерны) и попросту устали от его слога. В-третьих, Мистраль проще всего тюнить, потому большинство рп/кум тюнов сделаны именно на нем, и они крайне сомнительного качества. Мозгов меньше, чем у оригинальной модели, как минимум. Как максимум - персонажи ведут себя неестественно, инструкций модель хуже слушается. Короче, Мистраль... он как Кобольд. Кто понял - тот понял. Простите.
Неужели всех кто хоть немного разбирался в этом деле прикарманили копораты? Или тренировать современные модели просто не имеет смысла из-за того что они все ужаренные и только тупеют, когда пытаешься им немного параметры подкрутить? Только не пиздите, что теперь мы живем в обществе, где локалки из коробки могут в эротические ролевые и прочее. Раньше тюнили даже жирных 70-120B уебанов, которые с этой задачей итак неплохо справлялись.
> Только не пиздите, что теперь мы живем в обществе, где локалки из коробки могут в эротические ролевые и прочее.
Но ведь так и есть. Mistral Small 3.2, GLM, Квены практически без цензуры из коробки, за исключением самой жести. Какие еще доказательства нужны? Больше еще ничего и не выходило из того, что может заинтересовать ролеплейщиков. Справедливости ради, Мистраль 3.2 тюнят. В узких кругах тюнеров кто-то считает, что модель почти на уровне Лламы 70б, и можно сделать хорошо. Работают над этим прямо сейчас. GLM 32 не разгадали как тюнить, MoE модели тюнить сверхдорого и почти никто не знает как.
Также, возможно, попросту время прошло: все наигрались и замерджили-перемерджили все, что можно. Наложилось еще то, что фабрика слопа ReadyArt прикрылась: их фронтмен ушел со сцены из-за проблем со здоровьем. Но Драммер, например, продолжает работу.
> что теслы пошли нахуй
Тут без вариантов
>>1328801 →
> почему оно автоматически не может найти лучший вариант
Запилить оценку потребления на контекст и буферы, и можно допилить скрипт чтобы иметь полное указание что пойдет куда, заодно приоритетно набивая в первую очередь самые мощные видюхи.
>>1328813 →
Оно если ничего не трогать на интеле в авто на 4800-5200 заводится на минимальном напряжении. Что-то не так.
>>1329151
> мычать
Мурчать!
>практически без цензуры из коробки
Отсутствие цензуры не означает, что модель может хорошо в ролплей. Взять тот же малый мистраль - цензуры там нет, но пишет сухо и периодически пытается слиться с темы. Если не учитывать общее понимание контекста, то по сочности и красочности она проиграет какой-нибудь древнючей L3-8B-Stheno, которая да, тупая, но со своей прямой задачей описывать порнуху справляется лучше. Это то что я имел ввиду.
>возможно, попросту время прошло: все наигрались и замерджили-перемерджили все, что можно
Ну не знаю. Тюнинг это будто как раз та тема, которая всегда будет оставаться актуальной. Странно как раз то, что старички ветераны ушли, а их места никто не занял. Хотя инфы и гайдов стало больше по сравнению с теми временами, когда все тюнили вслепую.
>Но Драммер, например, продолжает работу.
Бобры вообще народ удивительный. За время своих экспериментов наверное под сотни две разных моделей выкатили, из которых удачной было штуки две максимум, не считая итерации цидонии, которые то тупели, то возвращались обратно в норму от версии к версии.
Большой жлм составляет конкуренцию, квенкодер может разыграть лучше (или сфейлить), возможно новый дипсик.
>>1329476
Да норм модель, популярная, мемная. Вот когда носились с васяншизомерджами на основе еще прошлой версии и утверждали что они - манна небесная, вот это был пиздец. Забавно насколько быстро с них спрыгнули на ванильный новый и эйр.
>>1329479
> легко тюнится
Терпит надругательства дольше сохраняя работоспособность, на эту тему было несколько гипотез в том числе с распределениями значений параметров. Хороших тюнов его едва ли существуют.
>>1329554
> что тюнов в последнее время вообще практически никаких не выходит
Их в последний год оче мало. Из более менее настоящих синтия только вспоминается, может еще пара найдется. Остальное - васяновские запекания лор или всратомерджи, с которыми очень тяжело чем-то заниматься если ты не всеядный поех.
> тренировать современные модели просто не имеет смысла из-за того что они все ужаренные и только тупеют
Не совсем. Сейчас модели, которые выпускаются, имеют оче большую "плотность упаковки" и уже шлифованы всяким пост-тренингом. Орочий подход с простой прожаркой слоповым датасетом с поломанной разметкой на них уже не работает, нужен объем, разнообразие, аугментация и само по себе качество датасета. Он и раньше то неоче работал, а тут просто сразу себя являет.
> локалки из коробки могут в эротические ролевые и прочее
Да, именно так и выходит.
> Отсутствие цензуры не означает, что модель может хорошо в ролплей.
Согласен. Но считаю, что все упомянутые модели очень неплохо могут в ролеплей. К тому же, ты сам здесь обсуждаешь количество тюнов, и большинство тюнов именно что "убирают цензуру" - так и указано у них в карточке. А потом один тюн, что это делает, мерджат с другим, с третьим, и пошло-поехало. Адекватных тюнов, которые именно что улучшали ролеплей способности модели, всегда было мало. В основном одни ДАРК ГЕММА БЛЭК МАРКЕТ ЕДИШЕН х ГЕММА АНСЕНСОРЕД миксы, которые будут замерджены с другими мерджами.
> Ну не знаю. Тюнинг это будто как раз та тема, которая всегда будет оставаться актуальной.
Уже как полгода не использую тюны, потому что базовые инструкты лучше следуют инструкциям, неплохо пишут, и у них отсутствует цензура в моих сценариях. Не понимаю, зачем использовать тюны. Если их незачем использовать - незачем и делать. Это не дрова в топку "ряяя васянотюны фу", а такое вот у меня мнение.
> За время своих экспериментов наверное под сотни две разных моделей выкатили, из которых удачной было штуки две максимум
Соглашусь. И считаю, что все, что дальше Кидонии 1.3 и первой 24б, только хуже.
1. Лажу по морде и дискорде таверны - тюны выходят. Но без особого шума.
2. Для MN 24B один из самых известных тюнеров, львиная доля которых сюда и протекала, взял в прошлом месяце самоотвод. Потом немного вернулся, но на прошлой неделе объявил, что таки завязал и на долго. А это от него вот эти все Omega-directive, Broken-Tutu и прочее скандально известное. Другие столько не релизили. Вообще - релизеров тюнов которые столько как он релизят - банально нету. Это он один видимость такой движухи создавал. :) Обычный релизер, хорошо, если тюн в месяц выпустит. А этот просто как из пулемета строчил.
3. Для 12B - там считают, что из него уже выжали практически все, остановившись на MN-12B-Mag-Mell. Теперь, в основном, пробуют только что-то специфичное. Вот, недавно Musa вышла - спецом под адвентюры, от latitude (Ai Dungeon которые).
4. Под больше чем 24B - нужен или солидный риг, или свободные баксы в кармане на аренду GPU. И уже не центы. Так что много их в ближайшее время не ждите. Раньше - эти 70-120B пищали на 4-8K контекста, и это было еще туда-сюда. Сейчас адекватно затюнить модель с хотя бы 32K - это уже совсем другая заявочка, как по умению, так и по затратам. Ну несколько сказывается, что новые модели действительно "из коробки" несколько поумнели. Значит наверняка кому-то из тех, кто в принципе мог бы - тоже лень возится стало. Т.к. во первых соотношение затрат к результату, а во вторых - уже не первый раз, и не так интересно.
>мистралеподелие
>параметров почти в 2 раза меньше
Вся суть квеношизиков. Сначала геммашизики десятки тредов ПОТУЖНО убеждали, что на ванильной модели кум льется рекой, теперь квеношизы с такими же потугами будут убеждать, что квен это серебряная пуля для хай-энд локал РП, игнорируя все проблемы и даже искажая технические вещи.
Никто не писал никогда про серебряную пулю для хэй-энд локал РП, ни про Гемму, ни про Квен. Ты ее выдумал.
>Орочий подход с простой прожаркой слоповым датасетом с поломанной разметкой на них уже не работает
Да судя по тому, что продолжает выходить, всё таки еще работает. По крайней мере на мистралях, ибо их так сильно не шлифуют. Слава Мистралю, единственной евроконторе, которую язык не повернется назвать пидорасами.
>>1329594
>большинство тюнов именно что "убирают цензуру" - так и указано у них в карточке.
Вроде никто так никогда и не указывал. На старых моделях проблем с цензурой не было, были проблемы именно с самим форматом ролплея. Докруты выходили чтобы зареинфорсить определенные паттерны в ответах. Попытки тупо снять цензуру и скрутить байас в обратную сторону вроде как пошли с выходом первых фи и геммы.
>>1329597
>Вот, недавно Musa вышла - спецом под адвентюры, от latitude
Муса вроде под дефолт ролплей запилили, под текстовые адвенчуры у них другая модель выходила. В любом случае, надо тоже глянуть.
>Сначала геммашизики десятки тредов ПОТУЖНО убеждали, что на ванильной модели кум льется рекой
Так и есть, я до сих пор утверждаю. Всё зависит от промпта, Гемма отлично слушается, ризонинг тоже раскочегаривается промптом. Можете звать геммашизиком. Даже страшно представить насколько умная модель была бы еслиб её так не задрочили сейфти биасом и соей.
>Seed-OSS-36B-Instruct
>Где ггуфы, блядь.
https://huggingface.co/yarikdevcom/Seed-OSS-36B-Instruct-GGUF
От Васяна какого-то, но если очень хочется поскорее, то можешь скачать, потом расскажешь.
Это лардж, он в особой лиге. Так сказать, он может то, для чего с квеном нужно будет попотеть или не получится, но с выстраиванием такого подробного и длинного рп как умеет квен он не справляется.
>>1329594
> большинство тюнов именно что "убирают цензуру"
В большей части просто задрочили типичные паттерны на ерп и всякое. В итоге оно или очень сильно к ним склоняется, или вполне может зааположийзить на чем-то безобидном. Васяны даже не пытаются привнести конкретное поведение на контрастном обучении, а просто вжаривают треш, дпо для них - модная приставка в названии и датасет, который примешивается и шафлится.
Иногда еще некоторые довольно интересные и специфичные, с потенциалом, но оче сырые.
> В основном одни ДАРК ГЕММА БЛЭК МАРКЕТ ЕДИШЕН
Содомит, но все так.
>>1329600
Выглядит как демейдж контроль от воинствующего мистралевода.
>>1329625
> судя по тому, что продолжает выходить
Да чето там как в "иа панорама" только по тематике васянтюнов ллм, дно за дном, кринж за кринжом. Вообще не понимаю кто ца этого добра, вероятно неофиты, странные люди и неосиляторы, которым нужна модель со стабильным аутпутом что бы ты не делал, а то что оно стабильно-хуевое не смущает.
>не понимаю кто ца этого добра
Те кто тусуется на реддите, очевидно. Там каждый такой васянотюн со всех сторон облизывают, прежде чем забыть его спустя минут двадцать. Та самая картинка про "hi! mmmh user! cums instantly" их саб идеально описывает
Потому что надо прописывать такую мотивацию которую поймет ллмка. Ллмке сложно придумывать мотивации преступлениям. Потому что у нее преступления закупорены баясом, они просто болтаются в воздухе не с чем не связанные. Вот она и топчется на месте. Попробуй геммасутру, там у меня джек рипер такие кровавые преступления совершал что я удивился.
Давайте закроем вопрос на том, что на самом деле похуй.
"Кококо контроллер памяти на амуде говно!!111!!", "Кококо контроллер памяти на интуле запустит планки с частотой 8000!11!!1!"
Да похуй совершенно, хоть DDR5 5600, хоть DDR5 8000 результат будет примерно один - пара-тройка токенов в секунду.
Вот для примера восьмиканальный контроллер оперативы эпика, который выдаёт скорости ультранадроченной DDR5 на интеле и с ним буквально эта самая пара токенов в секунду на Kimi-K2 и DeepSeek V 3.1
Нет смысла дрочить эти копейки перфоманса, быстро будет только в видеопамяти.
Комплект из двух штук. SN подряд идут.
>>1329476
Ни разу не видел за последний месяц, чтобы срали мистраль. Может я просто хуйню скипаю.
0. Мистраль 7б-0.1 была хороша два года назад. =)
1. Мистраль Немо правда хороша для своего возраста и размера, и тюны хороши.
2. Мистраль Лардж правда умна и чувствуется глубоко, но медленна уже и не нужна.
3. Мистраль-Смолл-3.2 версия тоже хороша.
А вот остальные мистрали — говно, конечно. У них время от времени получается.
Но смоллка сейчас местами актуальна (хотя кто-то скажет, что гемма лучше).
>>1329728
> Давайте закроем вопрос на том, что на самом деле похуй.
Давайте скажем честно: АМДщник из треда заявил о 2 токенах на квене, Интульщик из треда заявил о 10 токенах на квене, при одинаковой памяти-из-коробки у обоих.
Хуй с ним, что АМДшник делает что-то не так.
Но у интульщика все еще на ддр5 вдвое больше, чем на ддр4, а от амдшников такой инфы не было.
Есть мнение, что контроллер памяти на амуде сам кококо, а не комментаторы.
С удовольствием посмотрю обратное, когда владелец хотя бы 9600 камня покажет хотя бы 8 токенов на квене (q3_K_XL как водится).
А эпик и эпик, поздравляю, что у тебя 140, хорошо же.
Запусти квен и скажи нам сколько у тебя.
>Интульщик из треда заявил о 10 токенах на квен
Я тоже могу заявить хоть о десяти, хоть о двадцати токенах на квене и хуле?
> qwen235
> картинка
Что?
>>1329728
12 каналов ддр5 с тобою не согласны. Лучше бы погонял разные варианты параметров запуска и показал какую скорость способен выдавать рим с 1 или более видюхами в современной парадигме, если офк это крин твой а не с интернета спиздил.
Алсо 124нс задержки и такой медленный л3 это прямо борщ.
Ну так заяви, чо. =D
Будем честны, пруфов тут никто предоставить не может, даже скрины можно нарисовать.
Конечно, лучше со скринами, чем без.
Но меня смущает сам факт, что амдшники даже не заикались о такой скорости. Хотя «тоже могли заявить», ага.
Короче, как в фильме «меня терзают смутные сомнения…»
> Что?
Ну, на их сайте это есть, подозреваю там трудится старенький 2.5вл какой-нибудь 7б к тому же. х)
>Но меня смущает сам факт, что амдшники даже не заикались о такой скорости
Чел, найти аутистов кто крутит LLM на проце это надо постараться. Тут банально нет никакой выборки чтобы делать хоть какие-то выводы.
В районе 400-500к, 3090 сверху в пределах погрешности. Интел чуть дешевле и чуть медленнее.
Конфиг - современные платформы сп5 и 4667
Ясно, ну это неподъёмно.
>>1329816
>…ну или 100к, но получится не то чтобы быстро, чисто объем. =)
Это как? Например? С 0.1 т/с?
Я свой эпик с 512 гигабайтами DDR4 собрал меньше чем за сотню.
Можешь взять вот этот хуанан, он поддерживает эпики 2\3 поколения. Цена плавает в зависимости от курса, минимально видел за 25к, но на данный момент 30к
www.wildberries.ru/catalog/393780683/detail.aspx?size=570240940
За 12к самый дешевый из полноценных восьмиканальных эпиков:
www.wildberries.ru/catalog/334830311/detail.aspx?size=500403183
И на остальные деньги закупить восемь модулей DDR4 по 64 гигабайта.
В целом, в сотню уложишься. Но пяти токенов в секунду не жди, дипсик у меня на таком конфиге выдаёт от трёх токенов, чем больше контекст тем медленнее. В целом юзабельно и это единственный способ запускать очень жирные сетки локально.
90 страниц книги, картинок почти нет.
Можно, разумеется, так и переводить, вручную все править, но я не хочу.
>Казалось бы, несложная
Ну мало ли, что там дилетанту показалось...
>Очистил сканы, привел в порядок, провел ocr
Верю, а примеры будут?
Дальше какое-то нытьё престарелое. Какой у тебя лвл, анон? 60+?
https://huggingface.co/CohereLabs/command-a-reasoning-08-2025
Мех... Лучше бы тоже моешку сделали или новую 32-50б версию
>(Гемма 12b, как я понял, не сыскала популярности)
Она непригодна для рп, а юзать как ассистента 12b модель это такое себе, при том что даже гопота может нести полную хуйню с умным видом, а там серверная с мою квартиру.
>Неужели всех кто хоть немного разбирался в этом деле прикарманили копораты?
Лол нахуя им васяны, которые вжаривают в модели порнуху?
>>1329569
>на интеле
Радевонь во встройках тебя не смущает?
>>1329797
>Но меня смущает сам факт, что амдшники даже не заикались о такой скорости.
Амудешники богатые бояре, у них у каждого по ригу есть.
>>1329833
Квен 235...
>>1329877
>You need to agree to share your contact
Как называется этот рак?
Что квен?
Квен туповат во 2 кванте, пишет будто на 30% от силы
О, аАможешьпоподробнее? Конкретные модели ОЗУ, проца, БП. Смотрю на озоне всё хуанан дороже почему-то, брать только на вб? А али? Больше 3 т/с не выжать? Какой дипсик юзал? DeepSeek-R1-Q4_K_M.gguf?
>Конкретные модели ОЗУ
Вообще значения не имееет, берёшь любые регистровые 2900\3200 и забиваешь хер. Можешь даже 2666 взять если будут сильно дешевле, потому что глобальной разницы ты не увидишь.
>проца
У меня именно тот, который я кинул выше, он самый недорогой из тех которые с полноценным восьмиканалом. Это второе поколение эпиков, третье на том хуанане тоже работает, но они пока сильно дороже.
>БП
У меня майнерский двухкиловаттник купленый за копейки, но вообще если ты туда какую-то жрущую видеокарту втыкать не планируешь, то хватит любого бп с честными 500W.
>Смотрю на озоне всё хуанан дороже почему-то, брать только на вб?
Я брал на WB, но тут уж где дешевле найдёшь, там и бери.
>Больше 3 т/с не выжать?
Теоретически с на линуксе с k-tranformers можно выжать сильно больше, но для этого понадобится видеокарта нвидии с 16 гигабайтами видеопамяти. Чисто на проце больше ты вряд ли получишь.
>Какой дипсик юзал?
DeepSeek-V3-0324 Q5_K_M, сейчас пробую их свежий DeepSeek-V3.1-Base-Q4_K_M