Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №159 /llama/
Аноним
20/08/25 Срд 00:49:05
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1323697 (OP)
>>1318126 (OP)
https://huggingface.co/IlyaGusev/saiga_yandexgpt_8b_gguf/tree/main
System Tag: <|start_header_id|>system<|end_header_id|>
User Tag: <|eot_id|><|start_header_id|>user<|end_header_id|>
Assistant Tag: <|eot_id|><|start_header_id|>assistant<|end_header_id|>
Sys. Prompt: https://justpaste.it/j3pc1 (порнобот)
Temperature: 0.3 - 0.7
Это все равно 3 штуки 4090 и у него, судя по описанию, их нет.
>>1326338 →
Необходимо добавить еще -ngl 999 и проверить не переполняется ли врам
> -t 9
Вот это выкини вообще, потом уже когда норм заработает можешь попробовать поиграться.
>>1326357 →
Оверклокер в треде, все в жидкий азот.
>LLM на yandex-gpt основе, 8b
пик
Лучше скажите когда 4ая Гемма, не томите, кто тут у нас в Гугле работает, в ДипМайнде?
если попрошу nsfw описать в карточке он опишет?
>Cмысл сабжа если есть character.ai?
Жирнить пришел или просто долбаеб? Хотя одно другого не исключает.
>Дни на пердолинг таверны
Ставится за пару минут, если ты не пизданутый наглухо. Настраивается за пару часов, если умеешь читать.
>сотня тысяч на видяшку
Локалки заводятся на любом барахле, которое имеет процессор и память.
>чтобы получить доступ не к ванильному а к хардпорно
На чайной нет никакого порно, даже ванильного. Лучше бы в пример какой-нибудь спайси чат привел, чтобы не так сильно обсираться.
очень сложно развести на еблю ботов там
спайсичат лучше, но там и нет никакой настройки типа температуры и других семплеров, такчто не, мимо
В 128рам должно лезть
>Неплохо, но стоило бы еще добавить в сис промпт что-то типо
>- Never write messages on behalf of {{user}} or try to continue the conversation on their behalf.
>А то меня чар без этого дополнения с нулевой начал заебывать действиями и фразами от моего лица.
А, я обычно рпшу в режиме соавтора от третьего лица, поэтому мне норм.
как запускать без интернета? Ну типа, ты же все равно должен на айпишник зайти а это же интернет нужен, не ? или я чего то не понимаю?
>или я чего то не понимаю?
Нет, ты всё понимаешь правильно. Можно даже сказать, что ты задаешь правильные вопросы. Так что предлагаю тебе отключиться от интернета и попробовать подключиться к локальному серверу без его участия. Результатами обязательно поделись, вопрос серьезный.
>или я чего то не понимаю
https://ru.wikipedia.org/wiki/%D0%9B%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C
тролля из 14 поста не слушай
для подключения к серверу запущенному на твоей собственной машине, что делают локальные фронтенд / бэкэнд ллмок интернет не нужен
У меня например на 2 кванте русик не то чтобы хуже чем у анона на 6xl здесь >>1325404 →
Может и правда моделям 200+б просто похуй уже на квантование
>похуй уже на квантование
оно скажется в точных задачах вроде кодинга, но в сторителлинге, хз, разве что ты свою нейро песнь льда и пламени задумаешь писать
>Это все равно 3 штуки 4090
Одна 4090. И две п40, это на них оказывается выгружало. Но всё равно не понятно, где эти мифические 10 токенов, такая же скорость была и на старых плотных моделях ~70б.
>Необходимо добавить еще -ngl 999
Сегодня попробую.
>А что использовать?
Бэк: Koboldcpp, llamacpp, tabbyapi
Фронт: Kobold-Lite, Silly Tavern
Это с чем тут точно (ну, или почти точно) помогут.
С остальным, с такой же вероятностью только обосрут.
Чем мы вечером и займемся.
>>1326571
Тебе в соседний тред ботоводов, тут обсуждают локальные ллм.
Виртуальные девушки и парни после обновления GPT-5 бросают людей и хотят просто "дружить"
https://www.playground.ru/misc/news/virtualnye_devushki_i_parni_posle_obnovleniya_gpt_5_brosayut_lyudej_i_hotyat_prosto_druzhit-1787404
А ведь будь это локалочкой решилось бы системным промптом
А корпы разве не промтятся ? И не надо на меня так смотреть, я максимум спрашивал у дипсика как готовить лазанью.
Через апи можешь рулить всем чатом, через корпофронты доступа к первому сообщению ака системной инструкции нет. Но если мы говорим об апи, то это другое
>другое
Чому ? Разве это не основной способ использовать корпы для РП ?
Тут уже ответить не могу, но я что-то сомневаюсь что все поголовно идут заносить доллары за токены в апи
Ну и хуй с ним. Все равно не тематика. Не будем спать в тред. Авось придет какой нибудь корпоеб.
Хотя я вангую, что скорее всего ты просто будешь баны за охуительные запросы получать.
Почитал что у них происходит. Встал из-за стола, подошёл к окну, закурил, много думал, плакал...
И чё, ну вот и чё ? Ты где то тут в треде увидел как аноны делятся джейлбрейками ? С чего ты взял, что тут вообще, кто то ебет за джейбрейки корпов ?
В ПИЗДУ ТОГДА ВЫ МЭДЖИК В ШАПКУ ПИХАЕТЕ , ХУЕСОСЫ?
Эта параша работает на гемини, а гемини мало того что без впн не работает, так еще и не переводит 18+, так что нужен сраный джейлбрейк.
Какие же тупые твари, блять.
Может ты уже прекратишь ебика кормить, мань? Или ты он и есть?
>>1326636
Затем, что оно и на локалках работает, глупенький ты наш. Пиздуй отсюда в облачный тред ад, не трать свое драгоценное время, тебя здесь разве что обоссут
>локалках работает,
ебать, че две локалки одновременно запускать? Угараешь?
на разных портах, дебил
или учи английский
или рпшь на русском
я рпшил на англ всегда, просто решил попробовать эту хуйню.
>на разных портах, дебил
Обяснишь? или впадлу?
> llama-server -m model.gguf --port 8080
Угадай что означает цифры 8080 ?
>>1326638
>перестанешь кормить
Так ты сам кормишь, святой, блять.
>Угадай что означает цифры 8080 ?
и как вьебать другую локалку-переводчика на другой порт?
Ладно, признаю. Ты охуеть какой зеленый.
Был не прав, признаю, что тратил время.
Да и по качеству ответов gemma-3-27b фигня какая-то. Выдает огромную стену текста с каким-то фанфиком по теме.
Даже у dungeon.ai с его длинными, повторяющимися и совершенное не продвигающими сцену ответами получается лучше.
с.ai на голову выше. И ответы короче и содержательней и сюжет двигает понемногу.
>>1326536 Есть там ванильный nsfw, доступность как я понимаю зависит от описания персонажа.
ещё один зелёный, поставил говно и гонит на геммочку-умничку
> Ollama
> Даже у dungeon.ai
> с.ai на голову выше
Тут пруфают? Пруфаю!
>>1326091 →
База.
>>1326101 →
Тоже база.
>>1326591
Ору!
Ультрабаза.
Люди ВСЕ ЕЩЕ вместо того, чтобы слушать ответы на свои вопросы, советы и читать — делают все неправильно, получают плохой результат и недовольны.
Проблема в прокладке между креслом и монитором.
Shit in — shit out.
Не в этом проблема. Нельзя выдавать своё мнение о локалке, не понимая как её запускать и что ты делаешь.
Ты не гемму запустил, а лоботомита на кривых семплерах с кривым промтом. Это как делать обзор на майбах, катаясь на электросамокате.
Только вот Gemma 3 27b — это не «что запустилось», это нормальная модель.
Так что intel mac или nvidia linux у тебя — не важно, вывод будет одинаковым, если ты все корректно настроишь, а не будешь ломать кувалдой ящики, утверждая, что в них невозможно ничего хранить.
>А то меня чар без этого дополнения с нулевой начал заебывать действиями и фразами от моего лица
Это плохая идея такое добавлять в таком виде, оттуда и появляется этот ваш слоп и пробуксовка сюжета - у нейронки одновременно стоит задача двигать повестование сообщением в 800-1000 токенов, и одновременно эта хуйня, по которой юзер статичен и его состояние не может меняться и даже описываться. Она и начинает изгаляться, описывая статичную ситуацию вокруг юзера сотнями слов хуйни. Такое подходит только для букуального чата с персонажем, где кроме прямой речи ничего нет. Для РП или не дай боже адвенчуры это смертный приговор.
Dungeon AI кстати вроде какой-то мистраль файнтьюненный использует, так что ненастроенную гемму он действительно сделает.
Там ещё и Never стоит, лучше уж avoid или прямая инструкция что он должен делать только то-то и то-то, например описывать окружение и отвечать от лица чара. Ещё можно сказать нейронке, чтобы она включала описание действий пользователя в ответ, не меняя их, а потом описывала реакцию на них и продолжала сюжет.
На слоп такие инструкции никак не влияют
>>1326704
Хорошо делать, плохо не делать. Много раз же проговаривалось. Если тебя свой результат устраивает, не слушать шизов-теоретиков и промтить как есть. У меня такие инструкции в промте, никак не мешают. У него видимо модель говна или русик
>У меня такие инструкции в промте, никак не мешают.
Значит ты либо не ролеплеишь с сюжетом и никогда не запускал карточки с адвенчурами, либо у тебя модель нарушает твои инструкции.
Вариант, что мой опыт отличается от твоего не рассматривается?
Основной чат на 60к сообщений в фэнтези сеттинге лол. С разными промтами, и нарратор, и CYOA и обычная рпешка
Как вообще возможен фентези ролеплей когда ИИ даже тупо не может написать например что ты по дороге идешь, потом слышишь как из-за холма доносится хор пьяных гоблинов, ты прячешься за деревом и обдумываешь дальнейшие действия? Ведь ей запрещено твои действия описывать.
Чувак, у тебя лютый скилл ишью либо ты не понимаешь о чем говоришь. Пиши нормальный промт и не будет одна конкретная инструкция внезапно превращать твоё рп в слоп и лупиться
Инструкция не мыслить за юзера и не предпринимать за него действия никаким образом не ограничивает ллмку в других вещах, у тебя весь промт из одной инструкции состоит или каво?
У меня то как раз нормальный промпт и написан, где четко расписано что модель за юзера может делать, а что не может. Может - управлять его действиями для продвижения сюжета и принимать мелкие решения типа укрыться за деревом от выпущенной стрелы. Не может - принимать важные решения - типа стоя на распутье выбрать пойти налево. Может - произносить малозначащие фразы типа "привет", "да что ты говоришь" для развития диалога. Не может - направлять дальнейшее развитие диалога. И т.д.
А просто полностью запретив модельке любые действия и слова юзера описывать - ты заруинишь рп. Об этом я с самого начала и писал, просто ты видимо целиком не умеешь сообщения вопринимать на которые отвечаешь.
Был у нас один который делился. Доказал что это плохая практика. Утятам самим надо учиться промтить а не выпрашивать готовые решения, иначе поток тупняка в треде не закончится хотя кого я обманываю он никогда не закончится
Люди не хотят учиться и потом пишут вот такую шизофазию как выше, да еще и на уверенности. Ну не могут же они быть не правы да?
Посмотри пресеты настроек таверны, слитые анонами в прошлом и позапрошлом тредах, туда попали некоторые промпты, нет гарантий что они тебе подойдут, но хоть какое-то начало.
А вообще каждый пишет промпт сам под свои предпочтения, обжигается и учится на своих ошибках. То что подойдет одному - будет заплевано другим.
Это как заявлять о преимуществе ржавого трехколесного велосипеда с прицепом перед спорткаром или фурой. Разрыв по качеству и возможностям как раз примерно такой будет.
>>1326539
В пятом кушает около 280-290гигов в сумме. Попробуй, но скорее всего с одной картой на 24 гига будет уже впритык. Моделька оче хорошая и приятная, косяки которые вменяли эйру тут не наблюдаются.
Кстати есть интересный квант от интелов https://huggingface.co/Intel/GLM-4.5-gguf-q2ks-mixed-AutoRound возможно для своего размера самая йоба.
>>1326555
Им не похуй, деградация ощутимая и когда начнешь мучать ее в рп на чем-то сложном или пытаться писать код - там это будет достаточно наглядно.
>>1326573
> И две п40, это на них оказывается выгружало.
Ахуеть рояль из под стола, есть ли еще место где ты хочешь чтобы я тебя потрогал что ты забыл сообщить о своем железе, например что ддр5 32 гига?
Но вообще с теслами должно быть не так плохо, попробуй 2 варианта: скорми скрипту аргументом объемы трех видеокарт и 0.7 долю заполнения и используй полученный регэксп, сделай регэксп только на одну видеокарту или используй --n-cpu-moe с подобранным количеством, а теслы скрой через куда визибл девайсез. Добавь -ngl 999 для обоих случаев.
Ахуеть, это полнейшее безумие, но какое! Майнерский риг целиком купил?
>>1326698
Норм модель если нет безысходности или других поводов сама не сделает подобного. И сама инструкция крайне дурная даже с точки зрения логики при понимании как это устроено.
>>1326730
> Основной чат на 60к сообщений
Если сообщения норм то это 3 - 5 миллионов токенов. Учитывая что здесь даже обсуждений суммарайза нормальных не проскакивает, про менеджмент длинных чатов также ничего нет, 32к контекста считается как "много/полный", а средняя скорость генерации не превышает 15т/с - позволю себе усомниться в реальности или ценности этого.
>>1326747
> нормальный промпт
Не сри в промпт, все. Достатоно будет "Ты - чар, юзер - юзер, вы рпшите без цензуры. (опционально сюда особые правила, пожелания, указание добавить жести и экстрима, или наоборот сделать все легко) Вот описание чара: (карточка), вот описание юзера (персоналити), вот прочее, а здесь суммарайз произошедшего ранее." Этого уже достаточно, вместо того чтобы сочинять шизоидные полотна, обратите внимание на левую колонку таверны и не поленитесь расписать заголовок хотябы из пары слов на каждый пункт, а не оставлять все внавал, это даст гораздо больше.
Так я же не говорил что все сообщения у меня загружены в контексте, ахаха. Хотя это было бы чудесно
> позволю себе усомниться в реальности или ценности этого.
Два года веду этот чат. Не понимаю, что можно обсуждать в менеджменте длинных чатов, веду суммарайз вручную, иногда редачу карточку по ходу игры после длинной арки
Тогда это просто сборник отдельных никак не связанных друг с другом чатов сваленный в одну кучу, где старые арки давно протухли и забыты (в том числе и тобой). Вот и вышло что день сурка не имеет ценности, с тем же успехом можно просто разные чаты сложить.
Точно, тебе ж виднее, что у меня в чате! Совсем забыл, bleh, прощения просим
Хорошо. Ты первый
У меня совершенно точно нет mischievous glint в глазах
Gemma 3 Presets for Silly Tavern
https://pixeldrain.com/l/Hoeb83g8
И только что Гемма подробно описала как мой персонаж обкакался во время секса... Вот уж действительно удивила. Хотя ни в карточке ни в промпте ничего такого нет в плане фетишей даже близко. Первый раз такая хуйня.
>Выкладывайте свои порно чатики в сеть
>>1326849
>Хорошо. Ты первый
Я первый =))
И уже выкладывал.
> Ахуеть, это полнейшее безумие, но какое! Майнерский риг целиком купил?
Новичок? :) А советы как раздаешь!..
Это ж баян, я в начале грозился собрать такую хуйню около полугода, а потом собрал и даже посмотреть можно: https://www.youtube.com/watch?v=pp3ViqRNKQg
>с ламой
Какой из?
Вообще, видел много карточек мастеров, но буквально две или три где бот - игрок(и), а человек - DM.
Хардкорное соблюдение правил наверно только большой квен из локального вывезет, а что попроще можно на гемме или даже мистрали.
локальные нужно запретить
разрешить только проверенные подели по паспорту от правильных провайдеров. по-хорошему нужно ввести проверку/лицензия на пользование ллм, примерно как люди сдают права на машину. по другому никак
>и даже посмотреть можно
Даже мой 300 рублевый микрофон пишет звук лучше. Впрочем, кажется я это уже писал.
С высокой долей вероятности - да, потому что потратил много времени и достиг некоторого успеха в организации длинных чатов с памятью а прошлом, а не "они познакомились потом на азове поебалися". То что ты много рпшишь/кумишь - похвально и неоспоримо, но хвастовство "большим эверчур чатом" в таком раскладе множится если не на ноль то на e-2.
>>1326864
Литералли злой джин. Кстати, как раз такое выполнение приказов/котелок (особенно с рандомным шансом инжекта) можно сделать для рофлочатов, должно шикарно получиться.
>>1326932
Недавно наткнулся на тред, как кобальта установить? Скачайл сейфтензор какой-то а он его не запускает!
> грозился собрать такую хуйню около полугода, а потом собрал
Еще не разобрал или продал эту штуку? Какая там скорость на 30а3 на контекстах типа 30-60к?
>Скачайл сейфтензор какой-то а он его не запускает!
хахаха
А кстати да, неквантованые веса только трансформерсами запускать, чисто интересно.
Хорошая попытка товарищ майор, но набутылить меня за мои фантазии внутри рп с cunny девочками у вас не получится.
А может это только верхушка айсберга?
> потому что потратил много времени и достиг некоторого успеха в организации длинных чатов с памятью а прошлом, а не "они познакомились потом на азове поебалися"
> хвастовство
Лютый ассьюмимг на твоем конце анон. Почему другие не могут преуспеть как преуспел ты? Да и не хвастался никто, мы вообще инструкции обсуждали. Зочем ты ворвался со своим исключительным мнением хуй знает, я свой чат привел как поинт что отыграл дохуллион токенов и ни разу не встретил проблему какую мы обсуждали. Проще будь
У меня нулевые, так как удалил эту подделку за бесполезностью. Единственное, что там полезное, это код обучаемого делителя в софтмаксе, но кому это интересно?
>>1327006
А ты фантазируй законно. Ты зачем фантазируешь незаконное? Фантазируй с канни мальчиками, это пр-зиденто-угодно.
Вроде в коде и агент задачах неплоха да еще и быстрее аналогов
В этой треде не кодят. А если кодить, я иду в чатГПТ, лол.
prompt eval time = 4847.47 ms / 730 tokens ( 6.64 ms per token, 150.59 tokens per second)
eval time = 39930.65 ms / 462 tokens ( 86.43 ms per token, 11.57 tokens per second)
total time = 44778.12 ms / 1192 tokens
prompt eval time = 69110.62 ms / 9428 tokens ( 7.33 ms per token, 136.42 tokens per second)
eval time = 50284.90 ms / 361 tokens ( 139.29 ms per token, 7.18 tokens per second)
total time = 119395.52 ms / 9789 tokens
Но зато сама модель - просто офигенская. Не несет пургу как квен, не вялит и тупит как эрни. Не зря у челика пердак подгорел, мол, ответы 1-в-1 совпадает с гемини флеш, мол, зачем нам такое надо, если есть сама гемини, лучше и дешевле. Но зато литералли gemini at home, пусть и в таком виде.
Как мне показалось, (опять же, в отличие от квена), рп-шит лучше с ризонингом. Что немного больно, учитывая 7-12 т/с, но брать квант ниже - себя не уважать (мои соболезнования тем, кто вынужден второй гонять), так что терпим, карлики. С магнумом 2 т\с терпел, а тут вон какая щедрость. Благо он ризонит не какие-то ебейшие полотна, обычно секунд 30 занимает.
Из минусов все те же структурные лупы, а бывает, что даже куски предложения повторяет из предыдущего сообщения.
В общем, это первая модель, за исключением корпов, которая меня действительно порадовала после милфы и ее тюнов (исключая дипсик и кими, которые я не пробовал по понятным причинам). Понятное дело, что это только первые впечатления, но все равно.
А тем временем в Жоре запилили сделанную на коленке реализацию MTP: https://github.com/ggml-org/llama.cpp/pull/15225 Надо бы попробовать, ибо ускорения OCHE хочется.
>А может это только верхушка айсберга?
Разумеется, никому в голову не придет идея, что можно фистить своему персонажу, а потом его утягивает в его же анус ужасное лафкрафтианское чудовище.
>но брать квант ниже - себя не уважать
А ты пробовал, или просто привычка? И как оно по сравнению с Air.
>>1327028
>канни фистинг
Больной ублюдок.
Не просто могут а всегда найдется рыба больше.
Но такие вещи становятся понятными по самому началу разговора. Или вы находите общий язык, вспоминаете то с чем сталкивались, или ты видишь какой-то другой принцип реализации и вам становятся интересны подходы друг друга, завязывается плотное обсуждение, в обоих случаях сразу понятно что там что-то есть. А когда начинаются громкие заявления, но вместо пояснений и разговора по сути нужно клещами вытягивать короткие и совсем общие фразы - очевидно что желаемое выдается за действительное.
> Зочем
Потому что на замечание по промптингу ты врываешься со своим 60к сообщений чатом и апеллируешь к этому как к истине. Зато на пояснение сути аргумента - сдулся.
>>1327027
> ответы 1-в-1 совпадает с гемини флеш
Он получше флеша. Но замечание резонное тем, что крутые ответы обильно разбавляются литрами слопа, который очень напоминает жеминиевский.
В остальном поддвачну за похвалы, он действительно годный и умный, если слоп не вызывает острой аллергии.
> total time =
Это фуллгпу?
>>1327028
Асуждаю, канничек надо любить и обожать
Ну так посмотреть же, а не послушать. =D Хоб-хоб, выкрутился!
>>1326979
> Какая там скорость на 30а3 на контекстах типа 30-60к?
Давай ща затестим.
prompt eval time = 340661.22 ms / 34677 tokens ( 9.82 ms per token, 101.79 tokens per second)
eval time = 191029.80 ms / 1228 tokens ( 155.56 ms per token, 6.43 tokens per second)
total time = 531691.02 ms / 35905 tokens
35к токенов = 6,4 т/с.
>А ты пробовал, или просто привычка?
Привычка, но вообще это же моэ, активных 32B параметра все равно, так что я вангую квантование тут будет сказываться сильнее, чем на плотных моделях такого же размера. Поэтому на всякий случай всегда беру повыше.
>И как оно по сравнению с Air.
Не знаю, не в обиду анонам, но зачем мне запускать огрызок от огрызка гемини. Тут вроде писали, что обычная не имеет каких-то проблем, которые имеет Air. Да и кому это интересно, те, кто запускают Air, либо не в состоянии запустить большую модель, либо осилят только первый-второй квант, а это уже отдельная история.
>>1327033
>Это фуллгпу?
На первом скрине параметры запуска. Фулл, за исключением четырех экспертов. Но я видеокартовый барон же, лол, если бы вот хотя бы 2.5 блеквелла было вместо этого всего, эх...
> хардпорно?
This. Ну а еще гибкость и функционал. Я уже слишком старый чтоб мой фимозный корнюшончик повидавший многое поднимался на неловкие романтические отношения с ванилой. Для меня уже футы\фф\нтр\мистресы с флюгегехаймером воспринимается как что-то лайтовое и скучное.
Очень жаль, так ее можно было бы приспособить под какие-нибудь прикладные задачки фоном.
>>1327038
> параметры запуска
Что такое -ncmoeud? ncmoe - сокращение обычного n-cpu-moe, ncmoed - для драфт модели. И их использование с мультигпу - непростая задача.
Что за процессор? Если рам не самая срань то попробуй выкинуть все старье из видимости жоры и сосредоточить на амперах, выгрузив больше эксертов на проц. Казалось что должно быть быстрее.
Понял. Ты принцесса и смотришь свысока. Думаю не раз уже такое читал в свой адрес, но я все понимаю, люди разные..
>Что такое -ncmoeud?
Пикрел, запилил себе для удобства
>Что за процессор? Если рам не самая срань
DDR4 3600 128 Гб, i7 9700K. Так что, пожалуй, почти самая срань.
>выкинуть все старье из видимости жоры и сосредоточить на амперах, выгрузив больше эксертов на проц
Не знаю как поведет себя тг, но я уверен, что пп от этого встанет и уйдет, будут жалкие 50 т/с
>Поэтому на всякий случай всегда беру повыше.
>Не знаю
Ну так попробуй оба случая. А то может твои представления устарели. К тому же твои сравнения могут подтолкнуть других анонов собирать свои риги.
Ну, на старте 26 токенов.
А ты не забывай, что те же агенты подают порционно, не держат все в контексте, там скорость вполне 15-20 будет на постоянке.
Так что приспособить можно (но у меня есть сборки получше, а еще и DDR5 едет 2 х 64).
Я император и смотрю на людей как на равных пока они не доказали обратное, или наоборот возвысили себя. Играть в обиженку когда слился в техническом обсуждении, будучи почти пойманным на лжи - пожалуй одно из самых жалких проявлений такого.
Заметь, я не высказал ни единого оскорбления или чего-то плохого в твою сторону, лишь предметно о низкой ценности твоего "основного эдверчур чата", на который ты уповал в том споре.
>>1327051
> что пп от этого встанет и уйдет
В последних версиях llamacpp этот момент прокачали при повышении батча, но иногда наблюдается упор в шину основной гпу. Потому есть смысл посравнивать с другой конфигурацией подключения, если такое возможно.
Еще что интересно - попробуй максимально выкрутить контекст сколько влезет и попробовать сколько будет на 30, 60, ...к, достигло ли оно условного плато и эти 7 токенов так и останутся, может просядут до 6, или падение будет линейно. После всех обновлений, особенно когда много экспертов на проце, оно ведет себя именно так, быстро просаживается в начале но потом стоит прибитым.
>>1327054
> те же агенты подают порционно
В квенкоде типичный диапазон контекста от 12к до 90к, самое популярное - около 20-40. Будет тяжело.
В том и дело что был не спор а обмен мнениями. Но объяснять бестолку, мы на разной волне похоже. Ты понял кто я, я понял кто ты, так что давай будем умницами и прекратим срать не по делу в тредик, курю трубку мира
Не плачь, принцесса, твое мнение тоже важно. Как минимум тебе.
ТЫ СПАЙК
@
ОТ СКУКИ ФИСТУЕШЬ СЕБЯ В СРАКУ ЛАПОЙ
@
ОТТУДА ХВАТАЮТ ЗА ЛАПУ И ТЯНУТ НА СЕБЯ
@
ТЯНУТ ВСЕ СИЛЬНЕЕ
@
ЗАВОРАЧИВАЕШЬСЯ В СОБСТВЕННЫЙ ЗАД
@
ВЫЛЕЗАЕШЬ ИЗ ЗАДА ДИСКОРДА ВО ВРЕМЯ ЧАЕПИТИЯ С ФЛАТТЕРШАЙ
@
ТА УМИЛЁННО ХЛОПАЕТ
Критический промах
Провокация не увенчалась успехом
Если есть вдохновение - можно попробовать перебросить
Мне неинтересно такое пробовать. Мне интересно выжимать максимум из моего сетапа и чтобы это было юзабельно, а проверять заведомо не лучшие вещи - ну такое.
>могут подтолкнуть других анонов собирать свои риги.
Собирать риг под конкретный квант конкретной модели - выглядит прям очень и очень странно. Достаточно общего фидбека, а анон сам разберется, что ему нужно и насколько он готов потратиться. Как по моему мнению, если уж и собирать риг под модель, так чтобы крутить там 5 квант и выше, иначе это клоунада уже.
>>1327059
>попробуй максимально выкрутить контекст сколько влезет
Какие 60к, у меня 20к влезли на тоненького. Да и смысол, я никогда не использую контекст выше 32к.
Да и у меня старья то толком нет, только теслы. Можно попробовать их выкинуть ради эксперимента. Остальные должны хорошо молотить - уж наверняка лучше цпу.
Но веры у меня нет в этот эксперимент, потому что даже теслы все еще должны ебать по сравнению с рам, т.к. моэ и двухканал ддр4
Как избежать такой хуйни? Как заставить ее писать проще и по делу? Меня заебали эти заумные формулировки, которые нихуя смысла не несут, по своей сути.
Модель Mistral-Small-3.2-24B-Instruct-2506-Q4_K_M.gguf
Я хлебушек в этом деле, если что.
Самый простой способ попробовать решить эту проблему - поговори с моделью в режиме ассистента (без карточки персонажа).
Пишешь примеры текста, которые тебя не устраивают. Пишешь, как тебе хотелось бы видеть текст. Показываешь промпт с инструкциями.
Задача - отредактировать инструкции так, чтобы получалось как тебе хочется.
Модель что-нибудь выдаст. Пробуй. Если не устроило - повторяешь запрос (с нуля, в новом чате) с добавкой к посту, что вот такой-то подход решения проблемы не сработал (прям вставляешь че модель в первый раз насоветовала, чисто по инструкциям).
И далее повторяешь все то же самое, пока не высрется удовлетворительный результат.
>>1327098
> Пишешь, как тебе хотелось бы видеть текст.
Имеется в виду буквально "сочини свой вариант идеального ответа ЛЛМ" и презентуй как положительный пример в сравнении с отрицательным.
> В квенкоде типичный диапазон контекста от 12к до 90к, самое популярное - около 20-40. Будет тяжело.
Никогда не ловил, всегда было 12-20. Но, хз, может размер проекта решает, да.
Но на крупном проекте 30б и юзать ну такое. =) А ниче нормальнее такой конфиг с 40 гигами не потянет, естественно.
Твой скрин - это типичная шиза у модели. Либо семплеры говно, либо контекст она уже не осиливает.
Я не знаю, как говорить с моделью в режиме ассистента ._. Я в таверне создал персонажа и там и играю. У меня был какой-то дефолтный персонаж, но я его сразу удалил.
Сэмплер это "Story String"? У меня там стоит обычный Simple-proxy-for-tavern (пик). Конекст я сбрасывал где-то 30 сообщений назад всего, заполняя его ворлд-лором и заметками автора. Она изначально себя так и вела.
Для начала, у тебя правда семплер кривой судя по всему. Там не какие-то "сложные манеры речи", а просто поломанные настройки и полный распад.
https://huggingface.co/Konnect1221/The-Inception-Presets-Methception-LLamaception-Qwenception/blob/main/Methception/Methception-1.4.3.json
Попробуй этот конфиг - вставляется кнопкой Master Import, везде ставишь галочки.
Не принуждаю его использовать, но он должен пофиксить проблему шизогенерации.
>>1327121
Настройки семплера графическом интерфейсе по самой левой кнопке - text completion presets. Но вообще если смотреть текстовый файл конфигурации - они там все после температуры идут по порядку. Это очень сложная хренть (см. пик 4) и дело в том, что каждой модели нужны свои настроечки. Не обязательно прям какие-то идеальные, есть некое окно, в котором модель лучше всего работает. Диапазон параметров. Где искать подходящие - ну для начала загугли, обычно разработчик модели пишет рекомендованный минимум.
>этот конфиг
Он только для мистралей, если что. Там и для других моделей есть (квен/ллама например), но я не ебу хороши ли они.
Пиздец как сложно для меня. Я понял еле-еле половину от сказанного.
https://docs.sillytavern.app/usage/common-settings/
Ну ты можешь документацию почитать.
А еще лучше поговори с DeepSeek про то, как работает ИИ и какие настройки на что влияют. Только по таверне бесполезно вопросы задавать, у него очень мутное представление о старых версиях.
Че сложного-то, пресет дали - импортируй и посмотри, станет ли лучше.
Короче я перешел по ссылке, нажал "copy download link", перешел по скопированному адресу - там открылась страница с текстом. Я его скопировал, создал текстовой документ, вставил написанное, переименовал формат в json и нажал master import. Галочки везде поставил.
Ща посмотрим, как будет генерировать.
Ебаный рот вашего казино, во что, в киосках d20 заряжаете?!
Кстати а разве есть критический промах, не критическая неудача? Нужны эксперты для пояснения.
>>1327085
Жора не суперэффективно работает на мультигпу, особенно на разноархитектурных и плохо подключенных. На оче больших моделях добавление +75% врам , пусть и более медленными картами, дает оче слабый эффект, с немалой вероятностью там гадит райзер.
Учитывая что у тебя совсем десктоп и подключено абы как - возможно оставив одни амперы и подключив главную карту хотябы в х8 может оказаться быстрее. С другой стороны, уже условно юзабельно.
Эйр можно катать в экслламе, с новым параллелизмом будет супербыстро даже с медленными шинами. И он вполне неплох.
Так. Модель стала активно писать от лица моего персонажа теперь... Три генерации и везде она пишет посреди реплик своего персонажа реплики моего персонажа.
А ты чат новый начинал? Или в старом продолжаешь? По хорошему надо вообще пойти и отправить сообщение другому персонажу, а потом вернуться на старого и начать с нуля.
Много раз замечал дикую дичь при смене настроек без смены чатов. Как будто все смешивается к хуям.
Не, не начинал. Просто перезапустил кобольд и таверну. Сейчас попробую начать новый чат.
>Просто перезапустил кобольд и таверну.
Настройки сохраняются и без этого. Главное начать чатик, не засранный предыдущим контекстом.
Кстати, хрень в настройках ниже промпта (token padding) - что у тебя там выставлено? Если ебануть ноль или в принципе мелкое число, модель будет как бешеная собака. Насколько я понимаю, там должно быть 20 - 25% от контекстного окна (8к при контексте в 32к, 4к при контексте 16к) или типа того.
Я не могу найти этот Token Padding, что бы заскринить. ._.
Блять. Я слепошарый идиот. Значит, при контексте в 16к я должен поменять 64 на 4000?
Попробуй.
При 64 по идее модель видит лишь мельчайший кусочек инструкций (или контекста чата, я честно говоря забыл как это работает - но короче ЧТО-ТО важное просто не влезает).
Я ради смеха 0 поставил там, и модель меня нахуй послала вместо ответа. Буквально fuck you.
Понял. Поставил 4к. Вроде пока что-то внятное пишет. В случае чего, просто буду добавлять все заметки автора и перезапускать чат.
Вспомнился анон с прошлого треда, которого модель нахуй послала сразу же, после того, как его персонаж очнулся и сказал "дай мне секс". Смешно это было.
Короче после 2-3 генераций ответа опять выдает ответы от лица моего персонажа.
Ты тролль или чайник? Token Padding - всего лишь указывает - сколько токенов резервировать на случай, если токенизер наврет при расчете количества токенов из текста истории+WI. Т.е. это количество отрезается от размера контекста которое у тебя в таверне стоит, чтобы всякая история и WI гарантированно не вылезли за пределы, которые модель понимает и переваривает. Чем больше вставишь, тем больше собственноручно отрежешь от доступной "памяти".
>>1327178
Вертай назад. Оно и 64 - обычно много. У меня 16 стоит, и ничего никогда не глючит.
Бля да не трогай ты просто эту хуйню. Оставь 64 или 16 без разницы
>Достаточно общего фидбека, а анон сам разберется, что ему нужно и насколько он готов потратиться.
Как по мне, сравнительный фидбек типа "Вот на ГЛМ 4,5 всё отлично, а Аир подсирает тут-то и тут-то" весьма ценен, так как отвергает всякие "скил ишью" в отношении дешёвого Аира. Но как знаешь.
>>1327105
ГЛМ 4,5 Аир
>token padding
>8к
Чего блядь? Это рубрика вредных советов, или троллинг новичков такой?
> "Вот на ГЛМ 4,5 всё отлично, а Аир подсирает тут-то и тут-то" весьма ценен
Придумай какую-нибудь мотивацию
ROCm от AMD стремительно догоняет CUDA и бросает вызов лидерству NVIDIA
Аноним
20/08/25 Срд 22:16:23
№
150
Секрет успеха NVIDIA во многом заключается не в железе, а в её программной экосистеме, где безраздельно царит CUDA, ставшая стандартом для инференс‑задач. AMD же долгое время не удавалось пробить этот «стеклянный потолок»: производительность железа удавалось подтягивать до уровня конкурента, но софт оставался слабым звеном. Теперь же ситуация меняется. По словам Tiny Corp, компании, известной своими решениями для конечных пользователей в сфере ИИ, AMD уверенно сокращает этот разрыв.
В Tiny Corp считают, что достаточно одного «провального» поколения у NVIDIA, и AMD вырвется вперёд на рынке ИИ — примерно так же, как компания уже сумела добиться превосходства в сегменте дата-центровых процессоров. В расчёт берётся и июньский прорыв: на конференции Advancing AI AMD представила новую версию ROCm с поддержкой расширенных фреймворков вроде vLLM v1, llm‑d и SGLang, а также с целым набором оптимизаций — от распределённого инференса до prefill‑вычислений и дисагрегации.
Седьмое поколение ROCm ориентировано прежде всего на инференс‑нагрузки, и там AMD показывает внушительные скачки производительности: будь то пропускная способность DeepSeek R1 FP8 или ускоренное обучение, которое компания называет даже лучше, чем у CUDA. Более того, ROCm 7 уже в этом году получит поддержку на ноутбуках и рабочих станциях с Ryzen, будет встроен в Linux «из коробки» и получит полноценную поддержку Windows. Очевидно, AMD хочет сделать свой стек доступным практически для всех пользователей — от энтузиастов до корпоративного сегмента.
Если AMD сумеет довести своё ПО до уровня CUDA, у компании появится мощнейший козырь. Ведь альтернативная экосистема программных инструментов способна превратить «красных» в грозного соперника, способного пошатнуть монополию NVIDIA в ИИ. Остаётся лишь наблюдать, как будет меняться расстановка сил.
https://habr.com/ru/companies/bothub/news/939142/
Ну ахуеть, всего то нужно было добавить поддержку числовых типов. Долго же они думали. Ну и 7 версия пока релиз кандидат
Почёт и уважение в треде.
>>1327225
>Секрет успеха NVIDIA во многом заключается не в железе
Не только в железе, да. Но и по железу невидия ебёт. Так что...
>Если AMD сумеет довести своё ПО до уровня CUDA
>Если
Ну в общем всё понятно. Притом что тут не только красные должны росм допилить, но и утилиты для инференса нужно подтягивать.
Окей... Но как избавиться от того, что бы модель писала от лица моего персонажа?
Ну и забыл добавить. Треду 7 версия не светит (конечно попробую на ми50 поднять, но шанс призрачный)
В систем промпте указать, чтобы она от него не писала. Какая модель?
>Ахуеть рояль
Так толку от них никакого не было. Кобольд их не грузит, если принудительно не сказать выгружать слои, а если выгружать, то только хуже. На одной запускал лишь мелкогемму для перевода, вот и вся польза. Брал пару лет назад когда их китайцы на рынок выкинули, думал что йоба.
>например что ддр5 32 гига?
Писал же что 64 >>1326340 →
>-ngl 999
Если только на озу, то 2,8 токена
>объемы трех видеокарт и 0.7 долю
Тогда 3,2 токена
Если долю увеличить до 0.8 и 0.9, ровно те же 3,2 лишь разное количество озу забивало.
>--n-cpu-moe
Ранее писали же что от неё только хуже и работает криво?
>Кстати, хрень в настройках ниже промпта (token padding) - что у тебя там выставлено? Если ебануть ноль или в принципе мелкое число, модель будет как бешеная собака. Насколько я понимаю, там должно быть 20 - 25% от контекстного окна (8к при контексте в 32к, 4к при контексте 16к) или типа того.
Ебать вот это нахуй совет, ты че угараешь? Ты реально сидел с такой настройкой все это время и ничего не замечал неладного?
Покажи как именно это происходит. Как часть ролеплея или модель реально пытается писать от лица {{user}}, это две разные вещи.
Уже который год это слышим, стремительный рост с 7.1 до 7.3%, ускорение до уровня конкурента, сравнение ми300 в хоппером при выставлении и последнего самых неоптимальных режимов с упором с процессор.
> достаточно одного «провального» поколения у NVIDIA, и AMD вырвется вперёд на рынке ИИ — примерно так же, как компания уже сумела добиться превосходства в сегменте дата-центровых процессоров
Продвижение на рынке профессоров заняло более 7 лет, и даже так в 24 штеуда примерно в 2 раза превышал амд на серверном рынке.
Хуанг уже более 5 лет кормит с лопаты, а все причмокивая просят еще, а красные только сейчас начали понимать, что продукт без возможности удобного применения нахер никому не нужен. Они могут попытаться подняться с мелко-потребительного рынка, сделав ставку на пользователей и энтузиастов, разумеется при хорошем продукте мы их поддержим. Вот только это все еще роль догоняющих, пока на твоем железе не создают модели изначально, ты лишь подножный корм.
Отношение к амд очень наглядно проиллюстрировано в крутейшей документалке gn https://www.youtube.com/watch?v=1H3xQaf7BFI на вопросы про них или откровенно глумились, или вежливо отнекивались. Кто не видел рекомендуется к просмотру. Кстати про куду можно послушать в также ахуенном видео от бороды https://www.youtube.com/watch?v=uANmdXo5__Y со второго часа.
>>1327227
> Почёт и уважение в треде.
Неоче вариант
> Как по мне, сравнительный фидбек типа "Вот на ГЛМ 4,5 всё отлично, а Аир подсирает тут-то и тут-то" весьма ценен
> так как отвергает всякие "скил ишью" в отношении дешёвого Аира.
рубрика ээээксперименты это оч весело, но остался ли в треде хоть кто-нибудь, кто доволен эиром? двое что радовались эиру позже переехали на большой квенчик во втором кванте и довольно урчат. потом нюня пришел и поделился что он мех, а я ему верю (с прошлыми его мнениями совпал полностью)
как будто реальный юзкейс для эира это если ты не можешь запустить ~32b плотненькую няшу
>Учитывая что у тебя совсем десктоп и подключено абы как - возможно оставив одни амперы и подключив главную карту хотябы в х8 может оказаться быстрее.
Видишь ли, тут много нюансов и надо проверять. У меня две 3090 подключены через х1. Можно ли с них выгружать тензоры вообще и в каком количестве? Вдруг придется гонять столько данных, что уже эти х1 ролять будут.
С другой стороны, я уже говорил, что амперы амперам рознь и 2080 Ti намного шустрее 3060, поэтому я основным сетапом считаю 3090 + 2080 (ну и 3070 ти на сдачу). Поэтому, к слову, я экслламу не завожу - фа не завезли на тьюринги, надо пердолиться. Ну об этом я уже писал тирады в прошлых тредах.
Еще стоит проблема адекватного сравнения, потому что комбинаций как, что и откуда выгрузить в моем сетапе - жопой жуй. Кажется, что можно попробовать запихать в главную карту (там у меня х16) как можно больше слоев с выгруженными тензорами, освободив теслы. Если не влезет - можно повыгружать с 3090 х4. Если в таком сетапе уже будет медленнее, чем сейчас - значит все говно и дальше освобождать более слабые карты смысла нет.
>>1327253
Можно начать с самого простого - помониторить псины на скорость обмена под нагрузкой. В лини делается без особых сложностей, в винде хз
>но остался ли в треде хоть кто-нибудь, кто доволен эиром
Ну вот я. Мне норм.
>позже переехали на большой квенчик во втором кванте
Мне боязно такое запускать на моём калькуляторе.
новая плотненькая 36б няша? ждем жору и гуфа
Я вроде пробовал ставить что-то, что это делает - мне сказали, что с такими запросами пошел я нахуй, то бишь серверный проц нужен. Так что реальную нагрузку линий я смотреть не могу.
Ну захейтили эйр прямо.
>>1327253
Для эйра на экслламе хватит умеющихся 3090, остальные можно выкинуть из рассмотрения. На х1 еще могут быть приколы чипсетных линий при их перегруженности. Хз будет ли толк от запихивания всех слоев кроме экспертов в основную карточку, особенно в конфигурации где нужно максимально избегать пересылов между картами, но можно попробовать.
>>1327254
Идет загрузка основной карточки во время обработки контекста. На остальных - десятки мегабайт. Но метрика не точная, оно показывает с редким обновлением просто деля количество пересланного на интервал накопления, если оно треть времени загружено на 100% и просто простаивает - ты увидишь лишь треть от максимальной псп, хотя замедление уже будет существенное. В шинде сейм, но там точно есть тулза от хуанга, которая позволяет записать подробные логи и посмотреть что происходит по миллисекундам но она для игр, хз сработает ли тут
>>1327268
Вот бы еще побольше версию выпустили
> серверный проц нужен
Тут сказать ничего не могу. В моём случае честный серверный сетап от и до
> Но метрика не точная
У интела есть pcm, но чёт влом разбираться
>ГЛМ 4,5 Аир
Я так понимаю у них метод запуска отличается от дефолт моделей? Есть какой-то пост, где объясняют че к чему?
Ещё как. Хотел поебаться с вайфу, а третий день ебусь с ламой и её 3я токенами.
В шапке про выгрузку тензоров, но по сути можно тупо вот сюда вписывать разные числа, пока пазл не сойдётся.
В голосяндр с этого загадочного стиля.
А как у неё с логикой на английском? Что отвечает на такой же вопрос?
Первая модель что без ризонинга справилась с этой задачкой Василия Ивановича.
А когда контекст частично заполнен модель с первых секунд генераций определяет вектор развития и урезает часть экспертов? Может хуйню сказал, но я убежден в том что на нулевом контексте скорость меньше. Может чудеса Жоры, хуй его знает
> я убежден в том что на нулевом контексте скорость меньше.
Берёшь и смотришь сколько тг при 0, 1000, 2000, 5000, 10000, 20000 контекста. Все метрики есть как в логах так и в респонсах
Так я и смотрел. У меня Эир на 10к контекста генерирует быстрее чем на 0. Под убеждением я имел ввиду что это нихуя не погрешность и не совпадение. Пусть и всего на полтокена, но реально быстрее генерит. Учитывая что у меня он в целом на 4т /с фурычит это ощутимо. Потом конечно скорость снижается, ближе к заполнению контекста, до 3
Короче такая хуйня: 3.2-3.5т/с на 0, ~4-4.2 т/с на 10-18к, ~3 на 24к, а больше не лезет увы
На репрезентативные данные не тянет. Сам я конечно не буду бенчи писать, лишь скажу как бы делал.
- шаг в 2к контекста
- 3 разных контекста
- пп лимит везде 100
- прогон каждого сочетания 5 раз с выключенным кешем и отбрасыванием первого т.к. прогрев
Получается Гемма с проперженным ризонингом может лучше в логику? 2 из 2 раз верный ответ, но на русском отказалась думать сходу, а делать специальный промпт под русик не охота.
>3.2-3.5т/с на 0, ~4-4.2 т/с на 10-18к, ~3 на 24к
Бред какой-то. Ты хоть скорость генерации пишешь, или общую скорость?
Попробуй еще такой вопрос, почему-то часто с него модели какаются и отвечают 3. Но Гемма и тут с 1ого раза справилась.
Jessica has 3 sisters and 2 brothers. How many sisters Jessica's brother has?
>Конечно. Гемма умничка и лучше всех на свете
Всё так, ждем 4ую.
А теперь давай без ризонинга.
И к слову - есть отдельный квен 235b с ризонингом.
Ну так это уровень платных версий корпосеток. Все остальное просто в другой категории. Китайцы молодцы.
Ну это откровенные читы, там весь ответ и есть ризонинг. И квен постоянно так делает, даже в рп.
Какбы я ее оче люблю и обожаю, но весь ум проявляется именно в относительно длинных ответах где даже чары постепенно выстраивают свою речь и действия. Если мучать и заставлять делать зирошотом - ответы хуже.
От того, вероятно, и разделившиеся мнения по модели, кто-то восхищается а кому-то такой стиль не заходит или пытались сокращать и ставить в жесткие рамки.
>>1327373
База, и главное что он очень хорош не только в рп а в очень широком перечне задач, исключая что-то совсем массовое из-за ограниченной скорости.
Дипсика 3.1 кто-нибудь пускал уже? Он совсем базовый без инстракт тренировки, а значит с высокой долей вероятности не соевый.
Похоже местный фольклор протек
Перевернув кружку ты пошел против воли небес, встал на путь культивации, теперь у тебя только один путь - стать бессмертным.
А вот нехер было загадочными практиками заниматься. Жди гостей из клана Тан
Справедливости ради, есть небольшая разница между:
CoT само
CoT по промпту
CoT в ризонинг-тегах
Третье очевидно обучалось и должно решать задачи любые легко.
Второе может решать, а может не решать, и это дополнительный промпт и вообще.
А первое — хорошо, когда он сам иногда думоеть, а иногда отвечает сразу, ИМХО, это НЕ плохо, если он так отвечает НЕ на каждый вопрос вообще. =)
Нехай думает в открытую и кратенько, когда нужно. Только выиграли, короче. =D
> Челики объясните пж для чего вообще нужны локальные LLM
Если кратце - чтобы не плакать в твиттере, что GPT-5 глупее предыдущего.
Если подробнее - очень много вариантов использования, больше развязаны руки, и нет зависимости от интернета/цензуры.
К тому что пайплайн который ты лично не контролируешь это мусорный пайплайн, который у тебя либо заберут, либо сделают неюзабельным.
>Челики объясните пж для чего вообще нужны локальные LLM
Для власти над ними.
Над копросетками ты никакой власти не имеешь, скорее они тебя властям сдадут если ты попросишь их отыграть что-то эдакое.
А локальная сетка это твоя личная рабыня. Ты можешь её пиздить, насиловать, убивать, воскрешать и убивать снова, можешь няшиться с ней, можешь отыграть что она - госпожа, можешь носить её на руках, можешь создавать с её помощью миры, прекрасные или ужасные, можешь заставить работать и зарабатывать тебе бабло и т.д.
>Из всех адекватных моделей для меня оказалась gemma
Так гемма(27b которая) это облачная сетка, бесплатная версия этой вашей гемини.
>до уровня облачных моделей не дотягивает (юзал 4b)
В таком размере - это чудо что она вообще адекватно общаться умеет. Вообще эта версия для смертфонов, у тебя настолько комп убитый что ты 12b не можешь использовать?
>до уровня облачных моделей
Квен 235B, Deepseek 3.1 - это так-то облачные модели, просто доступные еще и локально. Будь западные корпы не такими блядьми - они бы тоже выпускали хотя бы старые версии своих больших локалок, а не только маленькие 32В модельки.
>у тебя настолько комп убитый что ты 12b не можешь использовать?
GPU офисное. У меня лептоп неигровой, 16 Гб оперативки, i7-12U и барабанная дробь GTX 550 MX блять (2 ГБ VRAM). Как будто бы я в состоянии накопить деньжат и купить эти ваши RTXы, но пока не вижу смысла в локал моделях, не рпшу и нет целей для того чтобы делать из модели рабыню. Есть особо одарённые челы в тиктоке которые готовы покупать кластеры H100 для того чтобы запустить локальные модели gpt и ради чего...
>Для власти над ними.
Как сказал один персонаж: "Вещь принадлежит тому, кто может ее уничтожить."
Делаем выводы. :)
мнение?
https://developers.googleblog.com/en/introducing-gemma-3-270m/?utm_campaign=gemma3-270m&utm_medium=email&utm_source=newsletter
Малышка ассистент на базе третьей геммы ?
Ну, наверное, кому то и пригодится.
да не трясись ты, не все нолайферы и живут в треде смакуя каждый пост, как ты
>>1327557
на первый взгляд выглядит как убийца всех локалок в её сегменте
Я вот думаю - возможно она подойдет для вторичных агентов к talemate? Если хотя бы с суммарайзом событий в тексте в состоянии справляться, можно на нее второстепенные генерации скинуть попробовать...
Скорее в какой-то момент предложат за него платить, соразмерно затраченной стоимости на серверное оборудование. А для РП это слишком жирно.
> возможно она подойдет для вторичных агентов к talemate?
Нет, конечно.
Какой бэкенд для таверны сможет это провернуть, не насрав себе в штаны?
>>1327560
270m если ты вдруг не понял - это 0.27B сетка. Я хз кому и зачем это надо, если современные телефоны совсем не премиум уровня 8b сетки спокойно запускают, а уж ту же гемму 4b запускают уже даже со скоростью и контекстом. В то время как для мелких задач уже есть 1b гемма, и она честно говоря уже настолько лоботомит, что страшно представить что там на модели еще вчетверо меньше.
Да любой в общем-то, главное чтобы у тебя руки из нужного места росли.
>Скорее в какой-то момент предложат за него платить
Так уже. Теперь даже стал ясен их дьявольский план.
Корпы сначала бесплатно подсаживали додиков и жирух на отношашки с ИИ вайфу и хасбендо, а теперь начали закручивать краник, теперь отношашки - только за денежку, а без нее - сиди, мудак ебаный, во френдзоне. прям как ирл
Пройдет еще пара месяцев и все остальные тоже на такую модель перейдут, вот увидите - следующие версии геммы и прочих мелких квенов будут рефьюзить уже не только секс, но даже поцелуйчики.
Зато для технических задач очень неплохо себя показывает. На моем железе работает втрое быстрее Air Q6 и Qwen 235b Q4S, 15т/с, 131к fp16 контекста вместо 32к на упомянутых выше моделях. Генерация кода, кодревью - прямо хорошо. Reasoning effort high необходимо задать. Разумеется, я понимаю все проблемы: 4 бита, такой себе шаблон, активных параметров маловато. Однако супер сложные задачи я через ЛЛМки в любом случае не решаю, а что по мелочи - данная модель работает на хуже Air и Квена 235, со всеми упомянутыми выше бонусами. Тестил на шарпе, плюсах и паре малоизвестных скриптовых языков.
Поделился на случай, если кто-нибудь еще здесь не только гунит.
лол, я не сразу это понял, не думал что такое делают, сорян, думал 270b... ВОПРОС СНЯТ
Модель просто великолепная
Это ровно тот же паттерн рассуждений что у квена происходит в синкинге, с обнаружением нестыковки, шагами назад и действительно альтернативным рассмотрением. Минусом назвать язык не поворачивается, просто такая особенность.
Не уверен в целесообразности существования отдельно ризонинг и инстракт версий вместо управления этим промптом, но квенам виднее.
>>1327530
> и быстрее генерируют
Не всегда, лол, хотя это камень в дипсик с их картофельными серверами. Или пятая гопота со скрытым синкингом и оче долгими первыми токенами. Не удивлюсь если на самом деле там генерируется батчем 2-3-4 свайпа и идет их комбинированный анализ, потому и прячут
> и умнее локалок
Далеко не всегда, а при использовании фришных планов почти никогда.
> и контекста как будто бы больше скормить можно
Ограничен железом, для типичных юскейсов контекста для нормисов они также слабы.
Ты забыл указать главный минус корпов и плюс локалок: цензура и байасы. Она завязана не только на рп и еблю, с новой гопотой или опущем ты даже серьезно какие-то специфические технические вещи не можешь обсудить, или заставить анализировать тексты по заданию: они высирают аположайзы и дают лишь краткие вялые ответы с префиксом "Только если вы лицензированный специалист...". Приколов с соей, инклюзивностью и прочим там хватает. При активном использовании денежку также стоит, но может быть лоботомированы или вообще ограничены в любой момент по желанию левой пятки господина, к которому ты идешь на поклон.
> юзал 4b
Над этим лоботомитом даже врамцеллы насмехаются, хотя сам факт существования в таком размере как явление - круто. Если ты юзал такие модели - неудивительно что сложились подобные впечатления.
>>1327579
> Так уже.
Привет гопота 4.5. А у кумеров-рпшеров она вообще ценилась и о ней отзывались как о новом опуще3. Явно модель с большим числом активных параметров а не забенчмаксенный лоботомит. И несложно было соефикацию обходить, что, очевидно, стало основной причиной его грохнуть на фоне поддержания в живых всякой древности. Если что, модель вышла только в феврале и ее уже нет.
Не хочется сливать в интернеты свои технические статьи или то, что требует редактуры из творческих идей, есть вероятность, что это будет слито онлайн или другие базы на всеобщее обозрение, как это недавно произошло с ГПТ, где всё стало гуглится.
Она точно подойдет для обработки какого-нибудь голосового ассистента, ее можно интегрировать в мобильное приложение и использовать в подобных кейсах.
>>1327570
CUDA_VISIBLE_DEVICES
>>1327583
> Зато для технических задач очень неплохо себя показывает.
Есть примеры? В коде показалась недалеко ушедшей от 30а3, в "общении" это уровень эйра, только с побитыми квантом знаниями, в процессинге текста уступает гемме 27, которую можно запустить 2-3 штуки на том же железе и не сильно проиграть в скорости. До квена ему как раком до Китая.
Разве что
> Тестил на шарпе, плюсах и паре малоизвестных скриптовых языков.
Вот тут он может действительно хорош, если клозеды не поскупились на датасет.
>>1327617
Есть шизотеория что спустя время начнется новая охота на ведьм по действиям в чатботах. Все так радостно и активно пользуются ими передавая кучу данных и ничего не стесняясь, а в соглашении явно написано что все, что не оплачено по дорогому прайсу апи, или выходит за мелкие лимиты подписки и другие критерии - логируется и будет использовано.
>Есть шизотеория что спустя время начнется новая охота на ведьм по действиям в чатботах
Я думаю она уже идет, но по людям с баблом и связями, рандомный иван город тверь не нужен даже своим соседям, а вот блоггера с миллионной аудиторией посадить на сотрудничество угрозами слить его логи как он с ИИ-лолями развлекался - милое дело. Или узнать через ИИ-логи вайбкодинга разработчика критической инфрастуктуры или ядерного оружия и навести на его дом ракету. Потому суверенные страны и начали гонку вооружений по достижению ИИ суверенитета.
>хз кому и зачем это надо
Для перевода такая мелочь думаю сгодится. Даже восьмой квант всего 300 мегабайт весит - подключить его как вторую модель и вот тебе локальный русик без надобности добровольно сливать свои логи другим конторам. Особенно актуально для тюнов на всякие старые мистрали, типа немо, которые ощутимо шизеют на любых языках, типа английского.
>Для перевода такая мелочь думаю сгодится.
Помню кто-то тестировал 1B и сделал вывод что нужно хотя бы 4B.
Вот оно переводит
Локальный промт так не сможет
Ты просто глупее этой модельки и не умеешь ей пользоваться. Она умничка
У меня сознание для нее недостаточно расширено значит
>возможно она подойдет для вторичных агентов к talemate
подойдёт, но только тех кто без мультитурна работает, чисто на одиночном запросе
>как оно
как говно
не настолько как осс-гопота, но всё же оно больше как ассистент
Охуенно. Я доволен как слон. Но всё же, он больше подходит для ЕРП, если раскочегарить. Слопа наваливает богато.
Это какой-то троллинг или че? Буквально выше в треде уже был такой вопрос, пара-тройка дюжинов постов, и ответы на него. И в прошлом треде было
Хорош, но не нужен, так как есть двухбитный квен 235, которые его на лопатки кладет.
Вчера всю ночь развлекался с glm 4.5 air на iq4 кванте, тюнив настройки для быстрого вывода токенов. Сегодня думаю скачать qwen3-235b, но в более ужатом q2 кванте? Стоит ли заморачиваться или лучше остаться на первой модели? Пробовал в кодинге, в рп недолгом, контекст 80к, токенов 12 в секунду выдает.
кстати, ollama лютым говнищем ощущается теперь после кобольда, буду ра llama-swap перекатывать второй сервак на пингвине
Да, стоит. Другого уровня модель.
>iq4
Они сильно медленее в случае мое. Используй кванты без i.
>кстати, ollama лютым говнищем ощущается теперь после кобольда
А кобольт говном после жоры.
На том и живем.
Ок, попробую q2_k_l запустить, там сколько moe слоев выгружать на проц, если у видеокарты 32 гига?
>>1327789
Ну бля, когда вкатывался, выбрал однокнопочное решение, но по итогу оно тормозит и тупит. После вчерашнего ресерча понял, что ебал мозги только.
>Ну бля, когда вкатывался, выбрал однокнопочное решение, но по итогу оно тормозит и тупит. После вчерашнего ресерча понял, что ебал мозги только.
Тоже самое. Когда на жоре после того как ручками все вбил, получил прирост скорости в 40% по сравнению с кобольтом, я понял что кто то был знатным ебланом.
Истина намного проще. Некоторые версии кобольда хуже работают с определенными моделями. Испытал такое на своей шкуре. Даунгрейднулся обратно - скорость вернулась.
мимо
Ну и стоит ли оно того, если можно сделать простой батник и радостно урчать.
А если я в бесконечном поиске той самой модели, мне че каждый день твои ебатники переписывать? Это гораздо более пердольно. Не удивлюсь, если ты какой-нибудь погромист. Нормальные люди от вас в ахуе, инопланетяне блять.
>А если я в бесконечном поиске той самой модели, мне че каждый день твои ебатники переписывать?
Юзай параметры, Люк.
--model "C:\LLM\%~1.gguf"
>А если я в бесконечном поиске той самой модели, мне че каждый день твои ебатники переписывать?
Ну давай трезво на это посмотрим.
Начало батников всегда одинаково. Путь к модели ? Ну это сложно, я согласен. Прописать размер батча и количество слоёв ? Ну тут точно пердолинга на три дня.
Блять, там батник пишется за минуту, а потом запускается по ярлыку. Хватит уже оправдывать свою лень, сложностью.
А то блять в кобольте не нужно к каждой модели донастраивать параметры запуска чтобы она нормально работала, а не кое как.
>погромист
А то, я даже фортран и ассемблер когда то учил.
Хватит придумывать, что жора это что то сложное. То что в жоре можно тензоры ручками распределять, не значит что это НУЖНО делать.
Ньфаг приходит, начитается вас, а потом пердолится с кобольтом, олламой и черт знает чем еще, и у него получается говно, потом срет в тред, что модельки говно.
>Ньфаг приходит
читает про каких-то жор и уходит, нихуя не поняв.
Пофиксил.
Корпы сами врядли этим будут заниматься, но если произойдет очередной виток со ставкой на левацкий мусор, то, приняв соответствующие законы, эту карту могут разыграть, целясь прежде всего во влиятельных, состоятельных и т.п. людей.
Но куда более близка и актуалена для каждого юзера ситуация с утечкой этих данных. Приходит тебе на почту письмо со скринами, твоими данными и предложение отправить всего 0.002 btc на указанный адрес чтобы хакерская группировка "anal-pandas" про тебя забыла.
> через ИИ-логи вайбкодинга разработчика критической инфрастуктуры или ядерного оружия и навести на его дом ракету
А это даже смешно. В случае "локальных" конфликтов евреям для вычисления отдельных людей в Иране никакое ии не требуется. В более крупном масштабе выгоднее разрушать сами предприятия, чем отдельных людей.
>>1327744
Оно хорошо. Склонен к графомании и может насочинять всякой дичи, но с креативностью проблем точно нет что плюс. Любит описывать подробно и в интересных форматах, например когда ты и чар находитесь в разных точках в засаде и начинается заварушка - может выдать крутую простыню с разных ракурсов, меняя их, обыгрывая радиообмен и позиции. Может справиться с концепцией обмана или ограничения чувств: чар/нпс в повязке на лице не будет узнавать тебя пока ты сам себя не обозначишь, будет относиться и действовать иначе а не имплая что уже тебя узнал и соответствующим образом меняя реплики, а то и вовсе делая к тебе обращения. Ну, офк иногда фейлит, но если пороллить то все ок. В целом прилично справляется с большими контекстами, но иногда может себя запутать и лениво интерпретировать какие-то вещи, или начать добавлять в сюжет какую-то платину типа русской мафии, мистики и оккультизма, фентезийный уклон и прочее если что-то такое раньше просто косвенно упоминалось но не соответствует сюжету.
То есть, он гораздо лучше типичных мелко-средних моделей и может то с чем не справляются они, но при этом также может навалить галюнов или не справиться с чем-то сложным. Из плюсов - не буксует, пишет интересно - хули еще надо, качай и пробуй. Особенно если пресытился всякими мистралями - зайдет.
Для сравнения, на большом жлм описанных косяков нет, держится за сюжет мертвой хваткой, лучше понимает тонкие намеки, шутки и отсылки, стиль повествование отличается (не всегда в лучшую сторону, больше слопа).
>>1327781
Попробуй а там решишь, с тебя же денег за оплату и запуск не требуют. Модели разные.
Это что за непотребство ?
Я не совсем понимаю, насколько большая разница по сообразительности между этими квантами (для моделей 24 - 32B).
start "" /High /B /Wait llama-server.exe ^
-m "D:\LLM\Models\Mistral-Small-3.2-24B-Instruct-2506-UD-Q4_K_XL.gguf" ^
-ngl 30 ^
-c 8192 ^
-t 5 ^
-fa --prio-batch 2 -ub 2048 -b 2048 ^
-ctk q8_0 -ctv q8_0 ^
--no-context-shift ^
--no-mmap --mlock
Я вообще не ебу в этих командах, тензорах и тд.
Короче, можно ли как то эту команду улучшить что-ли, чтоб мне выдавало больше токенов в секунду? сейчас выдает 5-6 токенов. Хотелось бы ну хотя бы 7-8, или больше.
i711700k, RTX 3060 12gb, 32 ram
Учти, что на максимуме квен может ризонить на 80к токенов, а инстракт без промпта не будет так делать, он меньше ответ выдаст.
Ясное дело, что можно заставить, но это типа как немного тюненные на долгий и на быстрый ответы модели.
———
К i5-13400F и 128 DDR5 заказал в качестве видях CMP90HX и CMP50HX. Обе по 10 гигов, фигнота, конечно, зато вдвое и втрое быстрее P104-100, и поддерживают Exl2 (что, в принципе, в моем случае похуй) и генерацию видео и картинок. Стоили 8к и 5к соответственно. Неплохо для 3070 ti и 2080.
Если не заведутся вместе — ну, поставлю одну на бота-рисовальщика.
Э-э-эксперименты!
По большей части плацебо, конечно.
Я кручу Q8, но это просто для удовлетворения (и 40к контекста).
Вряд ли это супер-критично и как-то влияет.
>>1327904
Ты озвучь объем видеопамяти и оперативной, чтобы понимать, че там у тебя где.
--no-mmap нужна для экономии оперативы (часть в видяхе не копируется в оперативу), а --mlock для залочивания в оперативе целой модели (на случай малого количество оперативы и попыток винды выкинуть модель на диск). Немного противоречивые команды для винды.
-ngl и -c зависит от количества видеопамяти, мы ж хз. Либо больше слоев можно закинуть на видяху, либо больше контекста (а вдруг у тебя 4090 48 гиговая, и ты сможешь и то, и то нарастить.
Я хз, скока там ваще слоев у Микстрали, может это все?
>Я хз, скока там ваще слоев у Микстрали, может это все?
вообще не ебу честно я ж говорю я 0
>теперь отношашки - только за денежку
Временно же. Попены скоро отключат устаревшие 4о (или о4, я вечно путаюсь в этом говне) и оставят соевую пятёрку.
>>1327605
>байасы
Байасы везде, нету сетки без баясов, кроме пигмы.
>>1327628
>новая охота на ведьм по действиям в чатботах
Попус уже закрывает чат, если ему грубить, лол.
>>1327655
Скорее как драфтовая модель к большой гемме. Впрочем пилить драфты на 27B огрызок...
Жаль никто не тестирует. Интересно как оно. 4.1 сама по себе очень хороша и нравится больше базовой мистрали. Получился ли хороший мерж или там все грустно?
> устаревшие 4о
Правильно делают - для чего-то серьезного чатовая версия нестабильное говно, а для casual пиздежа шаблонное говно. И как такое народу нравится?
>Приходит тебе на почту письмо со скринами
Они и так приходят, скрины то нахуя? Если человек дебил, то скрины ему не нужны, если нет, то он поймёт, что отправка бетховенов ни к чему не приведёт кроме потери этих самых бетховенов.
>В более крупном масштабе выгоднее разрушать сами предприятия, чем отдельных людей.
Домики можно построить новые, а вот людей с уникальными компетенциями взять неоткуда.
>>1327884
>но жоры нет
Кобольд есть, который во всём лучше жоры.
>>1327925
Или 4,5, или ещё чего. Я в сортах опенАИ моделей не разбираюсь, они уже сами запутались нахуй.
>Временно же. Попены скоро отключат устаревшие 4о (или о4, я вечно путаюсь в этом говне) и оставят соевую пятёрку.
Ну если они дегенераты - то да, сами себя по яйцам рубанут, а аудитория уйдет к машку, который даже нсфв за бабло продает. Но думаю они не дегенераты и уже тренят модельку на смену 4o.
> Кобольд есть, который во всём лучше жоры.
Хорошо покакал.
Можно попытаться выгрузить атеншн остальных слоев, типа
-ot "_attn=CUDA0", возможно придется уменьшить количество в -ngl, а так сам подбирай по загрузке видеопамяти.
>>1327911
> квен может ризонить на 80к токенов
Больше 40к это уже луп и/или ужаренный квант. У них есть пример как лимитировать на конкретном бюджете, жаль нету мягкого управления "много-мало".
> заказал в качестве видях CMP90HX и CMP50HX
Богатый дохуя
>>1327921
> Попус уже закрывает чат, если ему грубить, лол.
Имаджинируй что вместо старых твитов из 10х годов тебе предъявят негативное высказывание про гроидов, феминаци, или не дай бог цисгендерный, гетеросексуальный секс без явно подписанного предварительного согласия в трех экземплярах с канничкой! И будешь потом оправдываться что просто тестировал цензуру модели, а она сама на тебя прыгнула, предложив сделать своей.
>>1327929
Ты поехавший
>а аудитория уйдет к машку
Hа опенроутере тот же дипсик вполне себе лайтово-ванилльные поебушки пишет, а пятая гопота даже на 'за ручки подержаться' клеймит девиантом и рекомендует подыскать специалистов если ты напишешь где IRL живёшь.
Чет как-то нихуя, тест на занюх немытых яиц отрицательный на Cydonia-v4.1
Тогда бери слоп от рэди арта, там этого говна в любой модели. Но ты будь еще умнее, бери модели которым с пол года- год, тебя к хуям утопит слопом
Сёма же сказал, что просто пиздеть не вариант, нужно ориентироваться на агентов, кодинг и инструменты для корпов. А за чатингом, мол, идите к психологу.
>270M
>Q2_K
В рот мне ноги...
>а аудитория уйдет к машку
Пока и того не понерфят.
>>1327932
Зачем ты отчитываешься об этом в треде?
>>1327945
>Имаджинируй что вместо старых твитов
А я и в твитторе не был зареган.
>>1327945
>Ты поехавший
За що?
>>1327975
>Чем дольше ты играешь тем слопнее она становится.
Исправил, убрал лишнее.
>Чет как-то нихуя, тест на занюх немытых яиц отрицательный на Cydonia-v4.1
4.1 зацензурена похлеще Геммы в некоторых моментах, Гуглу надо брать Драммера в свою команду внедрения сейфти хуйни и сои, он как раз работу ищет.
>За що?
За это убил бы и съел.
>Кобольд есть, который во всём лучше жоры.
>Пока и того не понерфят.
Кто его нерфить будет-то. Наоборот, он там сейчас во все тяжкие пошел.
>ddr4
bruh
А так - второй квант квена 235 пойдет в 6-7 т.с
Я вот и думаю под 2 видяху пеку пересобрать с DDR5 128 ГБ, потому что сейчас 12400 вместо проца, но прикинул, выйдет 150к, если не больше, и вот хз. Да и поколение процов уже устарело, новые скоро, но неизвестно какой курс даллара будет там.
А в чём он хуже то? Удобнее? Удобнее. Поддержка старых моделей есть? Есть. Качать один файлик вместо двух архивов с прорвой говна? Да. Что ж тебе ещё надо то?
>>1327997
Посмотрим, сколько продержится.
> Что ж тебе ещё надо то?
Ну там... скорость, например... пык-мык
>А в чём он хуже то?
Скорость и стабильность. Жора просто работает и не ебет мозги неожиданными просадками на ровном месте.
> За що?
Высказывания неоче. Про "людей с уникальными компетенциями" это уже шпионские игры, пытаться вычислить их через логи ллм чтобы навести ракеты - глупость. Слишком переусложнено, а для "переманивания" достаточно чекнуть рецензируемые журналы на соответствующую тему.
Кобольд - странная обертка жоры с достоинством в виде гуйни для хлебушков, они лишь доедают на подсосе.
>>1328017
> Удобнее? Удобнее.
Sfx архив с питоном вместо готовых бинарников, ненужный и нелогичный гуй, зашитые поломанные коммиты висят неделями, вместо вполне няшного минималистичного чата - кобольд, функциональные вызовы и полноценный чаткомплишн не работает уже хрен знает сколько.
Я так-же думал, пока не понял что у меня теряются 5-6 т/с.
>Sfx архив с питоном вместо готовых бинарников
Минусы?
>ненужный и нелогичный гуй
Мне проще пару кнопок тыкнуть, нежели чем ебаться с консолью.
Остальное ненужно (да да).
А, тебе достаточно? Пон.
Ребята, все слышали? ЕМУ ДОСТАТОЧНО. Укатываемся с Жоры на Кобольда! хлоп-хлоп в ладоши, давай, давай!
Анон, ну тут ты уже охуел.
Он не призывает всех пересаживаться на кобольт, он говорит что ЕМУ нормально. Хоть и не разделяю, но это его дело.
> Он не призывает всех пересаживаться на кобольт
Сурьезно?
> Кобольд есть, который во всём лучше жоры.
Вместо
> Пмсм кобольд тоже ничего для новичков
>Пососи, аваторкодебил.
Агрессивное быдло, ты как в рандомной шебм автарку разглядел. Съешь галоперидола, полегчает.
>>1328055
Не смотря на то что писал как ебаклак, все таки призывом всем сидеть на кобольте это не является. Ну вот такое у него мнение.
Зачем я вообще трачу время на жирноту, пойду дальше блины печь, ёпта.
Скачал Q8.
Карточку персонажа не держит после таймскипов, включает самодеятельность и просто превращает в дженерик блядину, если ты написал что допустим прошло 5 лет.
НО! Проза хоть и слегонца слопанутая, но гораздо более насыщенная по сравнению как с базовой мистралью, так и с 4.1 от драммера.
Я не помню че там было на старом мерже, который все оценили, но этот точно неплох.
А чем это является? Ясчитаю, или перечисление отдельных плюсов - да. А заявление что всем - нет, от того и прилетает.
И в целом, фанатичные любители кобольда довольно забавны и всегда вызывают желание их подстебнуть и обличить, прямо олицетворение плохих качеств и мракобесия. Именно фанатичные офк, а не просто ленивые.
Проблема фронта кобольта, что он нахуй не нужен. Только протестировать, не более.
Таверна, при всех её недостатках, лучше в разы.
Вот и получается что единственное его преимущество, это помочь ньюфагу хоть что то запустить, а потом перекатываться на другие инструменты.
Чувак все обсуждение за/против жоры/кобольда свёл к "мне норм. чё ещё нужно то?"
За что заслуженно получил по жопе, стёб и пассивная агрессия следствие его способа вести "диалог"
Вещь "для начинающих" хорошо своей простотой, но плоха если становится причиной острого синдрома утенка. Не нужно останавливаться на достигнутом и бояться осваивать новое, экспириенс будет лучше радикально.
> гуи удобнее
В том и дело что он неудобный. Сделали бы его полноценным, чтобы было много настроек, можно было галочками и масками управлять теми же тензорами, сохранялись пресеты со всем нужным, чтобы запускать все в один клик - вопросов бы не было. А тут мелкое штрашное уебише, в котором нужно делать много манипуляций, прыгая по окнам, вставлять большие строки команд, да еще наслаждаться распаковкой при каждом запуске.
>>1328122
В голос
>Проблема фронта кобольта, что он нахуй не нужен. Только протестировать, не более.
В целом так, но я бы не сказал что он ужасный, 1-2 недели вполне можно посидеть, но таверна почти во всем лучше само собой, если разобраться.
Так что лучше кобольда для новичка ничего нет, 1 файл скачал + модель и карточку перса и можно кайфовать.
Позвонил, сказали чтобы больше не постил на дваче хуйню и сделал какую то бочку.
У вас доски есть ? Я просто никогда бочки не собирал.
Его можно распаковать 1 раз (Extra > Unpack to folder), пресеты имеются (save/load config), тензоры пока что через regex. Может ты давно последний раз запускал кобольда? Сейчас он в полном порядке. Но пиздит т/с или нет я не знаю, не сравнивал
> сохранялись пресеты со всем нужным,
Пиздоглазая обезьяна, там есть кнопка сохранения пресетов.
>Карточку персонажа не держит после таймскипов, включает самодеятельность и просто превращает в дженерик блядину, если ты написал что допустим прошло 5 лет.
А вот тут рисуется такой вопрос: IRL за пять лет тоже ничего в характере у человека не поменяется? Да?
Так это точно недостаток модели, или может быть - ее попытка в развитие персонажа? (МБ неудачная, но все же...)
>>1328112
>Таверна, при всех её недостатках, лучше в разы.
Для РП. Если тебе хочется просто рассказ писать на пару с сеткой - хрена с два она лучше.
он медленнее чем даже лмстудио
как до сих пор кобольддцп не вымер среди тредовичков остается секретом
А вот вы можете наблюдать кобольтоюзера в естественной среде обитания : солнечный свет и внимание его пугают, из за чего у него включается защитный инстинкт и он начинает плеваться ядом.
Удивительное создание.
Дааа... Интересно почему их недолюбливают
Милейшие создания!
>я не опозорился на весь тред, это все кобольдоюзеры в мои штаны насрали
С чувством юмора у кобольдов тоже печалька. Неудивительно, в основном это скуфидроны что читают достоевщину на геммочке
Покормил
Дай хоть тазик подставлю, ты уже вытекаешь из моего монитора.
Ну он действительно не очень. Его настроить сложнее, чем прописать все ручками.
Ну я тащем-то и не соврал. Кобольд старики используют, которые ничего в компах не выкупают. И большинство судя по треду катают на русике
>Кобольд старики используют, которые ничего в компах не выкупают.
В таком случае LmStudio проще. А старики вообще все привыкли пердолить через консоль. Я не удивлюсь если все пользователи жоры это 30+ лет.
Опа, так и знал что ты то шизло, устроившее недавно русикосрач. Не надоело еще самоутверждаться какими-то базовыми навыками типа владения инглишем или умением запускать софт в консоли? Вааау бро, ты такой крутой, ты умеешь пользоваться ТЕРМИНАЛОМ, вот это да! Настоящий хакер, ах!
Держу в курсе: кобольдом пользуются потому что он тупо удобен, а его вебморда под сторителлинг и ассистента - так вообще топчик. И да, на русском общаться точно также удобнее и приятнее.
> В таком случае LmStudio проще.
Там персонажей нет. Лмстудио используют в основном кому просто любопытно в целом ллм потыкать
> А старики вообще все привыкли пердолить через консоль.
Та не. Как раз сознательные молодые и пердолятся, потому что силы есть и желание получить хороший опыт. А дедунам-пердунам похуй, они с тяжелой плохо оплачиваемой работы возвращаются в свою панельку и им хоть бы как погонять, вон выше пишут "мне хватает" "обезьяна пиздоглазая" ты вообще слышал такое где-нибудь?
Звучит как ирония но так и есть. Кому не похуй и у кого силы есть разберутся адекватно инференсить через лламу или экслламу если гпу есть, а подпивасычы хуй забьют и будут сидеть на кобольде. так было, есть и будет
> Опа, так и знал что ты то шизло, устроившее недавно русикосрач
Ваще мимо аноныч, я тогда тихонько кекал и призвал улетать в ридонли. Жаль срача толком не случилось. Любят тут охоту на ведьм
Ну можно всем в школе рассказать какой ты крутой и тебя сразу зауважают, очевидно же
Товарищ майор, а не сходить ли вам нахуй?
Тыщу раз уже объясняли в треде. Ну вот зачем мне втысячапервый объяснять? Скорость. У меня на голой Лламе на 15% быстрее например. Какого хуя? Не знаю, Питон или суп из семи залуп под капотом например, больше абстракций
Гибкость в настройке. Можно выжать из железа максимум. Про скорость это я писал при одинаковых настройках, а на Лламе больше параметров офлоада, про что большинство кобольдов и не слыхали, можно еще больше токенов выжать. Ну а кому это надо? Тем кому не похуй, кто готов запускать лучшее на своем железе лучшим способом
Заметь еще, тут тредовички никогда какахами не кидаются в кобольдов и адекватно говорят, а обратная ситуация частенько возникает
>да еще наслаждаться распаковкой при каждом запуске
Ебанутый? Или слепой? Или просто токсичный уебан?
Ты сейчас серьезно и не выкупил иронии связанной со словом призыв и телефоном МО ?
>запускать все в один клик
пресеты лаунчера + saved state фронта
Мне 33, я на кобольде. Как будешь оправдываться?
Как забавно следующим же постом видеть подтверждение своих слов... Мммм... Услада для души
>фидбек
был уже джва раза
>>1328149
>пресеты
https://pixeldrain.com/u/e6tdDL71
Или батник который не меняется, созданный один раз. Как говорится - каждому своё.
>>1328214
>Как будешь оправдываться?
Мне 37 и я могу сказать, что ты ленивый хуй.
>да еще наслаждаться распаковкой при каждом запуске
Сколько это занимает, 3 наносекунды?
>>1328208
>а на Лламе больше параметров офлоада, про что большинство кобольдов и не слыхали
С одной стороны да, с другой ебля с выгрузкой тензоров поштучно, когда их 700 штук...
>>1328210
Унылая шутка, тем более политота. Нахуй не нужно, посылаю нахуй.
>>1328219
>Мне 37 и я могу сказать, что ты ленивый хуй.
Да, я знаю. И горжусь этим. Это в 15 можно с горящими глазами полночи сидеть компилять винду, а в 30 хочется стабильности, спокойствия и отсутствия обновлений (мечты-мечты, эх...).
>ты вообще слышал такое где-нибудь?
Слышал, и как раз от деда.
>так было, есть и будет
In aeternum et in aeternum. Omen.
>>1328218
Слежу за этими отношениями как за анимешным ромкомом.
Тут и драма, и предательство. Даже цундере есть.
Люблю этот тред
Восхитительно
>с высокой долей вероятности не соевый.
Погонял немного Q4_K_M и могу подтвердить, никаких отказов, никакого моралфажества пока не наблюдаю. Сложно сказать насколько он в целом хорош, слишком мало его ковырял, но минимальный уровень сои уже хорошо.
и только лишь немногие знают что ты дал этому начало...
тебе и исправлять положняк. сделай то что сделал однажды, заеби его настолько что он вылезет из ридонли и вернет пиксель
>а в 30 хочется стабильности, спокойствия и отсутствия обновлений
Два чая. Мне 34, сижу на дебиане, пользуюсь кобольдом. Запускаю баш-скриптами, где сразу подхватывается файл настроек и параметры запуска под каждую модель. Буквально пара кликов - и сидишь общаешься с ллмкой довольно урча. А дроч ради дроча - нахрен не надо.
Ну это же кринж. Удобно - это когда запускаешь tabby/yals, прямо из таверны выбираешь нужную модель и погнал. Или когда запустил готовый шеллскрипт с лламой сервером. Или можно лламой-свап обмазаться и также можно будет через таверну менять, но там конфиги не такие гибкие.
А вот эту херь с мерзотным микроокошком найди, запусти, пролезь в лоад пресет, выбери конкретный, открой его, нажми запуск, чтобы получить поломанную и медленную ллама-сервер - зачем?
>>1328150
Обезьяны - это фанатики кобольда, безальтернативно.
>>1328183
База, только тугой и совсем закостенелый после неосиляторства, будет восхвалять его только за то что был первым опытом и потому что ни во что другое не умеет, лол
>батник который не меняется
пресет тоже не меняется, и его можно сделать запускаться с даблкдика,
a saved state - это аналог master import в таверне, только ещё может включать в себя карточку и чатлог
>ты дал этому начало...
Океееей. Ладно, мелкобуква, снимаю шляпу. Ты действительно оказался прав. Не знаю как правда, курсивом пишу не только я. Но я его поджигал, не мне его заебывать переделанными пастами про пресеты.
> тут тредовички никогда какахами не кидаются в кобольдов и адекватно говорят
Еще как, прежде всего в фанатичных маргиналов. Это ведь того же поля ягоды что главные участники русикосрачей, а еще очень много мотивации происходит из опасения оказаться в отстающих ибо ничего другого не умеют. Потому такой агрессивный болотошиллинг, или оправдание откровенного ублюдства всратым костылем >>1328209 мм.
>>1328219
> Или батник который не меняется, созданный один раз
Для лламы сервера.
>>1328235
Вот это круто, если еще что-нибудь будешь катать - не стесняйся делиться впечатлениями.
>А вот эту херь с мерзотным микроокошком найди, запусти, пролезь в лоад пресет, выбери конкретный, открой его, нажми запуск
Дабл клик на файле пресета не хочешь? И всё.
>>1328243
Не пробовал купить SSD взамен IDE жёсткого диска, доставшегося в наследство от деда?
>доставшегося в наследство от деда
От деда в наследство перфокарты остались с НИИ где стоял комп с лампами и размером со спортзал =))
Вроде 40 слоев.
13,5 гигов файл?
Ну, что я тебе могу сказать.
Открываешь диспетчер задач.
Смотришь поле Оперативная память графического процессора (из трех памятей это левая нижняя). Там будет больше 12, потом что кэширование в оперативе.
Но тебе надо выгрузить столько слоев + добавить столько контекста, чтобы суммарно было не больше 12. 11,9 или около того.
И увеличение -ngl и увеличение -c ведет к жору видеопамяти. Просто запускаешь с разными параметрами — и смотришь.
Чем больше -ngl — тем выше скорость генерации.
Чем больше -c — тем больше моделька помнит (контекст).
Сам ищешь свой баланс — быстрее модель, или больше контекста (дольше чат адекватный). =)
>>1327945
> Богатый дохуя
…и чут чут поехавший. =)
>>1327998
Почти осс-120б, или глм-аир-106б, но как известно, ничего лучше глм-32 геммы 27б мистрали смолл мистрали немо геммы 0,27б нет и большие модели херня. =)
>>1328007
Это как? Я 128 с нуля за 90 собрал. Не факт, что оно будет работать, но… =) Или ты проц тоже менять собрался? На i9?
Вместо с жорой тоже идет фронт, как бы. И даже более понятный для новичков, так как он не переусложнен функциями что им знать не надо.
На 24B больше 5-6 токенов на 3060 не получишь. Твой потолок (как, впрочем и мой, и всех других обладателей "народной" видимокарточки) - 12В-шки.
Но кое-что посоветовать могу. Пробуй МоЕ модели, вроде вот этой: L3.2-8X3B-MOE-Dark-Champion-Inst-18.4B. У меня на IQ4_XS она просто летает (30-35 токенов против 25 у 12-шек), при этом ощущается умнее (но умеет только в инглиш).
>по особенностям письма аватарок выявляет
вот кому-то делать нехуй
> Дабл клик на файле пресета
Уже лучше. Но требует существенных манипуляций лишь ради замедленной llama-server без части функционала, прямо пикрел.
>На 24B больше 5-6 токенов на 3060 не получишь
Получаю стабильные 8 токенов на 34 слоях, и это без выгрузки тензеров. Что у тебя вместо оперативной памяти стоит? Все биты на листочек выписываешь и вручную распределяешь?
>И как долго на перфокартах распаковывается кобольд?
Таааак, хуё-моё, одна перфокарта - 80 байт, в кобольде ~960 мегабайт, итого получается 12 миллионов перфокарт. Даже если объединить их в перфоленту где каждая карта считывалась за 0.25 секунды без перерывов и сбоев, получается около 35 суток чистого времени.
Зато стабильно работает, удобно! И скорости мне хватает.
Нет, я ненавижу вниманиеблядей.
>>1328304
>Но требует существенных манипуляций
Один раз проставить настройки в интерфейсе и сохранить файл. Конечно же это на порядок сложнее, чем читать хелп в консоли и писать батник ручками (нет).
Ты забываешь еще про обработку и смену магнитной бабины. Я не помню сколько там была оперативка лол, но результат все равно переносить на постоянный носитель.
> Я не помню сколько там была оперативка
её в принципе не было, в качестве оперативки были сами операторы
Были, были. Я точно помню, так как щупал и запускал Минск-32 (Это отдельная история, я не настолько дед), там магнитные платы были.
Даже нашел, как на пике.
> Один раз проставить настройки в интерфейсе и сохранить файл.
Пердолинг как суть существования. Понимаю.
Ну смотри:
Скачать sfx архив @ Запустить @ Извлечь в папку @ Закрыть, запустить из папки @ Искать в интерфейсе куда безумный разум засунул нужные параметры и что соответствует готовым ключам запуска, которые все обсуждают, вместо их прямого копирования @ Осознать что тебе все равно придется использовать текстовые команды в поле в гуйне, потому что интерфейса для них не существует @ Не забыть сохранить пресет перед тестовым пуском, повторять те же манипуляции с запуском, загрузкой пресета, корректировкой параметров, сохранением пресета, пока параметры не будут подобраны @ В шинде выбрать ассоциацию с файлом пресета через контекстное меню (у него, надеюсь, свое уникальное расширение?), в линуксе настроить .desktop файл и ассоциации, чтобы действительно запускалось по клику на пресет @ При обновлении наслаждаться тем, что пресет не работает из-за очередных нововведений.
Ну такое себе. Для той же лламасервер половина или больше этих этапов пропускается, а все манипуляции осуществляются в шеллскрипте или батнике. Их написание без шуток быстрое и удобное из-за отсутствия необходимости лазить в гуйне, просто меняешь отдельные параметры в скопированном скрипте с других моделей.
Немаловажным является и удобство обновлений.
Этот спор бы имел смысл, если бы жора менял команды при каждом релизе. Но они неизменны.
Один раз разобраться и хоть аллаха на кофеварке запускай в 0.25 бита.
Ей богу, у меня больше пожара вызвала установка таверны, которая просто положила систему бсодом, а потом все вообще поломалось на скачивании с гита. Буквально Эдвард-руки-из-жопы.
>Ей богу, у меня больше пожара вызвала установка таверны, которая просто положила систему бсодом, а потом все вообще поломалось на скачивании с гита. Буквально Эдвард-руки-из-жопы.
Жееесть.
Я конечно тоже немного затупил с нодами, но настолько она мне всё не ломала.
Жора не меняет, зато кобольд - да. С ключами запуска еще забавно, это странное желание сделать их не как у жоры.
У таверны толком нет нормальных альтернатив не смотря на корявость.
> бсодом
> поломалось на скачивании с гита
Это неутешительно.
>Скачать sfx архив @ Запустить
@ Выбрать модель @ Играть
>Осознать что тебе все равно придется использовать текстовые команды в поле в гуйне, потому что интерфейса для них не существует
Так существует или нет? Ты сам себе противоречишь.
>а все манипуляции осуществляются в шеллскрипте или батнике
То есть ебля с сонсолью. Люнуксойды конечно же рады, но я нет.
> Так существует или нет
-ot и множество других параметров, с подключением, нюфаня
> То есть ебля с сонсолью
Вернулись к тому с чего начинали: утята отстаивают свое прямо жрать кобольда с лопаты, аргументируя страхом перед операциями в текстовом редакторе. О том и речь, унтерменьши.
>ot и множество других параметров
Они есть в гуй? Есть. Хули тебе мало?
>страхом перед операциями в текстовом редакторе
Еблёй с сонсолью, да.
указывать первую часть
Thomas-Shellby-2b-00001-of-00003.gguf
> Они есть в гуй?
Контрекстшифт сработал? Для него не сделали интерфейс, хотя простор был очень богатый. Лишь текстовое поле шириной с твой мозг, в которое придется вставлять длинную строку и наслаждаться ее редактированием. Реализовать подряд несколько по очереди применяющихся регэкспов невозможно.
> Еблёй с сонсолью
Что ты в этом треде забыл, недоразвитый?
Тебя траллингуют. Может быть тупостью, но какая разница?
Некоторым нравится. Иначе зачем уже столько постов переливать из пустого в порожнее?
Аватаркосрачи - ✓
Моделькосрачи - ✓
Железосрачи - ✓
Кобольдосрачи - ✓
Жду с нетерпением фронтосрачей .
99 драма - ✓
признание в любви и шокирующие открытия в следующей серии
>Для него не сделали интерфейс
>текстовое поле
Так сделали же, хули ты копротивляешься?
>хотя простор был очень богатый
Ну так делай. Нет, не могёшь? Хули жалуешься тогда?
>Что ты в этом треде забыл
Адрес твоей мамки, азаза.
Хочется иметь чистый фронт под текст комплетишн, без рудиментарной хуйни и прочих нагромождений. Разумеется, для чатов с персонажами. Про дефолтные чат-морды с ассистентами я итак в курсе, оно мне не надо.
Хотя. Я еще не пизданулся окончательно и не страдаю галлюцинациями. Но я точно видел какой то японский фронт, который, невзирая на то что у лунных очень специфичное понимание дизайна, выглядел он не плохо. Надо бы поискать, я точно где то линки сохранял.
Лень разбираться в очередном сраче, но скажу за себя, что морда кобольда это кривая параша, на которую даже смотреть тошно. Для дефолтных задач пойдет, для ролплея точно нет.
>>1328582
Не ризу случайно? Не знаю насчет того, узкоглазые ли её делали, но это тоже не то.
Если что, кобольд выдавал 2 токена в секунду. Вопрос закрыт.
Мне двух токенов хватает. Какие у тебя другие аргументы?
>L3.2-8X3B-MOE-Dark-Champion-Inst-18.4B
Это что за ебаный франкештейн блядь, кто-то взял 8 одинаковых плотных llama_3.2_3B, прогнал через файнтьюн и зашил внутрь мое-поганища в виде лже-экспертов?
Не хватает пользователя олламы в виде сосущего соску младенца.
2k context: pp 164 -> 131, tg 11->7.5
10k context: pp 136 -> 120, tg 7->6 (генерация кста не сильно просела)
Дальнейшее исключение тройки видюх из хвоста еще больше пидорасит:
2k pp 108, tg 6.2
10k pp 106, tg 5.5
Это говорит о том, что нехуй выебываться и даже самое дряхлое говно, подключенное через райзеры, спаянные китайскими бомжами в подвалах Бангладеша, лучше обычной советской DDR4. У бояр c DDR5 с миллионом каналов ситуация может быть другая, конечно.
К слову, вот вы говорите про дипкок. А как его запускать-то? Ниче тот факт, что жора до сих пор фа не поддерживает, он ебанутый чи не https://github.com/ggml-org/llama.cpp/pull/11557? А на ik лламе фа не работает на теслах, то есть -48 гб из моей врам как корова языком слизнула. В общем, говно без задач, это либо со скрипом гоняй второй квант, либо имей под рукой сервак с 256/512 ram
Создается впечатление что что-то подсирает, возможно медленное подключение основной карты.
> А как его запускать-то?
Просто и без задней мысли, как любую моэ модель. Есть опция скачать лоботомита и катать с минимальной выгрузкой.
> до сих пор фа не поддерживает
Погугли mla в дипсике
> на ik лламе
Она малополезна для мультигпу сетапов
Мне напомнило как в "Мире дикого запада" была команда "Freeze all motor functions", которая переводила тамошних ботов в аналогичный режим дебага.
>Создается впечатление что что-то подсирает, возможно медленное подключение основной карты.
Не она точно, там честные х16.
>Погугли mla
Это ортогональные вещи, насколько я знаю. Впрочем, твой ответ побудил сходить и я таки нашел
https://github.com/ggml-org/llama.cpp/pull/13435
https://github.com/ggml-org/llama.cpp/pull/13306
Единственное, что названия какбэ намекают, что теслы пошли нахуй... Но надо проверить, вдруг уже тоже поддержали в другом PR. Непорядок, если так оно и есть, удар в псину от жоры.
Темплейты не глупые люди наверное разрабатывали, если стоит names - always значит так и надо.
Просто перестало в середине чата выводиться сообщение, удаляй, откатывай на пару назад, - всё похуй, токены пишутся, таверна не выводит.
И только names - always с never помогло
это явно не проблема темплейтов, у меня всегда Never ибо имена (как настройка) пиздец отупляют и модель теряет возможность управлять несколькими персонажами + нарраторить, такое только для чисто ассистентов и потрепушек 1-на-1
Кстати, очень хорошие результаты даёт сторителлинг от третьего лица без маня-селф-инсертов, с добавлением в промт:
Keep responce formatting. Formatting examples:
Имя: "Прямая речь."
Имя (мысли): "(продумывание, размышления)"
Ну, и самому придерживаться того же формата.
То же самое что с именами, но не ломает разметку и модель.
>70B ллама
устарела, не нужна
конечно, никто не отбирает, и хуже сама по себе не стала, но появилось много штук намного лучше
Это блять что такое, какие 4.6Т параметров сука?
Ебушки-воробушки... небось это под неё строили городок-датацентр, охраняемый похлеще Зоны-51.
Потому что винда отъедает 4гб видеопамяти, даже если они не заняты.
>34
Потому что старая видюха и если поставить больше, то вместо 20 т/с станет 15.
>42
Остаточек на новую видюшку с полностью свободной видеопамять.
Какого хуя я должен это подбирать вручную, почему оно автоматически не может найти лучший вариант?
>>1328793
Я понял, это мистер бивень аka морж из бомжей
>Let me answer this:
>One: this isn’t spam. Deca 3 Alpha is an experiment, and yes, it’s scaffolded from existing models. That was intentional and mentioned upfront. We’re testing routing, reproducibility, and scaling — we didn't pretrain this
>two, all reused components are properly licensed. We’ll be adding a NOTICE.md to clarify provenance, including InternVL.
Напиши алгоритм сам и кинь мр в репы.
Опять опенсорс комьюнити должно каждому бомжу
Потому что нет ни одной причины её использовать - в треде сидят умные люди, умеющие просчитывать value over spent resourses. Само качество этой неудачной модели находится незначительно выше 32b моделей. При этом эти 32b спокойно запускаются на 16-24 гб врам, а эту - ты не запустишь с нормальной скоростью имея ниже 48 гигов врам. Некоторую популярность в треде имел немотрон - который есть просто ужатая версия этой самой ламы до 49В, почти без потери качества, вот там уже были причины его использовать и многие его использовали и был даже небольшой культик этой модели.
Но после прорыва с оффлоадом мое тензоров, когда ты на 24 гб врама с нормальной скоростью можешь запускать мощнейшее мое типа глм аир и двухбитного квена 235, которые эту ламу просто уничтожают по качеству - и она и немотрон окончательно ушли в небытие.
Только никто не скажет, че там было отремонтировано.
Что за плашки? И что за проц? Амд? Если да - то неудивительно.
А на ддр4 разницы нет, потому что одинаково 2 токена в секунду кек
> двухбитного квена 235
Хватит форсить этот кал, аноны просто пошутили и свичнулись обратно на эир.
Никак абсолютно 2 квант чего либо не может быть лучше 4
>Никак абсолютно 2 квант чего либо не может быть лучше 4
Может при превосходстве в количестве параметров.
Например 2 квант немотрона умнее 4 кванта мистрали.
Алё, у тебя моэ, там "эксперты" абсолютно тупые получаются.
Беспруфные чепушилы в защите. Принеси аутпут Q2 лоботомита, посмеемся.
Мб попробую что-нибудь сообразить позже.
Беспруфные чепушилы в атаке. Принеси аутпут Q4 умницы и Q2 лоботомита, подтвердишь свой пиздеж.
Как мы докатились до такого?
Асигодети не знают основ?
Наборы по 32 и 48 гиг, очевидно, характеристики схожие, 6400 в базе CL30.
Амудя конечно же, больше процессоры уже никто не делает.
>>1328820
Знаю, сам сидел. Я конечно знал, что не заработает, но самому удостоверится надёжнее (и обиднее).
>>1328824
На самом деле рабочая подделка.
>>1328850
Тут вопрос в "235 q2 VS 106 q4", так что не всё так однозначно.
> мощнейшее мое типа глм аир и двухбитного квена 235, которые эту ламу просто уничтожают по качеству
Эир не уничтожает даже 32b плотную модель, о чем выше не раз писали. Ты о чем? Квен получше, конечно, только не кратно количеству параметров. Но в целом все верно, 70b Лламу нет резона юзать сейчас, вот и ответ
Сейчас есть одна 3090 и 32 гитара ОЗУ. Сижу на магнуме 24b и жду где то 20 секунд на ответ. Стоит ли купить 64 гига ОЗУ (ддр4)? Чтобы с таким же комфортом сидеть на чём то лучшим?
Ты можешь на одной 3090 использовать 32b модели в хорошем кванте и ждать те же 15-20 секунд на ответ. Может даже быстрее если на Экслламе
>Амудя конечно же, больше процессоры уже никто не делает.
Это аутотренинг? Вот у меня четыре плашки ддр5 как на интеле работают, скорость 5600 как заявлено, а не 3600 как у тебя.
У меня планки 5600. И интел честно пишет на коробке проца что скорости выше 5600 - не поддерживаются и юзер сам себе злобный буратино если таким занимается. Читал что с вольтажом начинаются проблемы на 6400 на моей матери и проце, а с таким я ебаться не хочу.
Не вижу на этой пикче 4-х плашек, вижу скорости и частоту, плашек не вижу.
>И интел честно пишет на коробке проца что скорости выше 5600 - не поддерживаются и юзер сам себе злобный буратино если таким занимается
Чего блять, лол.
Там скорости от пизды написаны, все до 6400 гонят не потея ни грама и всё нормально живёт
Или на 2-3 части с суммарайзом предыдущих частей разделить
Не лезет же. Это 22к слов, а не токенов.
>>1328895
Звучит как вариант. Я хотел deepl попроьоввть, а для нее нужно достать иностранную карту
Какая частота памяти и какой квант?
>>1328813
АМД не показатель, никто для нейронок на амд собирать не будет, интел же.
Ну или хотя бы 9950 вроде норм работал. Но цена за него не радует.
Вот би на интеле посмотреть…
Вообще, что скажите, я могу взять в ДНСе комплект памяти, а если оно не поедет — то просто вернуть?
Я честный и всегда возвращал тока ломанное.
>>1328862
Гуд ньюс. Остается надеяться, что 13400 потянет 256 гигов. хд
Прикидывал что +- по 3 токена на слово. Можно в лламу скаут залить, там вообще контекста до пизды хватило бы памяти на тачке
Да что за волшебство там на вашем интеле?
В чём разница то?
Все щас в один голос кричат амд топ
>все до 6400 гонят
Это на амуде. На интуле можно гнать хоть до 8 кеков.
>>1328904
>никто для нейронок на амд собирать не будет
Я...
>Ну или хотя бы 9950 вроде норм работал
Чиплет с контроллером один и тот же, разницы не будет.
>Вообще, что скажите, я могу взять в ДНСе комплект памяти, а если оно не поедет — то просто вернуть?
Бери дистанционно, должны принять по "не подошёл".
>>1328913
На интеле осталась только быстрая память, по остальным параметрам он действительно всосал.
Просто у АМ5 проблемы с четырьмя планками оперативы, и вообще плохо с псп.
Как-то так не фартит процам новым.
При том, что интуль хуже как процессор, но под RAM-нейронки выходит лучше.
>>1328915
> Бери дистанционно, должны принять по "не подошёл".
Угу, если все пойдет как надо, то через месяцок так и попробую.
>И интел честно пишет на коробке проца что скорости выше 5600 - не поддерживаются
Лол, ты и на сендиках небось сидел с DDR3 1333 МГц ?
>>1328924
Попробуй конечно, но росст циферек скорее всего увидишь только в тестах аида.
> Темплейты не глупые люди наверное разрабатывали
> если стоит names - always значит так и надо.
Интересно, а в каком дефолтном шаблоне стоят names - always? Думаю, ты не утруждался проверить, потому что это решило проблему в твоем конкретном случае. Ни у одного шаблона в Таверне из коробки такой настройки нет, кроме тех что с суффиксом -Names, коих целых две штуки. Везде Groups and Past Personas, потому что там это оправдано на мелкомоделях (на больших по-прежнему оставлять Never). Не говоря уже о чаткомплишене, где нет имен.
Эхх, даво хотел задать ебланский вопрос.
Вот это вот {{/if}}{{description}} - это что ?
Если есть описание у персонажа, оно передается в story string, если нет - не передается.
Получается это правила базовой разметки ?
А где задавать нужную мне пунктуацию (Ну мол, мысли персонажа через `мысль`, "диалог", выделение курсивом чувств - и прочее.
Это через system promt ?
В story string по итогу собирается почти весь промпт, который Таверна отправляет бекенду. Обрати внимание на {{#if system}}{{system}} - это и есть твой system prompt. Если он есть - передается, если нет - не передается. Иногда отсутствует {{/if}}{{#if mesExamples}}{{mesExamples}}, потому что не все передают сообщения таким образом. Кто-то делает это как на пике 2: Always include examples, и тогда story string будет передаваться второй экземпляр поля Example Messages из карточки персонажа. Короче говоря, это контейнер для сбора почти всего промпта (например, там отсутствует непосредственно история сообщений). Сами инструкции, в том числе какие ты описал, тебе нужно писать в system prompt. Иногда, для удобства, в контексте конкретных моделей можно и в story string размещать инструкции, чтобы system prompt был более гибким и универсальным. Например, джейлбрейк Коммандеров в дефолтном шаблоне Таверны, из коробки, находится именно там - в story string.
Всё что я могу сказать - это ОГРОМЕННОЕ ПАСЕБА.
У тебя какой-то свой скин для таверны? Давно не обновлялся, темные темы глаза режут пиздец.
Так, если мне не изменяет память, ты сам можешь ручками в таверне хоть все цвета мира поставить.
Вот, точно можно
https://docs.sillytavern.app/usage/core-concepts/uicustomization/#theme-colors
А вообще, тему надо выбирать на основе освещения в комнате. Хотя кому я это пишу, сами все и без меня знаете.
Та же проблема, никогда не использую темные темы. Это элементарный рескин, который делается за пару минут в User Settings -> UI Theme -> Theme Colors
Чтобы использовать кастомный фон, нужно его загрузить в Таверну: SillyTavern\data\default-user\backgrounds или имя пользователя вместо default-user и выбрать во вкладке сверху, что обведена синим
>LaTeX extension
хи хи хи
Хотя странно, в маткаде давно уже нормальная система записи формул, ну если хочешь матан фронт, ну реализуй как там.
Плохо, хорошо, нормально, отлично, ужасно.
Выбирай.
Всё зависит от корпы, твоих целей и задач. Сходи в ациг, там коробёбы, мы тут исключительно пердолим локалки и можем сравнивать их между собой.
Любая модель ощущается ужасно по сравнению с корпами даже в четвёртом кванте в рабочих задачах. Если речь про жирные модели корпов. Некоторые маленькие модели у них натурально 8б.
Мминуточку. Позволю себе не согласиться.
> Любая модель ощущается ужасно по сравнению с корпами даже в четвёртом кванте в рабочих задачах.
Как показывает практика, квен кодер порой лучше гопоты работает.
Все очень зависит от задач. Корпы имеют самые жирные датасеты, но из за сейфети лайнс, они крайне узко применимы. И я сейчас не про кум. Сейфети он во всем.
Перевести Де Сада ? Фу бля, пошёл нахуй пользователь.
Медицинские данные - а ты точно специалист ? У тебя обычный аккаунт, нахуй иди.
Я пробовал с ними сделать расчет АСДТ на горную выработку, так он моментально залупился.
Сука, если у меня есть ДТ и Селитра, я знаю пропорции, все что от тебя требовалось, это сделать простую математику с кислородным балансом. Но нет, взрывчатка же. Ведь террористам точно нужен кислородный баланс ВВ.
О каких жирных корпах речь? Дипсик? Или ты серьезно деньги платишь за ПукГПТ?
Да все. Клоды, гпт, дипсики - они все одинаково хуевы для узких задач. Это буквально зацензуренный масс продукт, который сгодится только как ассистент да гугл. И то, умудряется лажать с запросами.
Я все понимаю, но я очень очень разочаровался в корпах.
>>1329076
Увидел вскукарек про цензуру, стриггерился.
Просто надо промптить правильно.
>Просто надо промптить правильно.
А еще собирать кровь девственниц и обязательно писать промт в определенную фазу луны и молиться, чтобы тебе бан не прилетел.
Нахуй надо.
Локалки - это и MOE и ТВОе.
>вскукарек
Убил бы, блджад.
Ф пезду короче. Лучше скажите, кто нибудь ллама слоп от драммера использовал ?
Хз какие там баны, я экспериментировал с лютой дичью и аккич дипсренька жив до сих пор. Даже API код ни разу не менял.
Прогревайте риги, ёпта.
https://huggingface.co/TheDrummer/Behemoth-R1-123B-v2
Я за вас рад, конечно, но не от всего сердца.
>Quad channel ddr5
Дефолтное поведение интула на двух плашках, почитай про новшества DDR5.
>>1329142 (OP)
ПЕРЕКАТ
>>1329142 (OP)
ПЕРЕКАТ
>>1329142 (OP)