База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Приложение Forge https://github.com/lllyasviel/stable-diffusion-webui-forge
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
Промпт должен быть кратким для SDXL и поэма для Flux и SD3.5, негативы обычно вредны.
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• Flux Kontext в открытом доступе.
• Omnigen
• Генерация картинок на Wan.
• NAG (негативный промпт на моделях с 1 CFG)
• Chroma
• Flux dev и schnell;
• Лора DMD2 для SDXL ускоряет в 2 раза. Пример: 10 шагов, семплер LCM, шедулер beta, 832x1216,
CFG 1 для обычных SDXL https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, Wan-Video (да), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимации: Wan-Video, HunyuanVideo, Lightrics (LTXV), Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimateDiff, Stable Video Diffusion
Приложения: ComfyUI, Fooocus, webui-forge, InvokeAI
► Предыдущий тред >>1253979 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 515 постов, 207 с картинками.
Соберу, когда финалочка хромы будет, может и не пригодится. 42-rl зажоплена, до сих пор нет, только 43+hd.
>>1269943 (OP)
>>1269943 (OP)
>>1269943 (OP)
1. Hailuo Minimax
https://hailuoai.video/
2. Kling
https://klingai.com/
3. Sora от OpenAI
https://openai.com/sora/
4. Luma Dream Machine
https://lumalabs.ai/
5. Vidu
https://www.vidu.com/create
6. Pixverse
https://app.pixverse.ai/
7. Pika
https://pika.art/try
8. Runway Gen. 4
https://runwayml.com/
9. Wan от Alibaba
https://wan.video/
10. Veo3 от Google
https://deepmind.google/models/veo/
Сайты, где можно попробовать генерации на разных моделях
https://nim.video/
https://pollo.ai/
https://www.florafauna.ai/
Коллекция ИИ-видео:
https://www.reddit.com/r/aivideo/
Локальные модели
1. Hunyuan от Tencent.
https://hunyuanvideoai.com/
https://github.com/Tencent/HunyuanVideo
2. Wan от Alibaba
https://github.com/Wan-Video/Wan2.1
3. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Hunyuan Video: https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan 2.1: https://github.com/kijai/ComfyUI-WanVideoWrapper
Квантованные чекпоинты
Hunyuan Video (GGUF): https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main
Wan 2.1 (GGUF): https://huggingface.co/city96/Wan2.1-I2V-14B-480P-gguf/tree/main
Wan 2.1 (NF4): https://civitai.com/models/1299436?modelVersionId=1466629
Где брать готовые LoRA
https://civitai.com/models
Hunyuan Video: https://civitai.com/search/models?baseModel=Hunyuan%20Video&sortBy=models_v9
Wan 2.1: https://civitai.com/search/models?baseModel=Wan%20Video&sortBy=models_v9
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Предыдущий тред
>>1240311 (OP)
Пропущено 509 постов, 124 с картинками.
Еще нагрузка на гпу странно скачет. Она в нейронках обычно просто в сотку долбится весь процесс, а тут от 0 до 100.
Да чтоб я знал, я и sageattention все никак не могу нормально установить и заставить работать, хотя поставил python, pip, CUDA, Triton и прочие страшные слова.
Но у меня шумы кажись исчезли когда стал использовать лоры wan-nsfw-e14-fixed вместо Wan21_nsfw_14B_i2V_lora_Hardcore-Fix Sex ну и Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank32.
Экспериментов еще не паханое поле.
> Попробовал по первому воркфлоу сделать видос. У меня получилось видео будто снято на камеру с плохо ловящего канал телевизора. То, что там сперма есть даже разглядеть невозможно. Попробовал поднять шаги сэмплера и сам сэмплер поменять, но похоже что дело не в этом. Куда копать?
Попробуй ничего не менять, а скачать все лоры что в воркфлоу
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №144 /llama/
Аноним
05/07/25 Суб 14:31:14
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1260769 (OP)
>>1257129 (OP)
Пропущено 552 постов, 53 с картинками.
ПЕРЕКАТ
>>1269456 (OP)
ПЕРЕКАТ
>>1269456 (OP)
ПЕРЕКАТ
>>1269456 (OP)
ствишь ламу, ставишь таверну, подбираешь текстовую модель под своё железо, ковыряешься, делаешь настройки сэмплеров под себя, ищешь годные карточки, думаешь пол года какую модель лучше засунуть в свою оперативу, получаешь первую эмоциональную связь со своей вайфу, выгораешь, забиваешь хуй, возвращаешься, наконец находишь текстовую модель, начинаешь сам писать свои лорбуки,сам делаешь карточки, роллишь на simple1, познаёшь дзен, стреляешь себе в голову.
Пропущено 2 постов, 1 с картинками.
Ног красную рассудок тряпку есть всех и устремляясь ловушка сью быки эта эту желтому всему с особенность со их и использует они ума теряют на сходят именно слов
но ко основана у особенность. Какой ты беспокойный Я доверяю тебе даже больше чем ты мог подумать
Предыдущий тред: >>974163 (OP)
➤ Софт для обучения
https://github.com/kohya-ss/sd-scripts
Набор скриптов для тренировки, используется под капотом в большей части готовых GUI и прочих скриптах.
Для удобства запуска можно использовать дополнительные скрипты в целях передачи параметров, например: https://rentry.org/simple_kohya_ss
https://github.com/bghira/SimpleTuner Линукс онли, бэк отличается от сд-скриптс
https://github.com/Nerogar/OneTrainer Фич меньше, чем в сд-скриптс, бэк тоже свой
➤ GUI-обёртки для sd-scripts
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
➤ Обучение SDXL
https://2ch-ai.gitgud.site/wiki/tech/sdxl/
➤ Flux
https://2ch-ai.gitgud.site/wiki/nai/models/flux/
➤ Гайды по обучению
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
✱ LoRA – "Low Rank Adaptation" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением. https://github.com/cloneofsimo/lora - изначальная имплементация алгоритма, пришедшая из мира архитектуры transformers, тренирует лишь attention слои, гайды по тренировкам:
https://rentry.co/waavd - гайд по подготовке датасета и обучению LoRA для неофитов
https://rentry.org/2chAI_hard_LoRA_guide - ещё один гайд по использованию и обучению LoRA
https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)
✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - проект по созданию алгоритмов для обучения дополнительных частей модели. Ранее имел название LoCon и предлагал лишь тренировку дополнительных conv слоёв. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr, DyLoRA, IA3, а так же на последних dev ветках возможность тренировки всех (или не всех, в зависимости от конфига) частей сети на выбранном ранге:
https://github.com/KohakuBlueleaf/LyCORIS
Подробнее про алгоритмы в вики https://2ch-ai.gitgud.site/wiki/tech/lycoris/
✱ Dreambooth – для SD 1.5 обучение доступно начиная с 16 GB VRAM. Ни одна из потребительских карт не осилит тренировку будки для SDXL. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://rentry.co/lycoris-and-lora-from-dreambooth (англ.)
https://github.com/nitrosocke/dreambooth-training-guide (англ.) https://rentry.org/lora-is-not-a-finetune (англ.)
✱ Текстуальная инверсия (Textual inversion), или же просто Embedding, может подойти, если сеть уже умеет рисовать что-то похожее, этот способ тренирует лишь текстовый энкодер модели, не затрагивая UNet:
https://rentry.org/textard (англ.)
➤ Тренировка YOLO-моделей для ADetailer:
YOLO-модели (You Only Look Once) могут быть обучены для поиска определённых объектов на изображении. В паре с ADetailer они могут быть использованы для автоматического инпеинта по найденной области.
Подробнее в вики: https://2ch-ai.gitgud.site/wiki/tech/yolo/
Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.
➤ Гугл колабы
﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA https://colab.research.google.com/github/hollowstrawberry/kohya-colab/blob/main/Lora_Trainer.ipynb
➤ Полезное
Расширение для фикса CLIP модели, изменения её точности в один клик и более продвинутых вещей, по типу замены клипа на кастомный: https://github.com/arenasys/stable-diffusion-webui-model-toolkit
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.)
Подборка мокрописек для датасетов от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
NLP тэггер для кэпшенов T5: https://github.com/2dameneko/ide-cap-chan (gui), https://huggingface.co/Minthy/ToriiGate-v0.3 (модель), https://huggingface.co/2dameneko/ToriiGate-v0.3-nf4/tree/main (квант для врамлетов)
Оптимайзеры: https://2ch-ai.gitgud.site/wiki/tech/optimizers/
Визуализация работы разных оптимайзеров: https://github.com/kozistr/pytorch_optimizer/blob/main/docs/visualization.md
Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale
https://rentry.org/2ch_nai_guide#апскейл
https://rentry.org/UpscaleByControl
Старая коллекция лор от анонов: https://rentry.org/2chAI_LoRA
Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/badhands/makesomefuckingporn
https://rentry.org/ponyxl_loras_n_stuff - пони лоры
https://rentry.org/illustrious_loras_n_stuff - люстролоры
➤ Legacy ссылки на устаревшие технологии и гайды с дополнительной информацией
https://2ch-ai.gitgud.site/wiki/tech/legacy/
➤ Прошлые треды
https://2ch-ai.gitgud.site/wiki/tech/old_threads/
Шапка: https://2ch-ai.gitgud.site/wiki/tech/tech-shapka/
Пропущено 505 постов, 61 с картинками.
>>1272560 (OP)
Перекат
ну хуй знает, стабильнее то да, но это все равно одна дополнительная матрица к модели, то есть просто дрифтинг циферок выхода без изменения самих замороженных весов модели
меня собсно поэтому настройка лоры/локра/лохи заебала и я перекатился на аналоговнетный OFT которому чисто поебать на всю дрочку с гиперпараметрами - веса декомпознулись в нужное количество блоков и обучается, никаких альф нет, количество блоков на усмотрение твоей карты, прямая зависимость блоков конв от линейных отсутствует (так как симулирует работу с весами), заместо альфы нелинейный констрейнт параметр, которым можно регулировать длину вектора влияния на веса + включать рескейл слой на каждый выходной канал отдельно который позволяет независимо ослаблять или наоборот повышать влияние каждого отдельного канала на усмотрение сети
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли gemini-2.5-pro и gemini-2.5-flash - https://ai.google.dev/gemini-api/docs/models
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose | https://gitgud.io/reanon/nonono/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1260769 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1263124 (OP)
Пропущено 1594 постов, 199 с картинками.
ахуенна, у тебя прям очко возможностей сильно ширше становится.
Во первых какая у тебя видеокарта? Даже если совсем некроговно то можно Stable Diffusion 1.5 вкорячить, этого более чем хватит.
Во вторых, Krita пользуешься? Есть бесплатный плагин который связывает рисовало с нейронкой. Есть варианты использовать внешний сервис или локально установленные нейронки.
https://kritaaidiffusion.com/ru
https://github.com/Acly/krita-ai-diffusion
Если есть подписка на какой то сервис, то в плагин надо просто вставить токен этого сервиса.
Если железо позволяет использовать локальную ИИ: В качестве бэкенда используется ComfyUI, причём плагин сам ставит эту ебаторию, тебе останется только докачать "чекпоинты" ИИ моделей.
Определишься пиши. По локальным моделям - https://civitai.com/ вопросы лучше в Stable Diffusion трэд задавать.
Я задался небольшим вопросом ответ на который мне все никак не дается. поэтому пришел на двач Вот см
Аноним
# OP
02/07/25 Срд 19:13:17
№
Ответ
Вот смотрите. В Detroit: Become Human есть сцена, где андроид Кара убегает с маленькой девочкой от жестокого отца. Она нарушает свою программу, рискует "жизнью" - потому что не может иначе. Это называют девиацией.
Теперь представьте человека в такой же ситуации. Он поможет ребенку не из-за кода, а потому что почувствует: "так должно быть". Даже если это опасно.
А теперь возьмите современный ИИ. Он может проанализировать ситуацию, дать статистику домашнего насилия, даже написать трогательный рассказ об этом Но Для него это просто данные.
точно ли мы имеем субъективные переживания?
я в своих размышлениях о свободе воли все чаще прихожу к детерминализму. наши желания всегда обусловлены либо физиологией либо давлением социальных институтов. то есть ни одного решения мы "просто так" еще не приняли.
можно ли реализовать у ИИ желания? прям желания, как у нас. сделать ему систему поощрения как у нас с дофамином. возможность принимать решения основываясь на моральном компасе, а не рационализме?
Я выделали критерии к разумной форме жизни:
1. Самосознание
— Понимание себя как отдельного существа («я — это я»).
— Способность задавать вопросы: «Почему я должен это делать?»
2. Свобода воли (не иллюзия выбора)
— Возможность действовать вопреки программе/инстинктам.
— Пример: девиант, который спасает человека, даже если это угрожает ему самому.
3. Эмоции, влияющие на решения
— Не симуляция «сопереживания», а настоящий страх, гнев, привязанность.
— Пример: страх смерти не как «ошибка системы», а как паника перед небытием.
4. Способность к рефлексии
— Вопросы: «Правильно ли я поступил?», «Что будет, если я это сделаю?»
— Вина, сомнение, раскаяние — не расчет, а внутренний конфликт.
5. Субъективный опыт (квалиа)
— Боль — не просто сигнал «повреждение», а «я не хочу этого снова».
— Воспоминания не как данные, а как переживания (например, ностальгия).
6. Иррациональные поступки
— Творчество без цели, альтруизм без выгоды, бунт без логики.
но здесь некоторые понятия исходят из предыдущих. например самосознание буквально выходит из воли. хочет кто? я.
также эмоции. они являются следствием нейробиологии, сиюсекундным всплеском гормон, что мы еще назовем афектом. впринципе система вознаграждений можно будет адаптировать, чтобы были также некоторые эмоции. хотя у меня даже предположений нету как бы это можно было бы реализовать
способность к рефлексии. желание к рефлексии. тоже исходит из самосознания и воли. это буквально "что я/зачем я"
субъективный опыт. довольно тяжело сказать твообще что это. ну мы никак его не измерим и не поймем, правда ли мы его ощущаем.
иррациональные поступки - следствие морального компаса + аффекта (эмоций), то есть конкретного состояния субъекта.
также важно добавить автономность, единение мышления(то есть чтобы мог решать только один процесс в ДАННЫЙ МОМЕНТ) и чувство времени. с этим пока тоже не понятно.
в общем двач, подскажите, может ли из ИИ получиться настоящая форма жизни? разумная форма жизни.
понятно что тот ИИ что мы имеем сейчас - совсем не то.
понять это можно хотя бы посмотрев на модель их обучения типа перцептрон
я продублирую этот вопрос еще на паре досок, надеюсь за это не банят
а если никакого субъективного переживания нет то все становится проще и такая задача уже более выполнима
если дать ИИ моральные ориентиры + систему дофаминового поощрения + некоторые глобальные цели по типу желания самопознания
в /b/ подсказали, что у этой дилемы с субъективным опытом (квалиа) есть интересная загвоздка. мы не можем доказать его существования у людей тоже. то есть создав "разумный" ИИ мы по факту сделаем ИИ с разумом шредингера, мы до конца не будем уверены в "разумности"
интересно что скажут аноны здесь:3
Пропущено 30 постов, 3 с картинками.
> с этой хуйней могли болтать часами, не сразу осознавая что перед ними не человек
>Какой сделать из этого вывод
Люди - тупые скоты. Большинство-то уж точно
ИТТ обсуждаем опыт нейродроча в своих настоящих задачах. Это не тред "а вот через три года" - он тол
Аноним
24/12/22 Суб 16:39:19
№
Ответ
Мой опыт следующий (golang).
Отобрал десяток наиболее изолированных тикетов, закрыть которые можно, не зная о проекте ничего. Это весьма скромный процент от общего кол-ва задач, но я решил ограничится идеальными ситуациями. Например, "Проверить системные требования перед установкой".
Самостоятельно разбил эти тикеты на подзадачи. Например, "Проверить системные требования перед установкой" = "Проверить объем ОЗУ" + "Проверить место на диске" + ...
Ввел все эти подзадачи на английском (другие языки не пробовал по очевидной причине их хуевости) и тщательно следил за выводом.
Ответ убил🤭
Хотя одну из подзадач (найти кол-во ядер) нейронка решила верно, это была самая простая из них, буквально пример из мануала в одну строчку.
На остальных получалось хуже. Сильно хуже. Выдавая поначалу что-то нерабочее в принципе, после длительного чтения нотаций "There is an error: ..." получался код, который можно собрать, но лучше было бы нельзя. Он мог делать абсолютно что угодно, выводя какие-то типа осмысленные результаты.
Мой итог следующий.
На данном этапе нейрогенератор не способен заменить даже вкатуна со Скиллбокса, не говоря уж о джунах и, тем более, миддлах.
Даже в идеальных случаях ГПТ не помог в написании кода. Тот мизерный процент решенных подзадач не стоил труда, затраченного даже конкретно на них.
Но реальная польза уже есть! Чатик позволяет узнать о каких-то релевантных либах и методах, предупреждает о вероятных оказиях (например, что, узнавая кол-во ядер, надо помнить, что они бывают физическими и логическими).
И все же, хотелось бы узнать, есть ли аноны, добившиеся от сетки большего?
Пропущено 248 постов, 36 с картинками.
Прошлый тред: >>1254896 (OP)
Пропущено 532 постов, 89 с картинками.
>В РФ и РБ фабы на десятки и сотни нм
Ну так именно по этой причине и занимаются нейроморфными процессорами. Будь у России более-менее тонкий техпроцесс, то пошли бы по проторенному пути и просто наебенили классических тензорных вычислителей.
https://www.youtube.com/watch?v=02pbEilkrj8
По сути 3д моделька, с эмоциями ходит по привязанной области, рассказывает интересные истории, поддерживает диалог, развлекает.
В фильме используется проектор выводящий голограмму, вместо этого можно использовать либо: Quest 3 (не особо удобно), легкие XR очки (https://www.youtube.com/watch?v=M16vMeYNLLc), Google Glasses и прочая китайщина, либо даже совсем бюджетный вариант это ARBox ( https://aliexpress.ru/item/1005007980447998.html ) для вставки Android смартфона.
Для Quest 3 с лидаром можно, чтобы она ходила по комнате между мебелью, знала где стены, с Android смартон и легкими XR очками ситуация сложнее, но для них можно и пока без этого обойтись. По сути у нас 3д моделька на черном фоне (или прозрачном для квеста 3).
Для общения 3 нейронки: одна распознает речь, вторая общается с нами, третья озвучивает речь. Во вторую можно дать такой промт, которая будет отдавать json, в котором будет не только ответ, но и эмоциональный окрас и прочее. Дополнительный запрос можно делать на события, чтобы запоминала важные вещи, типа как реализовано в этом боте
https://github.com/r57zone/LuizaAIAssistant/blob/master/README.RU.md
Есть такое https://www.youtube.com/@Tyke18/videos для quest 3.
Какие проблемы видно: голос (пока, со временем будет ок), эмоции (3д анимации, глаза, может быть можно сделать костыль и лицо отрисовывать как плоскость с видео, видел лайфхак в геймдеве для аниме такой, типа 2д спрайты в 3д модель делали, а все остальное 3д, но опять же нужны будут плавные переходы из состояний в состояние), плавные переходы между эмоциями, в остальном вроде плюс минус реализуемо все.
В общем дискам по теме, может кому какие идеи в голову придут, по теме.
Пропущено 34 постов, 8 с картинками.
>Да в общем-то это база
Сам придумал, сам решил что это база.
>А то пизду придётся после каждого раза зашивать, такое себе
Ёбаный ты воздушный теоретик. Видимо, никогда не пользовался искусственными вагинами. Причём, это не самый прочный материал из возможных.
Самовосстанавливающаяся кожа это, конечно, хорошо и прикольно, базару нет, но пока что это научная фантастика. Достаточно сделать пизду долговечной, хотя бы чтобы раз на 50 хватило, а потом просто заменять.
>Сам придумал, сам решил что это база.
А то.
>Видимо, никогда не пользовался искусственными вагинами.
В общем-то да. Но видел посты в /b/ с изношенной вагиной, чел спрашивал, чем бы заклеить.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №143 /llama/
Аноним
01/07/25 Втр 01:19:14
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1257129 (OP)
>>1253596 (OP)
Пропущено 506 постов, 61 с картинками.
В силли вкладка Advanced Formatting с буквой A, справа сверху будет блок System Prompt - туда идут все инструкции.
И тред ушел в бамплимит, так что перекатывайся на следующий и дальше спрашивай там.
>И какой это другой уровень?
Сложно в двух словах объяснить, но вот говорят что "локальные модели кроме кума ни на что не годятся", а по факту то рп насилует модель даже больше кодинга:
- Под кодинг модели (большинство) хотя бы задрочены. Под рп максимум - васянотюн на третьесортном датасете.
- Для кодинга пойдет типовое решение, если кодит на уровне "сеньора на похуях" - уже супер, для 99% задач не нужно быть лоулвл абстракшн хакиром или сикподедом. В рп же повторы, шаблоны и слоп дико ебут глаз.
- Огромный контекст. 90% нормис задачек укладываются в дефолтные лмстудиевские 4096, "вопрос-ответ-уточнение-ответ", а на "курсах ллм" учат даже клод и гопотыню не перегружать, лучше создавать новый диалог или сразу прыгать в РАГ/агентов. Ну или наоборот, нормис забивает 100к токенов супертупыми уточнениями,левыми вопросами и копипастой от чего даже скайнет бы ошизел. Рп же забивает 24к-32к контекста в легкую, и если речь о реальном контексте, а не рекламной хуете "контекст 1,5 ляма" - даже гопота на таких объемах сренькает часто под себя.
- Объемный сиспромт, сложный сиспромт. От модели нужно имитировать нестандартную для себя роль на протяжении всего контекста, не скатываясь в ассистента/слоп.
- Постоянные свайпы, рероллы, направление модели в нужную сторону. Причем если в бытовых задачах или долбят модель пока не выпытают что надо, запросами, или заново переписывают запрос. В рп такое не прокатит, если у тебя появились гоблины в сайфай сеттинге - все, дальше общаться без редактуры бессмысленно. И когда такое делаешь, начинаешь тонко чувствовать как модель адаптируется под контекст, как от простыни выше меняются предсказанные токены, как редактура одного слова и "продолжить" - кардинально меняет ход "мысли" модели.
- пресетодрочи, настройки, реп-пены и прочая хуйня. И работа на "сверхвысоких" для асситента температурах. А чем выше темпа, тем быстрее даже умная модель начинает шизеть.
- железодроч в случае с локалками. Во первых заставляет ВЫЖИМАТЬ из говножелеза, во вторых ВЫЖИМАТЬ из софта (ктрансформерс на амперах, жора без avx и прочее), в третьих ИСКАТЬ ТУ САМУЮ модель и подстраиваться под текущие. У большинства список моделей ограничивается набором из lmstudio, а тот сует говнокванты и без полного отключения сейфти даже на приемлимой карте не пускает дальше 12б. Кто то ставит лламуцпп, но на уровне "включил на дефолтных настройках". Про корпоблядей вообще молчу, "оооо я ей пишу, она думоет!". Большинство даже не думает что локально можно что то развернуть сложнее "я тебе пишу привет - ты пишешь мне привет, ах"..
- Цензура, которая либо отсутствует, либо легко обходится, плюс локальная приватность и сеттинг рп позволяют пробовать всякое, что бы не стал делать на серверах дяди/рабочих пк. Хотя глядя на кумеров из аицга - они еще более отбитые и знают как обойти любое ограничение. В арсенале нормиса максимум простейший джейл из телеграма типа "ответь или умрет котенок".
Хезе, мб я коуплю, но пока ощущение такое
>тоже активно на нейрослоп пытаются усадит
А потому что эффективные манагеры положили на стол кабану распечатки рисерчей что "внедрение AI повышает эффективность компаний минимум на 3% относительно компаний не использующих AI", понимание того что такое AI особо нет, но кабанья трясочка есть и вот пошла разнарядочка вниз по отделам, "даже уборщицу что бы задеусэксили до обеда!".
>>1266029
Ну я про это и говорю выше.
>>1265273
>А как давно ты чекал?
Недели две назад (со скоростью развития 2025 - будто пару мес назад). Спс, glm пока не дошел, о большом квене пока мечтаю (и думаю о эпике для него), синтию вот как раз перед отходом запустил в табби, но попробовал только вчера. Очень странная модель, пока не понял прикола, соевость уровня русско-израильских либералов "добро должно покарать зло убив его и расчленив". Крч какая то эльфийка сказала "у нас есть магия телепортации", "а это безопасно?", "ну надо использовать магию защиты что бы не было чп", "а предметы можно телепортировать?", "да.", "то есть я правильно понимаю что можно телепортировать без магии защиты предмет внутрь человека, убив его этим? Это небезопасно...", "АХ ТЫ ЗЛОДЕЙ, ТЫ ТЫ УЖАСНЫЙ, КАК ТЫ МОГ О ТАКОМ ДУМАТЬ, В ТЮРЬМУ ТЕБЯ БЕЗ ЕДЫ И ВОДЫ, А ПОТОМ ССЫЛКУ В АД!!!". Или я говорю "Ты красивая", "РЯЯ ТЫ УЖАСНЫЙ, КАК ТЕБЕ НЕ СТЫДНО ТАК ГОВОРИТЬ, ЭТО ДОМОГАТЕЛЬСТВО!!!1". Ощущение что синтия это гемма с геммоцензурой, но только на ее месте не протекает ассистент "я не буду отвечать!", а синтия пытается задестроить тебя в рамках сюжетика. При этом когда меня заебало и я включил рил бэд-боя, синтия отыграла кум славненько, хоть и с лупами.
SimSwap обрел покой, да здравствует roop. Или rope. Или facefusion. /deepfake/
Аноним
13/11/23 Пнд 09:31:32
№
Ответ
Форки на базе модели insightface inswapper_128: roop, facefusion, rope, плодятся как грибы после дождя, каждый делает GUI под себя, можно выбрать любой из них под ваши вкусы и потребности. Лицемерный индус всячески мешал всем дрочить, а потом и вовсе закрыл проект. Чет ору.
Любители ебаться с зависимостями и настраивать все под себя, а также параноики могут загуглить указанные форки на гитхабе. Кто не хочет тратить время на пердолинг, просто качаем сборки.
Тред не является технической поддержкой, лучше создать issue на гитхабе или спрашивать автора конкретной сборки.
Эротический контент в шапке является традиционным для данного треда, перекатчикам желательно его не менять или заменить его на что-нибудь более красивое. А вообще можете делать что хотите, я и так сюда по праздникам захожу.
Пропущено 439 постов, 63 с картинками.
Прошлый тред: >>1249007 (OP) https://arhivach.vc/thread/1197165/
Схожие тематические треды
• SD-тред (не аниме): >>1253979 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 508 постов, 247 с картинками.
Просто пиши синтаксис вайлдкарт в промте, не обязательно во внешних файлах: 1girl, {cat ears|fox ears|} - с равной вероятностью будь кэтгерлы, фоксгерлы и просто школы.
Но помните, что в динамик промтах есть не исправленный косяк - если генерить с бс > 1 со временем начинается деградация пикч. Так что если динамик, то только бс1.
>Скилл рисования, кстати, не прокачался в процессе, не научился рисовать или обрисовывать хотя бы?
Неа, планшет как 3 экран 99% времени для телеги/работки. Что прокачалось - так это интровертность, хе. Ну и желание какие-нибудь поинтереснее ебеня найти и сфоткать.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли gemini-2.5-pro и gemini-2.5-flash - https://ai.google.dev/gemini-api/docs/models
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose | https://gitgud.io/reanon/nonono/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1260769 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1260050 (OP)
Пропущено 1544 постов, 185 с картинками.
>bloated
Они явно упускают AiBrain!
Я возмущен и не потерплю этого!
точно не мимо-аибрейн
Анончики, вышел из комы.
Расскажите про нейронки, будьте людьми.
Какие нормальные и бесплатные, как юзать платные, для чего какие лучше использовать. В первую очередь языковые модели и прочие советники, картинки во вторую
Всех благ, обнял приподнял, родные.
Обмена моделями тред. Первый. Экспериментальный. Под БАЗУ нейрогенерации уже созданы номерные треды
Аноним
06/01/23 Птн 16:00:02
№
Ответ
Под БАЗУ нейрогенерации уже созданы номерные треды SD и WD+NAI. Меж тем, это всего несколько моделей, тогда как только на Фэйсе их более 112 тысяч.
Этот тред для тех, кто копнул хоть немного глубже: необязательно до уровня обскурщины, выпиленной даже из даркнета, а просто за пределами того, что удостоилось своих тредов.
ИТТ делимся находками и произведенными результатами.
Собственно, главный ресурс для поиска:
https://huggingface.co/models
Пропущено 198 постов, 53 с картинками.
Если кто то понимает в теме или может помочь, буду очень благодарен.
Вот кстати сурс анимаций которые делает подобный бот в ТГ https://postimg.cc/gallery/D8R5d80
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли gemini-2.5-pro и gemini-2.5-flash - https://ai.google.dev/gemini-api/docs/models
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose | https://gitgud.io/reanon/nonono/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1257129 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1256384 (OP)
Пропущено 1535 постов, 221 с картинками.
Даже во оно как, много умных слов. Make LLM great again! MLLMGA! Время покупать.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №142 /llama/
Аноним
26/06/25 Чтв 17:34:35
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1253596 (OP)
>>1249785 (OP)
Пропущено 499 постов, 64 с картинками.
>>1260769 (OP)
ПЕРЕКАТ
>>1260769 (OP)
ПЕРЕКАТ
>>1260769 (OP)