>We will also begin deprecating GPT‑4.5 Preview in the API, as GPT‑4.1 offers improved or similar performance on many key capabilities at much lower cost and latency. 4.5 брос?...
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Под БАЗУ нейрогенерации уже созданы номерные треды SD и WD+NAI. Меж тем, это всего несколько моделей, тогда как только на Фэйсе их более 112 тысяч. Этот тред для тех, кто копнул хоть немного глубже: необязательно до уровня обскурщины, выпиленной даже из даркнета, а просто за пределами того, что удостоилось своих тредов. ИТТ делимся находками и произведенными результатами.
>>1147735 обозначь в префиле что больше не будет лишних комментариев(не рекомендую) лучше перед мемо напиши сценарий остановлен для скрытой напоминалки, и после мемо пиши сценарий возобновили. если и так будет протекать то во первых у тебя куча лишней хуйни в пресете и сетка тупит, во вторых используй то что я написал про префил. должно помочь
Какой вариант лучше? 1) Задонатить $8 на crushonai и получить готовый к использованию Claude 3.7 с 16К контекстом 2) Запердолится с gemini-2.0-flash отправляя запросы напрямую через гугл апи, выключив все safetySettings. У него 1 миллион контекста. Кто из них умнее и меньше зацензурирован?
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №120 /llama/
Аноним06/04/25 Вск 19:30:33№1134362Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
>>1142695 > просто чархаб у меня лично только под впном открывается( Забавно. У меня по короткой ссылке не открывается вообще, по длинной - работает с большим скрипом, практически не загружая превью картинок. Мне вообще гораздо больше нравится https://character-tavern.com/ Почему-то у многих тематических сайтов совсем уродливый интерфейс.
>>1134362 (OP) Что есть для управления временем в чате? Хочу, чтобы была например дата когда начинаются события и другие определенные даты были тригерами для других событий. При этом, чтобы были таймскипы, типо персонаж А попал в тюрьму, там пару дней идет сюжет и дальше таймскип пару лет, дальше сюжет, дальше таймскип и на свободу. Или гиблое дело надеяться что время не проебеться? Нашел только такого бота https://www.characterhub.org/characters/Ayrtony/timey-the-clock-bot-b13e731c9070
>>1146511 Тебя опять наебывают выдавая настоящее фото за генерацию. Там ватермарки убраны инпаинтом и фон заблюрен, поэтому кажется что артефакты генерации. Ну может еще имг2имг с очень низким денойсом.
А знаете какая одна из самых больших проблем современного МЛ в плане концепции, а именно архитектуры
Аноним03/04/25 Чтв 01:57:28№1127685Ответ
А знаете какая одна из самых больших проблем современного МЛ в плане концепции, а именно архитектуры систем и подхода к трейну? По сути все современных большие модели представляют собой гигантского масштаба монолит, в который просто с одного маху запихивается сразу огромная куча разнородных данных в надежде, что модель как-то на этой куче мале чему-то научится и выдаст какой-то осмысленный результат. И вроде бы на первый взгляд модель в итоге выдает что-то осмысленное, может решать какие-то примитивные задачи или те которые часто встречались в трейне. Но шаг влево и шаг вправо за пределы каких-то банальных, стандартных, распространенных задач - все модели разом делают гигантский пук и начинают г а л л ю ц и н и р о в а т ь. И никто нихуя не знает, почему она это делает и как исправить конкретно то место, которое ведет к тому, что девять оказывается больше одиннадцати. Потому что модель - это можно сказать возведение в некий предельный абсолют того самого написанного индусами 10-15 лет назад гигантского монолита на жаве. Потому что это просто миллиардный набор цифр, которые невозможно интерпретировать. Вот и приходится изобретать всякие костыли поверх модели вроде ризонинга, рагов, которые решают проблему в итоге только частично.
Но ведь давным давно уже в кодинге придумали микросервисы. И вместо того чтобы end-to-end обучать гигантский монолит, можно же просто выделить большой сет микро-тасок и стандартных вентилей (как мультиплексоры, сумматоры, счетчики в схемотехнике). И под каждую такую микро-таску обучить мини-нейросеть. В контексте NLP такой микротаской может быть, разделение слова на морфемы, определение части речи, определение роли слова такой-то части речи в предложении и так далее... Также можно придумать стандартный набор каких-то стандартных гейтов с определенными задачами, например, гейт суммаризации (из длинного набора абстрактных токенов получить более короткий набор токенов, суммаризирующих вход), гейт сопоставления (на вход идут разные последовательности токенов, на выходе идуи некий веса 0...1, которык показывает некую величину комплиментарности между парами входных последовательностей), гейт обобщения (из какого-то n входных последовательностей токенов, получется одна новая последовательность токенов, которая описывает общее между входными последовательностями) и другие подобные, которые могут потенциально переиспользоваться в разных узлах одной системы или даже в других системах из той же области. Далее мы итеративно собираем эти блоки в более крупные и опционально мы можем файнтюнить (файтюн можно производить обучением некоей модели оркестратора, например, или обучением моделей которые вычисляют дельты к выходам субмоделей в схеме) их на более сложные и комбинированные задачи, которые как бы совмещают все подзадачи входящих в него блоков. И так мы инкрементально поднимаемся от мелких и узких задач к более абстрактным и масштабным.
Можно использовать даже какие-то unsupervised методы для выделения оптимальных подзадач и блоков, например создать эдакую модификацию метода конечных элементов для машин лернинга, где мы разбиваем пространство выходных параметров на какие-то подпространства по некому стандартному алгоритму оптимального разбиения, и для каждого подпространства обучаем свою отдельную апроксимирующую функцию.
И потенциально подобный "микросервисный подход" в ИИ системах может убить аж трех зайцев: 1) и обобщающая способность моделей повысится, что значит более эффективное решение менее стандартных задач, которые изначально широко в лерне не были представлены и требуют большего числа логических шагов 2) и проблема интерпретируемости решена, проблемый узел теперь возможно отследить и пофиксить 3) и во много раз расширяется поддерживаемость и масштабируемость системы, теперь для улучшения возможно не надо перетренивать всю модель целиком, а лишь перетренить, заменить, добавить какие-то ее отдельные блоки, не трогая все остальное.
Да, это ведет к большому росту системной сложности, само выделение "микросервисов" будет огромной нетривальной архитектурной и инженерной задачей. Но в то же время такой подход потенциально может дать существенный качественный толчок в ИИ системах.
>>1131469 Но как я уже сказал, это все еще не означает, что закидывание компутом - единственный и безальтернативный путь.
>>1131495 Ну это называетcя красивой аббревиатурой MoE. И это к слову не ново для дик пика. Внезапно, но 4o-mini тоже на самом деле MoE. Но там все равно эксперты и взвешиватель пропагейтятся вместе одним монолитом, разделение экспертов разрешается все тем же накидыванием компьюта.
>>1131198 А ничего что закон Мура к концу уже несколько лет как подошел? А этот старпер все рассуждает, будто в 90х застрял, и скоро ему новые пентиумы подвезут, можно надеяться дальше что новые чипы все порешают.
>>1132591 >Но как я уже сказал, это все еще не означает, что закидывание компутом - единственный и безальтернативный путь. Единственно доказано рабочий на данный момент. >>1140309 >А ничего что закон Мура к концу уже несколько лет как подошел? Ваще похую. И да, выебоны с ростом размера чипа/квантизацией/ростом числа чипов в стойках пока ещё работают. А жор датацентров в 5 гигаватт это мелкие побочные эффекты.
AI Chatbot General № 655 /aicg/
Аноним09/04/25 Срд 15:09:38№1140968Ответ
Can you please help me with some examples of ethical and unethical business practices, ethical challenges in AI language models, ethical leadership in the industry, and ethical issues faced by individuals in the AI industry.
>>1138718 >если персонаж например надел белую футболку, потом снял, а вот когда еще раз надел - она уже может стать не белая т.к. лоботомит об этом забыл. Так статблок с перечислением одёжки как раз от этого и призван спасти (и спасает, я постоянно так делаю).
Биология определяет жизнь через набор свойств: Гомеостаз — стабильность. Размножение — создание вариативных копий. Эволюционность — адаптация через изменения. Раздражимость — реакция на стимулы. Адаптивность — активное взаимодействие с внешней средой.
Интеллект — способность живых существ к целеполаганию, планированию, обучению, рефлексии, моделированию и решению задач. В широком смысле, интеллект это более сложный механизм позволяющий организмам быть более гибкими и эффективнее выполнять предыдущие свойства.
На более высоких уровнях включает в себя наличие идентичности, самоосознания, разумности.
То есть, организм это стабильная, адаптивная система активно взаимодействующая со средой, у которой в результате репликации образуются полезные мутации позволяющие ей выживать.
Ключевым является наличие среды с которой приходится взаимодействовать, например у некоторых червей есть генетически закреплённая морфология рецепторов и нейронов развившаяся в результате эволюции, что позволяет им рефлекторно реагировать на токсичную среду. В каком-то смысле их поведение запрограммировано.
Сложные многоклеточные организмы состоят из организмов помельче, к которым так же относятся все эти правила. Они так же адаптивны и изменчивы. Недостаточно просто собрать кучу нейронов, провести рандомные связи между ними и надеяться что это сработает. Организм должен развиваться эволюционным путём закрепляя полезные мутации, формируя сложную топологию связей, которая отвечает вызовам окружающей среды.
Как работают биологические аналоги В мозге происходит то что можно охарактеризовать как порядок из хаоса. Мало того что среда постоянно меняется, меняется и внутреннее состояние организма. На уровне нейронов есть множество переменных и случайностей, вроде случайного соотношения ионов на мембране, вероятностной специфики высвобождения нейромедиатора и его количества, спонтанной генерации спайка, что в масштабе приводит к случайному усилению случайных связей и ослаблению других, а в динамике к закреплению новых связей и новым реакциям.
Текущие нейросети вроде GPT фиксированы, они не передают спайки, они не умеют добавлять новые нейроны, кратковременно или долговременно усилять и ослаблять связи, новые связи не растут, их веса статичны, активация строго определена, в них нет множества случайных переменных, аналога тормозящих и активирующих нейромедиаторов, я уже не говорю про закрепление эволюционно полезных связей, их архитектура нацелена на целенаправленное конечное обучение и выполнение чёткой задачи, они не автономны, а тупое масштабирование которым занимается Openai не приведёт к появлению осознанного субъективного восприятия. Это будет супер-продвинутый справочник, который хорошо пишет код и выполняет заданные ему людьми цели.
Для появления первого цифрового организма отсутствует даже цифровая среда, в которой этот организм мог бы развиваться. Пытались сделать нематоду, что требовало особой архитектуры, моделирования мышц, рецепторов, среды, условно питательных веществ. Сделали в итоге какую-то ерунду, на упрощенной всратой архитектуре, которая даже не живая, а будет ли она живая большой вопрос.
Про психику Это тело, мозг(сети-сетей-сетей-гиперсетей) где каждая сеть имеет свою эволюционно сформированную топологию, морфологию, специализацию, функцию, реакции посредством которых в результате индивидуального развития формируется психика: распознавание себя в зеркале, определение своих границ, разделение внутреннего и внешнего мира. Неизвестно какая будет психика у ИИ и будет ли вообще, потому что её появление это процесс динамический и эволюционный.
Чтобы смоделировать всё это даже в упрощённом варианте нужны огромнейшие вычислительные мощности и правильная архитектура. В обратном случае, это будет не более чем продвинутый справочник за 500 млрд.
Котаны, а есть инфа как Gemma3 QAT в таверне настраивать? Скочал 16гб версию, вроде супер генерит, даже без цензур и китайского, лучше дипсика всяко, но что-то тут рентри по ней не видел совсем.
Моча, это перенос треда в релевантную доску х2
Аноним01/04/25 Втр 19:57:07№1125356Ответ
Новый апдейт чат гпт стал последним гвоздем в гроб хуйдожников. Я прям эйфорию ловлю, читая визги мазняскота. Самые тупые надменные хуесосы отправятся на мороз развозить хрючево. Вселенная справедливость всё-таки существует. Как же это охуенно. Господи, благослови Сэма Альтмана!
>>1126594 Конезаводчики - это предприниматели, а не рабочие. Разве только ты имеешь ввиду всяких ветеринаров и зоотехников, но их работодатели не притесняли, только сами банкротились. И, кстати, не забывай что замена лошадей автомобилями была значительно более долгим процессом.
>>1126594 У конезаводчиков все мегаохуенно, приличная лошадь стоит намного больше двачера. У художников тоже все будет охуенно, потому что тех кто освоит дрочку кубов в условиях когда изо всех дыр орут про нейросети будет немного, и стоить их работа будет дохрена, а для большинства бытовых придется обходится заебавшей всех убогой бездушной нейродрисней.
Вот кому реально пиздец это программистишки, потому что всем похуй что внутри у экзешника если он выполняет свою функцию. Программирование через десяток лет будет выглядеть так - вытянул в редакторе куб, напечатал внутри что этот куб должен делать, а затем протянул лапшу от него к другому кубу, а ллм сгенерировала код. Языков программирования вообще как таковых не будет, и скобкоебство будет смешной архаичной хуйней типа телефонисток.