QWEN3.8-27B参数调优

一把老骨头 发布于 阅读:814

原命令:
yblgt@yblgt-ThinkP710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-typ
e draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.6 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.7 --mlock --no-warmup --prio 3 --cache-ram 0

优化命令:
yblgt@yblgt-ThinkP710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-typ
e draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 0.7 --mlock --no-warmup --prio 3 --cache-ram 0 --top-p 0.8 --top-k 20 --presence-penalty 1.0

方案二Thinking模式:
yblgt@yblgt-ThinkP710:~/llama.cpp$ ./build/bin/llama-server -m /data/models/unsloth-qwen3.8-27b/Qwen3.8-27B-Q4_K_M.gguf --port 8000 --host 0.0.0.0 -t 12 --threads-batch 12 --n-gpu-layers 99 -c 102400 --batch-size 1024 --ubatch-size 512 --flash-attn on --cont-batching --spec-typ
e draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 --temp 1.0 --mlock --no-warmup --prio 3 --cache-ram 0 --top-p 0.95 --top-k 20 --presence-penalty 0.0

收到18条评论
avatar
Dragon_eyPn 4 天前
Загляните в <a href=https://telegram.me/s/andrii_nebytov>казино DragonMoney</a>, чтобы испытать удачу и насладиться захватывающей игрой в Telegram!
Пользователям достаточно нажать на кнопку и следовать инструкциям, чтобы начать играть.
avatar
pin_qwPl 12 天前
Чтобы начать играть на официальном сайте Пин Ап и пройти регистрацию, перейдите по ссылке <a href=https://t.me/pinupchat>pin up</a>, где вы сможете пройти быструю и безопасную регистрацию.
Пин Ап представляет собой известный сайт для азартных развлечений и ставок .
Для новых пользователей важным этапом является регистрация на официальном сайте .
Процесс регистрации предполагает указание информации и подтверждение личности.
Перейти к регистрации можно с помощью кнопки «Регистрация» на главной странице сайта .
Обязательно выберите надежный пароль и проверьте правильность введенных данных.
Для завершения регистрации необходимо подтвердить свои данные, перейдя по ссылке или коду из SMS .
Процесс регистрации защищен современными средствами шифрования и безопасной авторизацией.
Зарегистрированные пользователи могут пополнять счет и участвовать во всех мероприятиях платформы.
Чтобы полноценно пользоваться всеми функциями, необходимо пройти регистрацию на сайте Пин Ап.
avatar
Remont_abkn 18 天前
Профессиональный ремонт и диагностика двигателей в Москве — предлагаем капитальный ремонт легковых двигателей с гарантией 2 года <a href=https://remont-dvig124.ru>Капитальный ремонт двигателей</a>
Диагностика двигателя помогает выявить скрытые неисправности до возникновения серьезных поломок. Это обеспечивает безопасность и надежность эксплуатации автомобиля.Большинство современных мастерских в Москве используют передовое оборудование для диагностики. Правильная диагностика — залог эффективного ремонта и долгой службы двигателя.

Процесс капитального ремонта предполагает тщательную диагностику, замену изношенных деталей и тестирование после ремонта. Такой подход обеспечивает восстановление мощности и надежности двигателя.Некоторые сервисы в Москве дают гарантию на капитальный ремонт двигателя до двух лет, что подтверждает их качество и надежность. Это повышает доверие клиентов и гарантирует долгосрочную работу двигателя без поломок.

Обращаясь в специализированные сервисы Москвы, вы получаете качественный ремонт с гарантией и длительным сроком службы двигателя. Такой подход позволяет обеспечить безопасность и комфорт при эксплуатации автомобиля.Средний срок выполнения капитального ремонта — от нескольких дней до недели, в зависимости от сложности работ. В результате заказчик получает надёжный двигатель и спокойствие за его дальнейшую работу.
avatar
Oficialnyy_blSt 19 天前
Официальный сайт <>К - вход, регистрация и приветственный бонус](https://xn----8sbalwlcefxak4bw.xn--p1ai/o-nas/) предоставляет игрокам возможность легко и безопасно войти, пройти регистрацию и получить щедрый приветственный бонус.
Чтобы начать пользоваться сайтом 7К, необходимо посетить его официальный адрес.
avatar
Kliningova_weKn 20 天前
Управляющие компании в Москве всё чаще обращаются к услугам специализированных клининговых фирм Тема уборки и поддержания чистоты в жилых комплексах приобретает особое значение в современном городе. Клининговые службы помогают обеспечить комфортное и безопасное жильё для жителей .  Вы ищете надежную <a href=https://kliningovaya-moskva.ru>заказать уборку квартиры</a>, которая обеспечит качественную и своевременную уборку ваших объектов по конкурентным ценам и с гарантией.
Важнейшая цель — поддерживать чистоту и порядок в жилых зданиях на профессиональном уровне . В Москве конкуренция среди таких компаний высока, поэтому важно выбирать именно тех, кто обладает проверенной репутацией и опытом.
Услуги могут включать как разовые, так и регулярные мероприятия по чистке. Обычно такие фирмы используют современное оборудование и экологически чистые средства, что гарантирует безопасность и качество проведения работ.
Благодаря профессионалам, управляющие компании могут сосредоточиться на основных задачах, не отвлекаясь на бытовую сторону вопроса . В результате жильцы получают комфортное и ухоженное жильё без лишних хлопот.
Перед заключением договора важно проверить репутацию фирмы и качество предоставляемых услуг . Только тщательно проанализировав рынок, управляющие смогут выбрать действительно надёжного партнёра.
Современные клининговые службы помогают создавать комфортные условия проживания и комфортный городской простор . В Москве услуги в сфере клининга продолжают развиваться и совершенствоваться, что обеспечивает еще больше возможностей для управляющих компаний.
avatar
F_lmi__tjKi 21 天前
Ви можете дивитися <a href=https://uakino.pl>http://uakino.pl/</a> фільми, серіали, мультфільми та аніме з українською озвучкою в HD 1080p абсолютно безкоштовно й без реєстрації.
В інтернет-ресурсах представлені нові релізи кіно та серіалів у HD-якості. Знайти та переглянути новинки легко. Відвідувачі можуть переглядати контент безкоштовно без реєстрації.
avatar
Smotret_nypl 22 天前
Онлайн кинотеатры позволяют бесплатно смотреть фильмы и сериалы высокого разрешения.
Вы можете легко наслаждаться любимыми фильмами и сериалами прямо у себя дома <>url=https://kinogo.fi/]http://kinogo.fi/.
Онлайн просмотр фильмов и сериалов в HD формате приобретает огромную популярность среди зрителей.
Важно выбрать надежный ресурс, чтобы избежать плохого качества и всплывающих рекламы .
Простая навигация и быстрый поиск облегчают выбор контента.
Хорошие сайты постоянно обновляют свою коллекцию новыми фильмами и сериалами .
Высокое качество картинки создает ощущение полного погружения в сюжет .
Для комфортного просмотра нужно выбирать платформы с хорошей скоростью и стабильным соединением .
Безопасный и качественный онлайн просмотр — залог приятного развлечения.
avatar
Lechenie_vbpt 23 天前
Для получения квалифицированной помощи по <a href=https://rasseyanii-skleroz.ru>льготы при рассеянном склерозе</a>, рекомендуем обратиться в специализированные клиники, где осуществляют диагностику и индивидуальный подбор терапии для всех возрастных групп.
Организация терапии рассеянного склероза в Москве требует тщательного подхода и использования современных методов.
avatar
Profession_thei 23 天前
Качественная сушка квартиры после потопа в Москве в день обращения помогает минимизировать ущерб.
При необходимости <a href=https://sushka-kvartir77.ru>антигрибковая обработка после залива</a>, специалисты быстро и качественно просушат ваше жилье в день обращения.
В столице работают профессиональные фирмы, специализирующиеся на сушке квартир после аварийных ситуаций.
Специалисты используют современное оборудование, которое быстро и эффективно удаляет влагу.
Рекомендуется доверять только лицензированным службам, чтобы избежать дополнительных затрат и неприятных последствий.
Используемое оборудование создает оптимальные условия для быстрого испарения влаги.
В день обращения специалисты приступают к оценке ущерба и сразу же начинают работу.
Клиенты получают подробные рекомендации по эксплуатации и дальнейшему уходу за помещением.
В Москве важно своевременно обращаться за профессиональной помощью, чтобы минимизировать последствия потопа.
avatar
Cvety_yyen 28 天前
Цветы с доставкой в Минске — <a href=https://www.instagram.com/procvety.by/>купить цветы с доставкой Минск</a>
Заказать цветы с доставкой в Минске — это удобный вариант выразить свои чувства .

Разные компании предоставляют услугу доставки цветов прямо к двери клиента.
Можно оформить заказ онлайн или позвонить менеджеру — оба варианта доступны для клиентов .
В каталоге представлены разнообразные цветочные решения — от простых до роскошных .
Быстрая доставка позволяет получить свежие цветы прямо к вашему празднику или событию.
Цены на услуги доставки в Минске варьируются в зависимости от вида букета и расстояния .
Любой важный праздник или событие может стать особенным с помощью своевременных цветов.
Многие службы работают круглосуточно, чтобы обеспечить комфорт клиентов .
В некоторых случаях можно дополнительно заказать открытки или подарочные сертификаты .
avatar
_evrimi__ueSt 28 天前
Cevrimici oyunlarda risksiz deneme bonusu f?rsat?n? kac?rmay?n ve <a href=https://casinobonanza.info>casino bonanza mobil uygulama</a>.
Cevrimici oyun sektoru, h?zla buyuyen ve degisen bir aland?r. Bu alanda, ozellikle yat?r?ms?z deneme bonuslar? buyuk ilgi goruyor.Bircok cevrimici oyun sitesi, yeni kullan?c?lar icin ucretsiz deneme bonuslar? sagl?yor. Sonuc olarak, bu bonuslar oyunculara ucretsiz oyun deneyimi sunman?n harika bir yoludur.Ozellikle de, yeni oyuncular?n guvenle platformlara kaydolmas?n? saglarlar. Ayr?ca, bu bonuslar sayesinde oyuncular, gercek para yat?rmadan once oyunu ogrenebilir.Oyunun kurallar?n? ve mekaniklerini anlamak isteyenler icin ideal bir secenektir. Kullan?c?lar, platformlar?n sundugu farkl? deneme bonuslar?n? kars?last?rmal? ve en uygun olan? secmelidir.Yat?r?ms?z deneme bonuslar?, yeni oyunculara hem eglence hem de kazanc f?rsat? sunar. Ayr?ca, bu bonuslar sayesinde, oyuncular herhangi bir finansal risk olmadan cesitli oyunlar? deneyebilirler.Oyuncular, farkl? oyun turlerini risksiz sekilde kesfedebilirler. Ancak, bonuslar?n kullan?m? ve sartlar?na dikkat etmek gerekir.Baz? bonuslar, belirli kurallara ve kosullara tabidir. Ayr?ca, oyuncular?n, oyunlar?n temellerini ogrenip gelistirmesine buyuk katk? saglar.Farkl? oyunlara yeni baslayanlar icin ideal bir baslang?c noktas?d?r. Bu nedenle, yeni giris yapanlar?n ilk tercihi bu tur bonuslar olmal?.Platformlar?n sundugu cesitli deneme bonuslar?n? kars?last?r?p en avantajl? olan? secmek buyuk onem tas?r.
avatar
pinco_lhmn 28 天前
M?n <pinco>casino sifr?ni unutdum](https://pinco-casino.club)pinco casino promokod ucun kom?kci kimi f?aliyy?t gost?rir?m.

Bu problem cox yayg?n olur v? b?z?n istifad?cil?r ucun narahatl?q yarad?r .
avatar
pin_wyPr 1 个月前
La popularidad de <a href=https://pin-up-wins.com>pin up casino app</a> sigue creciendo entre los jugadores mexicanos que buscan entretenimiento seguro y confiable en linea.
Los incentivos adicionales, como bonos de bienvenida, motivan a mas usuarios a participar en estos juegos.
avatar
Cat_onSl 1 个月前
При этом пользователям следует внимательно проверять условия участия и пользоваться только официальными ссылками.

Официальный телеграм-канал Cat Games — <a href=https://t.me/s/Chetyrgram>Cat Casino тг</a>.
Участники сообщества получают сведения о свежих функциях непосредственно из официальных источников.

Общение с аудиторией
Канал Cat Games выполняет не только информационную, но и коммуникационную функцию.

Почему стоит подписаться
Канал объединяет обновления, объявления, информацию о мероприятиях и полезные публикации для сообщества.
avatar
Artem_gloi 2 个月前
Артём Высоков — разработчик методики TopoVysok, демонстрирующей путь с DR0 до ТОП Google.
Методика TopoVysok создана Артёмом Высоковым для эффективного продвижения сайтов в Google — <a href=https://topowysok.ru/>с DR0 в топ topovysok</a>

Анализ сайта и ниши
На начальной стадии проводится детальный аудит ресурса.

Работа с авторитетом
С этой целью выбираются релевантные ресурсы с хорошей репутацией и активными посетителями.

Путь к высоким позициям
Результатом работы становятся лучшая заметность ресурса, больший охват и рост целевых заявок.
avatar
Topovysok__gmkt 2 个月前
Исследование было направлено на оценку скорости роста позиций при использовании контролируемой сети площадок — <a href=https://topovysok.su/>отзывы TOPOVYSOK</a>

Подготовка PBN
Каждую площадку оформили как отдельный тематический ресурс с оригинальными публикациями.

Ход наблюдений
После публикации первых материалов команда начала регулярно отслеживать позиции и индексацию.

Итоги и ограничения
Следующий этап исследования может включать длительный мониторинг и проекты из нескольких направлений.
avatar
Nakrutka_pwmt 2 个月前
Поэтому тема накрутки ПФ в Яндекс вызывает интерес у владельцев сайтов, которые хотят ускорить рост позиций - <a href=https://max.ru/nakrutka_pf_faktorov>накрутка пф позиций.</a>
Именно поэтому важно понимать не только сам механизм, но и возможные риски для сайта. Чем правдоподобнее выглядит активность, тем выше шанс краткосрочного изменения метрик.
Когда подозрительная активность становится заметной, позиции могут просесть, а результат исчезнуть. Но краткосрочная выгода часто не оправдывает возможные последствия для сайта.
avatar
Avtoservis_aoKn 2 个月前
В Москве существует множество автосервисов, специализирующихся на Тойота. Специалисты готовы осуществлять ремонт и обслуживание ваших автомобилей.
Если вам нужен качественный и надежный <a href=https://servis-toyota-moskva.ru/remont-toyota-v-moskve/> автосервис Тойота</a>, мы предлагаем широкий спектр услуг для вашего автомобиля.
Ремонт и обслуживание Тойота требуют от специалистов глубоких знаний. Каждый механик проходит специальное обучение и сертификацию.
В автосервисе установлено современное оборудование. Благодаря этому, мы можем гарантировать качество выполняемых работ.
Вы получите качественное и профессиональное обслуживание вашего автомобиля. Ваше доверие для нас — наивысшая награда.