Там, където само промптингът спира да работи.
Повечето екипи не бива да правят fine-tuning. По-добър промптинг, по-добро извличане на информация и по-добър дизайн на инструментите решават 80% от случаите, за които хората ни търсят за fine-tuning. Останалите 20%, при които той наистина е необходим - специфична терминология за областта, гласът на вашата компания, изходни формати, които базовият модел не може да произвежда надеждно, изисквания за латентност, които налагат по-малък модел - са причината тази услуга да съществува.
Последно обновено:
Почти това, което искате, но постоянно се разминава.
Оптимизирали сте промпта. Добавили сте извличане на информация. Пускате few-shot примери. Изходът е почти това, което искате, но постоянно се разминава по начин, който никой трик от промпт инженерството не поправя. Или се нуждаете от 7B модел, защото бюджетът за латентност е под секунда, а базовият 70B е твърде бавен.
Това е мястото, където fine-tuning се изплаща - и мястото, откъдето повечето екипи не бива да започват, защото по-добър промптинг и по-добро извличане ги доближават най-много до целта за част от работата.
Шест неща, които получава всеки fine-tune ангажимент.
Диагностика преди fine-tuning
Първо се опитваме да премахнем проблема ви с промптинг и извличане на информация. Около 30% от екипите, които дойдоха при нас за fine-tuning, нямаха нужда от него, след като направихме тази проверка.
Подготовка на данните
Извличане, дедупликация и форматиране на вашите обучаващи данни. Това е 70% от работата - няма да се преструваме на друго.
Избор на базов модел
Кой модел отговаря на вашата цел за размер / латентност / качество / цена. Qwen, Gemma, Llama, GLM, Kimi, Nemotron, DeepSeek, Mistral от страната на open-weights; Claude, Gemini, GPT, Grok през fine-tune API на доставчиците.
Обучителен цикъл
На нашата хардуерна инфраструктура за open-weights или през fine-tune API на доставчика за облачни модели.
Оценка
Тестове със златен набор, A/B спрямо базовия модел, регресионни тестове за отклонение в качеството.
Внедряване и ритъм на преобучение
Върху вашия local-LLM хостинг или през API на доставчика. График за поддържане на модела актуален, докато данните ви се развиват.
Последният лост, не първият.
Повечето подобрения в точността идват от по-добър промптинг и по-добро извличане на информация. Fine-tuning е лостът, към който посягате, когато те са достигнали плато и съотношението цена-полза се получава.
- Не е нужна подготовка на обучаващи данни
- Обновява се веднага, щом промените промпта
- Работи автоматично при различни версии на моделите
- Решава ~80% от случаите "моделът греши"
- Евтин за поддръжка
- Терминология от областта, която базовият модел не е виждал достатъчно
- Изходни формати, които промптингът не може да наложи надеждно
- Бюджет за латентност, който изисква по-малък модел
- Генериране в голям обем, където последователността се натрупва
- Дистилация за намаляване на разходите за инференс
Пет ситуации, които наистина го оправдават.
Специфична терминология за областта
Правни документи на по-слабо представени езици, нишови индустриални кодове, специфични за сектора съкращения и конвенции, които базовият модел обработва непоследователно.
Тон на комуникация в мащаб
Текстове към клиенти при 1,000+ генерирани имейла на ден. Промптингът работи за 50 на ден; fine-tuning работи за 1,000.
Структурирани изходи
Базовият модел не може надеждно да произвежда вашата конкретна JSON структура, вашия конкретен Markdown формат, формата на отчетите във вашия сектор.
Изисквания за латентност
Бюджет под секунда, който изисква по-малък модел. Fine-tuned 7B модел може да се изравни със 70B базов модел по тясна задача.
Дистилация
Обучаване на по-малък и по-евтин модел на това, което по-голям модел знае за вашата област. Намалява разходите за инференс 4-10×.
Fine-tune на vision-language модел, който разпознава десетилетие сценични записи.
Vision-language модел, обучен допълнително върху водещите събития на глобална компания за събития - повтарящи се лектори, повтарящи се сценични подредби, повтарящ се брандинг. Повишава точността на разпознаване достатъчно, за да направи 119 TB исторически записи търсими чрез промпт на естествен английски. Хостван на Mac Studio 512 GB; данните остават в рамките на GDPR периметъра на клиента.
Три неща, които хората винаги питат.
Ще разкрие ли fine-tuning нашите обучаващи данни?
Можем ли да го обновим по-късно?
Какво става, ако базовият модел получи голямо обновление?
Кажете ни къде промптингът е достигнал тавана си.
30-минутен диагностичен разговор преминава през вашия случай и показва дали fine-tuning е правилният следващ лост, или промптингът и извличането все още имат резерв. Безплатно; писмено резюме и в двата случая.