В семействе Coder пополнился новый участник, и его исходный код стал открытым!
Какие инструменты для больших моделей о редактировании кода вы знаете?
Пользователь Твиттера @lvwerra сделал изображение ниже, чтобы разобраться с большинством членов семейства кодов.
Всего через две недели после того, как он опубликовал эту фотографию, к семье присоединились три новых члена: DeciCoder, OctoCoder и последний член SQLCoder.
Среди них последний член SQLCoder не только обладает превосходной производительностью, но и имеет открытый исходный код!
SQLCoder
В качестве крупномасштабной языковой модели SOTA SQLCoder преобразует вопросы на естественном языке в запросы SQL. В SQL, платформе оценки с открытым исходным кодом разработчика, SQLCoder значительно превосходит все основные модели с открытым исходным кодом и превосходит OpenAI GPT-3.5.
SQLCoder — это LLM с 15 битами параметров, а также доработанная реализация StarCoder. SQLCoder настроен на обработку SQL-запросов возрастающей сложности, созданных вручную. При точной настройке для одной схемы базы данных ее производительность сравнима с GPT-4 или даже превосходит ее.
* адрес проекта:
Демонстрационный адрес:
Вес модели:
За последние три месяца SQLCoder был внедрен на медицинских, финансовых и других предприятиях. Эти компании часто имеют конфиденциальные данные, которые они не хотят хранить на своих собственных серверах, поэтому использование модели самостоятельного размещения — единственный способ использовать LLM.
метод
создать набор данных
Авторы создали набор парных данных, отредактированных вручную, с упором на задачи преобразования текста в SQL. Набор данных был создан из 10 различных шаблонов с вопросами различной сложности. Кроме того, они создали набор оценочных данных, состоящий из 175 вопросов по 7 новым шаблонам.
Они гарантировали, что сложные схемы с 4-20 таблицами были выбраны как для обучающих, так и для оценочных наборов данных, поскольку схемы только с 1 или 2 таблицами, как правило, позволяли выполнять простые и прямые запросы из-за ограниченных отношений.
категория вопроса
После того, как набор данных был создан, автор разделил каждый вопрос в наборе данных на четыре категории: легкий, средний, сложный и чрезвычайно сложный. Эта категоризация выполняется путем адаптации критериев, используемых набором данных Spider для измерения сложности SQL. Наконец, они разделили набор данных на два отдельных подраздела: легкий и средний, а также сложный и сверхсложный.
тонкая настройка
Авторы доработали модель в следующие два этапа.
Во-первых, базовая модель StarCoder была доработана только для задач легкой и средней сложности.
Во-вторых, полученная модель (закодированная как defog-easy) дорабатывается для решения сложных и сверхсложных задач для получения SQLcoder.
Оценивать
Авторы оценили модель на специальном наборе данных, который они создали сами. Оценить правильность SQL-запросов очень сложно, рассматривали использование GPT-4 в качестве стандарта оценки, но столкнулись с множеством проблем. Попутно они также поняли, что два разных SQL-запроса могут быть правильными.
Для вопроса «кто последние 10 пользователей из Торонто» верны обе следующие формы запроса.
Учитывая это, авторы создали специальную структуру для оценки правильности запросов. Они не только открыли исходный код для весов модели, но также открыли исходный код для системы оценки и набора данных для оценки.
Цель выпуска набора данных — обогатить доступные тесты и помочь исследователям и инженерам лучше понять производительность генеративных моделей преобразования текста в SQL, особенно реакцию модели на безобидные изменения в возвращаемых результатах, такие как переименование столбцов, добавление столбцов и изменение порядка. прочность.
Более подробную информацию об оценке можно найти в содержании блога:
производительность
В рамках оценки Defog SQLCoder превосходит все основные модели, кроме GPT-4. В частности, он превосходит gpt-3.5-turbo и text-davinci-003, которые более чем в 10 раз превышают размеры двух моделей.
Эти результаты относятся к общей базе данных SQL и не отражают производительность SQLCoder в одной схеме базы данных. При точной настройке отдельной схемы базы данных SQLCoder работает так же или лучше, чем GPT-4 OpenAI, с меньшей задержкой (на A100 80 ГБ).
* Разделяет каждый сгенерированный вопрос на 5 категорий и показывает процент вопросов, на которые правильно ответила каждая модель по категориям. *
Требования к оборудованию SQLCoder
SQLCoder был протестирован на графическом процессоре A100 40 ГБ с весами. Вы также можете загружать 8-битные и 4-битные квантованные версии модели на графические процессоры потребительского уровня с 20 ГБ памяти или более, такие как RTX 4090, RTX 3090 и чипы Apple M2 Pro, M2 Max или M2 Ultra с 20 ГБ или более памяти.
Следующее задание
В ближайшие недели автор внесет следующие обновления в SQLCoder:
Обучайте модель, используя больше данных, собранных человеком, и более широкий круг вопросов;
Дальнейшая тонкая настройка модели с использованием моделирования вознаграждения и RLHF;
Предварительно обучите модель (SQL + Python), специализирующуюся на анализе данных, с нуля.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Единственная способность модели 15B превзошла GPT3.5, и был использован SQLCoder с открытым исходным кодом.
Какие инструменты для больших моделей о редактировании кода вы знаете?
Пользователь Твиттера @lvwerra сделал изображение ниже, чтобы разобраться с большинством членов семейства кодов.
SQLCoder
В качестве крупномасштабной языковой модели SOTA SQLCoder преобразует вопросы на естественном языке в запросы SQL. В SQL, платформе оценки с открытым исходным кодом разработчика, SQLCoder значительно превосходит все основные модели с открытым исходным кодом и превосходит OpenAI GPT-3.5.
SQLCoder — это LLM с 15 битами параметров, а также доработанная реализация StarCoder. SQLCoder настроен на обработку SQL-запросов возрастающей сложности, созданных вручную. При точной настройке для одной схемы базы данных ее производительность сравнима с GPT-4 или даже превосходит ее.
За последние три месяца SQLCoder был внедрен на медицинских, финансовых и других предприятиях. Эти компании часто имеют конфиденциальные данные, которые они не хотят хранить на своих собственных серверах, поэтому использование модели самостоятельного размещения — единственный способ использовать LLM.
метод
создать набор данных
Авторы создали набор парных данных, отредактированных вручную, с упором на задачи преобразования текста в SQL. Набор данных был создан из 10 различных шаблонов с вопросами различной сложности. Кроме того, они создали набор оценочных данных, состоящий из 175 вопросов по 7 новым шаблонам.
Они гарантировали, что сложные схемы с 4-20 таблицами были выбраны как для обучающих, так и для оценочных наборов данных, поскольку схемы только с 1 или 2 таблицами, как правило, позволяли выполнять простые и прямые запросы из-за ограниченных отношений.
категория вопроса
После того, как набор данных был создан, автор разделил каждый вопрос в наборе данных на четыре категории: легкий, средний, сложный и чрезвычайно сложный. Эта категоризация выполняется путем адаптации критериев, используемых набором данных Spider для измерения сложности SQL. Наконец, они разделили набор данных на два отдельных подраздела: легкий и средний, а также сложный и сверхсложный.
тонкая настройка
Авторы доработали модель в следующие два этапа.
Во-первых, базовая модель StarCoder была доработана только для задач легкой и средней сложности.
Во-вторых, полученная модель (закодированная как defog-easy) дорабатывается для решения сложных и сверхсложных задач для получения SQLcoder.
Оценивать
Авторы оценили модель на специальном наборе данных, который они создали сами. Оценить правильность SQL-запросов очень сложно, рассматривали использование GPT-4 в качестве стандарта оценки, но столкнулись с множеством проблем. Попутно они также поняли, что два разных SQL-запроса могут быть правильными.
Для вопроса «кто последние 10 пользователей из Торонто» верны обе следующие формы запроса.
Цель выпуска набора данных — обогатить доступные тесты и помочь исследователям и инженерам лучше понять производительность генеративных моделей преобразования текста в SQL, особенно реакцию модели на безобидные изменения в возвращаемых результатах, такие как переименование столбцов, добавление столбцов и изменение порядка. прочность.
производительность
В рамках оценки Defog SQLCoder превосходит все основные модели, кроме GPT-4. В частности, он превосходит gpt-3.5-turbo и text-davinci-003, которые более чем в 10 раз превышают размеры двух моделей.
Требования к оборудованию SQLCoder
SQLCoder был протестирован на графическом процессоре A100 40 ГБ с весами. Вы также можете загружать 8-битные и 4-битные квантованные версии модели на графические процессоры потребительского уровня с 20 ГБ памяти или более, такие как RTX 4090, RTX 3090 и чипы Apple M2 Pro, M2 Max или M2 Ultra с 20 ГБ или более памяти.
Следующее задание
В ближайшие недели автор внесет следующие обновления в SQLCoder: