Wingman - это чатбот, предназначенный для локального запуска больших языковых моделей (LLM) на PC и Mac (Intel или Apple Silicon). Построенный на основе простого в использовании пользовательского интерфейса, Wingman представляет собой решение без кода, которое делает запуск LLM доступным для всех.
Он поддерживает широкий спектр языковых моделей, таких как Llama 2, OpenAI, Phi, Mistral, Yi и Zephyr. Доступ к ним можно получить непосредственно из концентратора моделей Hugging Face в интерфейсе чатбота Wingman.
Система оценивает совместимость моделей с вашей машиной, чтобы предотвратить сбои или низкую производительность. Пользователи могут настраивать системные подсказки для различных случаев использования, что позволяет вести более интерактивный диалог с моделями.
Wingman полностью работает на вашем устройстве, гарантируя, что ваши данные не будут переданы на внешние серверы. Приложение использует сеть только для первоначальной загрузки моделей, что позволяет использовать его в автономных средах.
Хотя в настоящее время в приложении нет операционного API и мультимодальных подсказок, эти функции, как утверждается, находятся в разработке. Будучи инструментом с открытым исходным кодом, Wingman бесплатен для использования и приглашает к участию широкое технологическое сообщество через репозиторий GitHub.
Кроме того, он регулярно обновляется, что обещает развитие инструмента, отвечающего потребностям пользователей.
Отзывы