Junie Local отримав стабільну підтримку Windows та інтеграцію з NVIDIA RTX Spark з першого дня

Junie Local тепер повністю підтримується на платформі NVIDIA RTX Spark з першого дня, що стало важливим етапом для розвитку локального ІІ на Windows. Це оновлення переводить підтримку Windows зі стану експерименту в стабільний реліз, дозволяючи розробникам запускати повноцінного агента для написання коду безпосередньо на своєму обладнанні. RTX Spark поєднує відеокарту Blackwell RTX та процесор Grace, створюючи потужне середовище для запуску великих локальних ІІ-моделей у тонких ноутбуках і компактних настільних комп'ютерах. Використовуючи цю конкретну апаратну архітектуру, Junie Local приносить передові можливості ІІ для програмування в повсякденні робочі процеси, усуваючи необхідність хмарної обробки та гарантуючи, що весь код залишається повністю на машині користувача.

Технічна реалізація на RTX Spark передбачає суттєві оптимізації для адаптації процесів налаштування та інференсу до унікальних апаратних обмежень. Junie Local автоматично регулює розмір контекстного вікна відповідно до доступної пам'яті GPU, що дозволяє системі зберігати більше коду, результатів інструментів та історії розмов під час активних сесій. Для інференсу програмне забезпечення використовує тензорні ядра Blackwell для ефективних обчислень у форматі FP8, що значно прискорює обробку контексту. Крім того, система застосовує спекулятивне декодування, техніку, за якої заздалегідь генерується кілька токенів, а потім вони перевіряються за один прохід, що прискорює загальну швидкість генерації. Ці оптимізації розроблені для максимального використання обчислювальної потужності GPU з підтриманням високої продуктивності у складних завданнях програмування.

Тестування продуктивності на RTX Spark показало швидкість генерації до 55 токенів на секунду, що встановило початковий базовий рівень для платформи. Хоча ця цифра відображає поточний стан, подальші оптимізації інференсу вже розробляються для покращення цих показників. Перехід до стабільної підтримки Windows також означає, що користувачі з відеокартами NVIDIA RTX, оснащеними 24 ГБ відеопам'яті, такими як RTX 3090, 4090 або 5090 з 32 ГБ, тепер можуть надійно запускати Junie Local. Це розширює сумісність із обладнанням за межі початкової вимоги, а саме Mac із чипом M5 і 64 ГБ пам'яті, роблячи інструмент доступним для ширшого кола розробників, які мають сучасні відеокарти NVIDIA.

Для початку роботи користувачам необхідно переконатися, що встановлена версія драйвера NVIDIA 581 або новіша, а також вільно приблизно 20 ГБ дискового простору для розміщення файлів моделі. Процес встановлення передбачає виконання специфічної команди PowerShell, яка задає необхідні змінні середовища та завантажує потрібні компоненти. Після встановлення запуск Junie та виконання команди /model дозволяють обрати модель, після чого локальний рушій стартує, і сесія перемикається на локальну обробку. Junie Local залишається повністю безкоштовним для використання, без потреби в реєстрації, підписці або купівлі кредитів. Команда наразі працює над розширенням вибору локальних моделей та покращенням продуктивності в програмуванні, щоб скоротити час і обсяг пам'яті, необхідні для виконання завдань.