OpenAI и Broadcom представили свой первый собственный ИИ-чип — ускоритель под инференс LLM (что-то типа TPU от гугла), под этап, где модель уже отвечает юзеру, выполняет Codex-задачи, работает через API и обслуживает будущих агентов; под обучение он пока не подходит, только ускоряет. Назвали чип Jalapeño (Халапеньо).
Так что OpenAI двигается нынче в сторону фуллстек инфраструктуры и постепенно подгибает под свой контроль (и потребности) не только модели и продукты, но и железо под ними. И это, получается, первый физический продукт.
Халапеньо разрабатывали вместе с Бродком и Селестика (Broadcom + Celestica). Проектировали чип с нуля под реальные нагрузки LLM.
Пока без независимых бенчей. На стадии ранних тестов, и обещают тех отчёт позже. Но если заявленная «энергоэффективность» подтвердится, это может снизить стоимость инференса и немного ослабить зависимость от почти монопольной NVIDIA (в части задач, конечно) и Cerebras.