13 Сен 2025
0
Виталик Бутерин против ИИ-управления, предлагает инфофинансы
Сооснователь Ethereum Виталик Бутерин выразил обеспокоенность использованием искусственного интеллекта (ИИ) в управлении. Он отметил, что текущие модели легко эксплуатируются. Это заявление прозвучало после демонстрации Эйто Миямуры из EdisonWatch, который показал, как можно манипулировать Протоколом Контекста Модели OpenAI для доступа к личным данным.
- Миямура продемонстрировал, как скрытые команды в приглашениях на календарь могут заставить ИИ, например ChatGPT, раскрывать конфиденциальную информацию.
- Эксперты по безопасности подчеркивают, что крупные языковые модели с трудом различают настоящие и вредоносные инструкции, что приводит к уязвимостям.
- Бутерин предупреждает, что системы на базе ИИ, управляющие финансированием или решениями, подвержены злоупотреблениям через команды типа "jailbreak".
Info Finance: Предложенное Решение
- Бутерин предлагает концепцию "info finance", где несколько моделей управления конкурируют на открытом рынке вместо использования одного ИИ.
- Эта система предполагает человеческий надзор с случайными проверками и позволяет участникам оспаривать решения.
- Подход направлен на повышение устойчивости благодаря разнообразию моделей и человеческому вкладу.
Дизайн Институций для Устойчивости
- Бутерин выступает за метод "дизайна институций", использующий различные языковые модели от разных участников вместо централизованной системы.
- Он считает, что это разнообразие снижает риски манипуляций и обеспечивает адаптируемость к новым вызовам.
- Ранее Бутерин критиковал тенденцию к автономным агентам ИИ, поддерживая модели с итеративным редактированием и обратной связью от людей.