Йошуа Бенжио запускает LawZero, канадскую некоммерческую организацию, которая будет уделять первостепенное внимание развитию безопасного и честного искусственного интеллекта (ИИ).
 

Один из самых известных в мире исследователей искусственного интеллекта (ИИ) запускает новую некоммерческую организацию, которая будет заниматься разработкой безопасных систем ИИ.

Йошуа Бенжио, канадско-французский ученый в области ИИ, получивший престижную премию Алана Тьюринга за работу над глубоким обучением и названный одним из "крестных отцов" ИИ, объявил о запуске LawZero в Монреале.

Новая некоммерческая организация собирает команду исследователей ИИ "мирового класса", которая будет стремиться "поставить безопасность выше коммерческих императивов", говорится в заявлении некоммерческой организации.

 
"Современные передовые модели ИИ развивают опасные способности и поведение, включая обман, самосохранение и несовпадение целей", - говорится в заявлении Бенжио, отмечающего, что организация поможет раскрыть "огромный потенциал" ИИ и одновременно снизить эти риски.

По словам Бенжио, некоммерческая организация родилась из нового "научного направления", которое он выбрал в 2023 году и которое вылилось в "Ученый ИИ", новую неагентную систему ИИ, которую он и его команда разрабатывают, чтобы она служила защитой от "неконтролируемых" агентных систем ИИ.

ИИ, который "научится понимать мир".
Этот принцип отличается от других компаний тем, что он хочет отдать предпочтение неагентному ИИ, то есть ему нужны прямые инструкции для каждой задачи, а не самостоятельный поиск ответов, как у большинства систем ИИ.

Неагентные ИИ, созданные LawZero, будут "учиться понимать мир, а не действовать в нем", и их будут обучать давать "правдивые ответы на вопросы, основанные на [внешних] рассуждениях".
 

Бенжио подробно рассказал о научном ИИ в своей недавней статье для Time, где он написал, что его "искренне беспокоит поведение, которое уже демонстрирует необузданный ИИ, в частности самосохранение и обман".

"Вместо того чтобы пытаться угодить людям, "Ученый ИИ" можно было бы спроектировать так, чтобы его приоритетом была честность", - написал он.

На стадии проекта организация получила пожертвования от других институтов ИИ, таких как Future of Life Institute, Jaan Tallin и Silicon Valley Community Foundation.

LawZero будет работать на базе MILA - Квебекского института искусственного интеллекта в Монреале, одним из основателей которого был Бенжио.