米OpenAIの共同創業者でチーフサイエンティストだったイリヤ・サツケバー氏は6月19日（現地時間）、「安全な超知能」を目指す新たなAI企業Safe Superintelligence（SSI）の立ち上げを発表した。安全な超知能を「唯一の目標かつ唯一の製品」として掲げる。
サツケバー氏はOpenAIで、人間より賢いAI、超知能の制御を目指すSuperalignmentチームをヤン・ライケ氏と共に統括していたが、5月に退社した。2人は、AIの安全性への取り組み方をめぐって幹部と対立していたとみられる。ライケ氏は退社の際、OpenAIでは「安全性が輝かしい製品の開発より後回しになっている」とXへのポストで語った。ライケ氏はOpenAIの競合である米Anthropicに入社した。
サツケバー氏はSuperalignmentチーム立ち上げの際、ライケ氏との共著で超知能が10年以内に登場するが、それを制御するための研究が必要になるというブログを公開している。
SSIはOpenAIとは異なり、ストレートな営利団体だ。「安全性を常に最優先にしながら、可能な限り迅速に機能を進化させていく予定だ。こうすることで、安心して規模を拡大することができる。一点に集中しているため、管理費や製品サイクルに気を取られることはない。また、われわれのビジネスモデルでは、安全性、セキュリティ、進歩はすべて、短期的な商業的プレッシャーから隔離されている」という。
資金調達方法などについては不明だ。立ち上げの声明文には、サツケバー氏の他、OpenAIを6月に退社した元テクニカルスタッフのダニエル・レヴィ氏と、米Y CombinatorでAIプログラムなどを立ち上げた起業家、投資家のダニエル・グロス氏が名を連ねる。
カリフォルニア州パロアルトとイスラエルのテルアビブに拠点を置き、「優秀なエンジニアを採用する力がある」として、人材を募集している。