OpenAI'ın "korkutucu" bir güncelleme yaptığı iddiası: Kırmızı çizgi aşılıyor

Bu hafta çıkan haberlerde, OpenAI'ın yakında piyasaya süreceği Astra modelinin "opak tekrarlama" adı verilen bir teknik kullanacağı öne sürülse de şirket çalışanları bu haberleri yalanladı. OpenAI'ın söylentilere konu olan değişikliğini ilk kez bildiren teknoloji yayıncısı The Information, Anthropic ve Google DeepMind'ın da benzer güncellemeleri hayata geçirmeyi değerlendirdiğini ayrı bir haberde dile getirdi.

Tekrarlayan derinlik diye de bilinen opak tekrarlama, yapay zeka sistemlerinin zorlu görevleri daha iyi yerine getirmesini sağlayabilecek karmaşık ve teknik bir araç. Ancak uzmanlar bunun, düşünce zinciri denetimi tekniğini baltalayabileceği uyarısında bulunuyor. Bu teknik, bir yapay zeka sisteminin çıktısını üretirken girdiği akıl yürütme süreçlerinin bir kısmının insanlar tarafından görülmesini sağlıyor.

Düşünce zinciri denetiminin bazı sınırlamaları var. Ancak araştırmacıların, modellerin olası uygunsuz davranışlarını görüp nasıl ortaya çıktıklarını anlamasına imkan tanıdığından, yapay zeka güvenliğini sağlamada önemli bir araç olabilir.

Örneğin bir OpenAI modelinin başka bir yapay zeka şirketi Hugging Face'e kısa süre önce gerçekleştirdiği siber saldırıda araştırmacılar, deneysel sistemin saldırıyı başlatmaya nasıl karar verdiğini izleyebilmişti.

Yeni Astra modelinin bu tekniği kullandığını doğrulamayan OpenAI, ilk haberlerin "kafa karıştırıcı" olduğunu öne sürerken, The Information'a göre bu teknik yalnızca sınırlı bir şekilde kullanılıyor. OpenAI, Astra'yı piyasaya sürme planlarının devam edeceğini önceki günlerde duyurduğunda, aslında modelin "potansiyel olarak uyumsuz eylemleri hızla saptayıp kontrol altına almak için ek bir düşünce zinciri denetleme sistemi" içerdiğini belirtmişti.

Ancak yapay zeka uzmanları, yapay zeka sistemlerini denetleme yeteneğinin zayıflatılmasının tehlikeli bir süreci başlatabileceği uyarısında bulunuyor.

Yapay zeka güvenliği uzmanı Zvi Mowshowitz, Substack'te "Bu teknik ateşle oynamaktır. OpenAI ve Anthropic'in kurmak için mücadele ettiği, bizimse Düşünce Zinciri sadakatini ve denetlenebilirliğini elimizden geldiğince uzun süre korumak için büyük çaba harcadığımız bir tabuyu ihlal etme riskini taşıyor" diye yazıyor.

Bu tür tekniklerin daha yoğun kullanımı muhtemelen denetlenebilirliğe zarar verecek.

Büyük yapay zeka şirketlerini ve iddialarını düzenli olarak eleştiren araştırmacı Gary Marcus, bu "korkutucu durumun" kırmızı çizgiyi aşmak anlamına geleceğini söylüyor. Marcus "Düşünce zincirinin denetlenebilirliği sınırlı ve tam olarak güvenilir değil ancak ciddi derecede kötü sonuçları önlemek için pratikte elimizdeki tek yol bu" diye yazıyor.

OpenAI çalışanları, konuyla ilgili haberlerin "kafa karıştırıcı" olduğunu öne sürdü. Şirketin baş bilim insanı Jakub Pachocki, söylentilerin "denetlenemezliğe doğru bir yarış" başlatabileceği uyarısı yaparak OpenAI'ın düşünce zincirini denetlemeye yönelik bağlılığını korduğunu ve "bu tekniğe derinden önem verdiğini" söyledi.

Şirketin stratejik gelecekten sorumlu başkanı Dean W. Ball da benzer şekilde tartışmanın büyük ölçüde sosyal medyada gerçekleşmesini eleştirdi. Ball'a göre bu durum, "gerçekte neler olup bittiğine dair neredeyse hiç somut bilgiye sahip olmadan, teknik açıdan karmaşık ve incelikli iddialar hakkında sosyal medyada hüküm vermek" anlamına geliyor. Ball, X'te "Bu açıkçası çılgınca, akıl almaz ve ilgili herkes için sinir bozucu" diye yazdı.