Düşünceyi Sese Dönüştürmek Mümkün mü?

Nisan ayında bir araştırmanın sonuçları gündeme geldi. Konunun medyada ele alınış tarzına bakılırsa ortaya çok farklı bir tablo çıkıyor: Düşünceleri kayıt altına alabilecek bir cihaz geliştirilmiş… Söz konusu cihaz ile başkalarının bizim hakkımızda ne düşündüğünü anlayabilecekmişiz… İç konuşmalarımız yazıya dökülebiliyormuş vs…

Nature dergisinde geçtiğimiz Nisan ayında “düşüncenin sese dönüştürülmesi” konusunda bir araştırma yayınlandı. Ve bilgisayar yardımıyla, beyin sinyallerinden, iki İngilizce cümlenin sese dönüştürüldüğü duyuruldu.

Beyin dalgalarını elde etmekte kullanılan elektrotlardan biri

(Görsel: UCSF Chang Lab)

Peki, Beyin Sinyalleri Sese Nasıl Dönüştürüldü?

Araştırma ekibi, epilepsi tedavisinin bir parçası olarak beyinlerinin yüzeyine elektrot yerleştirilmiş beş kişiyle çalıştı. İlk aşamada, katılımcılar yüksek sesle yüzlerce cümle okurken araştırma ekibi katılımcıların beyin aktivitelerini kaydetti. Ardından Chang ve ekibi bu kayıtları; dilin, dudakların, çenenin ve gırtlak hareketlerinin nasıl ses çıkardığını gösteren önceki deneylerden elde edilen verilerle birleştirdi.

Ekip bu veriler üzerinde derin öğrenme algoritması ile yapay zekâyı eğitti ve ardından programı kod çözücülerine ekledi. Ekibin kullandığı cihaz, önce beyin sinyallerini vokal yolun tahmini hareketlerine çeviren ve ardından bu tahmini hareketleri yapay bir konuşma sesine dönüştüren bir teknolojiye sahip.

Edward Chang, bu şekilde oluşturulan 101 cümleyi dinleyenlerin, kelimelerin ortalama %70’ini anlayabildiğini söylüyor. Yani bu cihazın hem hecelerle yetinmeyip cümleleri sese dönüştürdüğü; hem de anlaşılabilirlik oranı eski cihazlardan daha yüksek olduğunu söylüyor.

…

Başka bir deneyde ise, araştırmacılar önce katılımcılardan cümleleri yüksek sesle okumalarını; daha sonra ise ses çıkarmadan, sadece ağız hareketleriyle aynı cümleyi okumalarını istedi. Dr. Chang bu deneyde beyin aktivitesi sinyalleri sonucu oluşturulan cümlelerin sesli konuşmalarda oluşturulan cümlelerden daha düşük kalitede olduğunu ancak böyle de olsa sonuçların cesaret verici olduğunu söylüyor.

Düşünce Yoluyla İletişim Kurmak Mümkün Olacak mı?

Bu yeni teknolojik cihaz, ağzını hareket ettirerek yani vokal yol ile sinyal eşlenmesini sağlayarak konuşan birisi için gayet iyi iş görüyor; ancak ya ağzını hareket ettiremeyen kişiler?

Bu sebeple Chicago’daki Northwestern Üniversitesinden nörolog Marc Slutzky, “Gerçekten önemli bir adım; ancak cihazın etkinliği ile oluşturulan konuşmanın kolayca anlaşılabilir olması için daha uzun bir yol var” diyor.

Yani bu teknoloji henüz günlük pratikte hastaların kullanabileceği bir teknoloji değil.

Araştırma Medya Tezgâhında Abartıldı mı?

Araştırmanın içeriğine baktığımızda ise; düşüncenin kayda dökülmesi, tespit edilmesi söz konusu değil. Zaten düşüncenin beyinde nasıl olduğu, beyin hücrelerinden ne gibi işlemlerden geçtiği, kelimeler arasındaki farkların nasıl oluştuğu bilinmiyor. Hatta konuşma merkezi bilinse de yerine göre tüm beynin konuşma esnasında aktif olduğu gerçeği var.

Bu araştırma merak uyandıracak tarzda haber yapılsa da acaba gerçekten öyle midir?

Düşünceyi Sese Dönüştürmek Ne Kadar Mümkün?

Beynimiz sadece bedenimizin değil kâinatın en karmaşık nesnesidir. Her biri çevresindeki binlerce hücre ile bağlantısı olan 100 milyar civarında sinir hücresinden (nöron) oluşur. 100 milyar nöron, 100 trilyon sinapsta birleşen 180 bin kilometre yalıtımlı lif vardır. Beynimiz bu haliyle devasa akıl almaz bir biyolojik bilgisayardır. Ayrıca bilgisayarlar kendi başınadır, ama beynimiz hayranlık uyandıracak tarzda tüm bedenimizle entegre haldedir.

İnsan beyni toplam ağırlığımızın %2’si kadar olmasına rağmen tüm enerjimizin %20’sini kullanır.

Beyin hücreleri elektrik sinyalleriyle anlaşırlar. Sinyal gönderildiğinde binlerce mikroskobik kanal açılıp artı yüklü iyonların beyin zarı boyunca akmasını sağlar. Ardından her hücredeki 1 milyondan fazla minyatür pompa, bir sonraki sinyal için iyonları tekrar yollar.

Sinyal bir sinir hücresinin ucuna varınca küçük kimyasal sinyal paketleri (nörotransmitterler) civardaki nöronlara aktarılır. Sinaps denen bu bağlantılar, mesajların bir hücreden diğerine iletilmesini böyle sağlar. Her nöron yüzlerce, hatta binlerce bağlantı oluşturur ve bu bağlantılar insan düşüncesiyle ilgili karmaşık yapıları meydana getirir.

Yine her bir nöron binlerce girdi alabiliyor, bunları koordine edebiliyor ve kimyasal türüne bağlı olarak bir sonraki adıma karar verebiliyor.

Ve işin ilginci de mikroskobik mahiyetteki bu işlemler hakkında henüz çok az bilgi sahibiyiz. Yani gerçek şu ki, bu sinyalleri hücresel düzeyde çözüp hangi mesaj gidiyor, mesajda ne deniyor, bunu anlayabilecek durumda değiliz.

Kaynaklar:

1. Nature - Speech synthesis from neural decoding of spoken sentences. Nature Brain signals translated into speech using artificial intelligence

2. Towards reconstructing intelligible speech from the human auditory cortex