Beyin Dalgalarından Yapay Ses Oluşturuldu

Beyin Dalgalarından Yapay Ses Oluşturuldu

Cep telefonlarımız artık sesli komut özelliğine sahipler. Sesimizle elektronik aletlere komut verebiliyoruz. Bazı telefonlar sesi yazıya da dönüştürebiliyor. Teknoloji hayatımızı her geçen gün kolaylaştırırken Amerika’da San Francisco’da çalışan sinirbilimcilerden yeni bir haber geldi. Beyin dalgalarımızdan yapay ses üretmeyi başardılar. Bu teknoloji bir gün konuşamayan insanların sesi olabilir. Felç veya bazı metabolik hastalıklar yüzünden insanlar sesini kaybedebiliyordu. Artık bu sorunun da önüne geçilebilecek.

Konuşma kabiliyetimiz en önemli becerilerimizden biridir. İnsanların sosyalleşmesinde sözlü iletişim çok büyük bir yer kaplar. Doğuştan fiziksel bir sorunu olmayan herkes sağlıklı bir şekilde konuşabilir. Ancak felç veya travma geçirmek, Parkinson hastalığı, multipl skleroz ve ALS hastalığına yakalanmak sesinizi sizden çalabilir. Ünlü fizikçi Stephen Hawking de gençliğinde ALS hastalığına yakalanmış ve zamanla konuşma yeteneğini kaybetmiştir. Bir kişinin konuşma yetisini kaybetmesi iletişim kurmasına engel değildir. Hawking kendisine özel tasarlanan cihaz sayesinde iyi bir şekilde iletişim kurabiliyordu.

Yapay Ses Dünyada Geniş Bir Yankı Buldu

Şiddetli konuşma güçlüğü yaşayan yardımcı cihazlar ile düşüncelerini harf harf aktarmayı öğreniyorlar. Bu cihazlar çok küçük olsa bile göz hareketlerini ve yüz mimiklerini takip edebiliyor. Ancak bir yazı yazmak ve cümle kurmak çok zahmetliydi. Sıklıkla hata yapılıyor ve hastalar çok zorlanıyordu. Ayrıca dakikada sadece 10 kelime söyleyebilmek de biraz yetersiz kalıyor. Normal bir konuşma dakikada 100-150 sözcüğün telaffuzunu içerir.

Dr. Edward Chang’in laboratuvarında geliştirilen cihaz dünyanın en saygın bilim dergilerinden biri Nature’da yayınlandı. Araştırmacılar beyin dalgalarından yapay ses üretmenin mümkün olduğunu gösterdi. Daha öncesinde yapay zekâ insan sesi ile birleştirip robotlarda hayat bulmuştu. Çin’de bir robot sunucu haber programı bile sundu. Şimdi bir kişinin beyninin konuşma merkezlerindeki beyin faaliyeti ile seslendirme yapmak da gerçek oluyor. Yakın gelecekte hem konuşma güçlüğü yaşayanlar daha akıcı bir şekilde konuşabilecek hem de insan sesini duygu ve kişilik açısından taklit edebilen yeni cihazlar ortaya çıkacak.

İlk Defa Beyin Dalgalarından Yapay Ses Oluştu

Dr. Chang çalışmalarını anlatırken şu sözleri kullanıyor: “İlk defa bir kişinin beyin faaliyetine bakarak söyleyeceği tüm cümleleri ürettik. Şimdiden ulaştığımız teknoloji sayesinde konuşma kaybı yaşayan hastalara yardım edebiliriz. UCSF Weill Sinirbilim Enstitüsü’nde çalışan Chang ve ekibi geleceğe dair umut dolu açıklamalar yapıyor. Bilim kurgu filmlerinde gördüğümüz bir teknoloji daha sanırım hayata geçiyor. Bu tür çalışmalar klinik araştırmalardan çok daha hızlı yürür. Etik kurul, faz çalışmaları gibi prosedürler olmadığından bu projeler hızlıca hayata geçer.

Bilimsel ve teknolojik gelişmeler çoğu zaman bir anda ortaya çıkmazlar. Herkes bir taş koyar ve bu şekilde anlamlı bir çalışma üretilir. Chang’ın ekibindeki araştırmacılar da daha önceden yayınlanmış bir çalışmadan esinlenmiştir. Bu çalışmada insan beyninin konuşma merkezlerinin dudak, çene ve dil hareketlerini tahmin etmede kullanılabileceği yer alıyor. Aynı zamanda bu hareketlerin akıcı bir konuşma için faydalı veriler sunabileceği belirtiliyor.

Sesler Önce Ses Hareketlerine Dönüşüyor

Chang’ın ekibindeki Dr. Gopala Anumanchipalli ve yüksek lisans öğrencisi Josh Chartier daha önceden yapılan çalışmaların başarıya ulaşmadığını fark etti. Bilim inşaları beyin faaliyetinden konuşmayı çıkaramamıştı. Bu beyin bölgeleri sesin akustik özelliklerini yansıtmıyordu, sadece belirli ağız ve gırtlak hareketlerinin koordinasyonunu gösteriyordu. Ağız, dil, boğaz ve çene hareketlerinden sesi üretmek hiç kolay bir iş değildir. Ekip uzun uğraşlar sonucu beyin dalgalarından ağız ve çene hareketlerini çıkarttı. Bunun ardından yapay ses oluşturmak için kolları sıvadı. Sonunda da başardılar.

Anumancipali ve Chartier üniversitenin epilepsi merkezinde tedavi gören 5 hastayı çalışmalarına katılmaya ikna ettiler. Katılımcıların kafasına epileptik nöbetlerin kaynağını bulmak için geçici olarak implantlar takıldı. Bu hastalardan birkaç yüz cümle okumaları istendi. Gönüllüler cümleleri okurken araştırmacılar da konuşmanın üretilmesinden sorumlu beyin bölgelerinin elektriksel faaliyetini kaydediyordu.

Bir sonraki aşamada katılımcıların konuşmalarının kaydı alındı. Bu ses kayıtları ters mühendislik yöntemi kullanılarak sesi oluşturan kas hareketlerine dönüştürüldü. Normal süreçte önce ses telleri titreşir, sonra ortaya çıkan ses dalgaları gırtlak ve boğazda şekillenerek harflere, sözcüklere dönüşür. Araştırmacılar burada ortaya çıkan sesleri ses dalgalarına ve kas hareketlerine dönüştürdüler. Sesler oluşurken dudaklar nerede kapanıp açılıyordu, dil nasıl hareket ediyordu, ağzın yapısı nasıl değişiyordu, bunlar analiz edildi.

Yapay Ses ve Makine Öğrenmesi

Seslerden anatomiye doğru yapılan analiz bilim insanlarının sanal bir ses yolu yaratmasını sağladı. Bu şekilde beyin dalgalarından yapay ses oluşturmanın önü açılabilecekti. Bu sanal ses yolu her katılımcının beyin dalgalarına göre farklılık gösteriyordu. Araştırmacılar iki tane nöral ağ makine öğrenme algoritması oluşturdular. Her insan için sürekli kod yazamazsınız. Bunu makine öğrenimi sistemi ile oluşturup cihaz otomatik olarak kendini katılımcıya göre şekillendirebilir. İlk algoritma konuşma esnasında üretilen beyin dalgalarını sanal ses yolu hareketlerine dönüştürüyordu. Diğer algoritma da bu ses yolu hareketlerini katılımcının sesine yakın bir yapay ses haline getiriyordu.

Algoritmalar tarafından üretilen yapay ses ve konuşmalar şimdiye kadar en iyi sonuçları vermişti. Ses yolu hareketlerinin simülasyonu konuşmanın hata oranını çok düşürmüş, kaliteyi de artırmıştı. Araştırmacılar cihazı test ettiklerinde basit kelimelerin birleşik kelimelerden daha iyi tanımlandığı görüldü. Birleşik kelimelerin %69’unun başarılı bir şekilde cihaz tarafından tespit ediliyordu. Bu çok iyi bir başlangıç! Yapılacak daha çok şey olmasına rağmen araştırmacılar çok büyük bir iş başardılar. Yapay zekâ, linguistik ve sinirbilimi birleştirerek konuşma güçlüğü çekenlere, konuşamayan insanlara bir ses verebilirler.

Hazırlayan: Çağlayan Taybaş

Kaynaklar

https://medicalxpress.com/news/2019-04-synthetic-speech-brain.html

https://www.nature.com/articles/s41586-019-1119-1

Yazıyı beğendiyseniz 5 yıldız verebilir misiniz?

Çağlayan Taybaş

İzmir Yüksek Teknoloji Enstitüsü, Moleküler Biyoloji ve Genetik mezunuyum. Şu an Johnson & Johnson'a bağlı olarak Erenköy Ruh ve Sinir Hastalıkları hastanesinde klinik araştırma koordinatörü olarak çalışıyorum. Ayrıca İstanbul Üniversitesi'nde ekonomi (açık öğretim) okuyorum. Lisans hayatım boyunca laboratuvarın yanında bilim yazarlığı, programlama, ney ve satranç ile uğraştım. Mezun olduktan sonra askere gitmeden önce sinirbilim.org'u kurdum. Şu an iş hayatım çok yoğun olduğu için eskisi gibi yazamıyorum. Yine iyi idare ettiğimizi düşünüyorum. Bana herhangi bir soru sormak isteyen varsa c.taybas@gmail.com'a mail atabilirler.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak.