NASA, EOSDIS ve EarthData Cloud
EOSDIS, NASA’nın ilk ve en büyük bulut projesidir. EOSDIS projesi; uydu, uçak, yerinde ölçüm ve diğer kaynaklardan elde edilen Yer bilimi verilerinin Earthdata Bulutuna aktarılmasını sağlar. Bu, kullanıcıların NASA’nın Yer bilimi veri kümeleri koleksiyonuna erişmelerini sağlar, veri operasyonlarının verimliliğini ve kullanıcı özerkliğini artırır, esnekliği en üst düzeye çıkarır ve paylaşılan hizmetler ile yeni kontroller sunar.
Yüksek hacimli Dünya gözlem görevlerinin gelişiyle birlikte, NASA’nın büyük miktardaki veriyi etkili bir şekilde alma, işleme ve arşivleme gereği ortaya çıkmıştır. Bu durum uygun maliyetli, esnek ve ölçeklenebilir veri yönetimi mimarileri-teknolojileri gerektirmektedir. NASA Yer Bilimi Veri Sistemleri (ESDS) Programı, bu talepleri karşılamak için ticari bir bulut ortamında sistemin (EOSDIS) birden fazla bileşenini geliştirmek ve işlemek için stratejik bir vizyon sunar.
Earthdata Cloud ise açık bilime geçişi desteklemek için topluluk kaynakları sağlayan ESDS Açık Bilime Dönüşüm (TOPS) programının önemli bir bileşenidir. TOPS ise, yazılım, veri ve bilginin (algoritmalar, belgeler, yardımcı bilgiler) bilimsel süreçte mümkün olduğunca açık olarak paylaşımını destekleyen NASA’nın Açık Kaynak Bilim Girişimi’nin bir parçasıdır.
Buluttaki Veriler
Earthdata Cloud mimarisi Temmuz 2019'da faaliyete geçti ve kısa süre sonra NASA’nın Ortak Meta Veri Deposu (CMR) ve Earthdata Search gibi önemli EOSDIS hizmetleri bunun içinde konuşlandırıldı. O zamandan beri buluttaki veri ve hizmet miktarını artırmaya yönelik çalışmalar devam etti.
NASA’nın Küresel Görüntü Tarama Hizmetleri (GIBS) buluta geçmeye başladı ve Ocak 2022 itibarıyla toplam görüntü katmanlarının %5'i (hacimce %20) ve şirket içi görüntü arşivinin %80'i buluta aktarıldı. Sistemin Kış 2022'ye kadar %100 bulutta olması bekleniyor. Şubat 2022 itibariyle, EOSIDS DAAC’leri, her hafta daha fazla veri eklenerek Earthdata Cloud’a 1 Petabayttan (PB) fazlasını taşıdı.
Veri Kullanıcılarına ve Bilim Topluluğuna Sağlanan Faydalar
EOSDIS verilerini buluta taşımak, veri kullanıcıları ve EOSDIS için çok sayıda avantaj sağlar:
Verilere kolay erişim: Kullanıcılar, verilere doğrudan bulutta erişebilecek ve bu da büyük miktarda veri indirme ihtiyacını ortadan kaldıracaktır. (Not: Kullanıcılar, isterlerse veri indirme olanağına sahip olacaktır.)
Hızlı dağıtım: Kullanıcılar, algoritmalarını ve işleme yazılımlarını buluta getirebilir ve doğrudan buluttaki verilerle çalışabilirler. Bu sayede bilim keşfi hızlanır, satın alma ve donanım desteği basitleşir.
Ölçeklenebilirlik: Arşivin boyutu ve kullanımı, ihtiyaca göre kolayca ve hızla genişletilebilir.
Esneklik: Verilerin en iyi şekilde kullanılmasını sağlamak için işletim sistemi, programlama dilleri, veritabanları vb gibi seçenekler belirlenebilir.
Azaltılmış artıklık: Yerel bulut hizmetleriyle ortak bir altyapının kullanılması, gereksiz araç ve hizmetleri azaltacak, paylaşımı mümkün kılacak ve topluluk standartlarının yanı sıra tek tip bir kullanım politikasını zorunlu kılacaktır.
Maliyet etkinliği: EOSDIS ve NASA, yalnızca kullanılan depolama hizmetleri için ödeme yapar. Ölçeklenebilirlik avantajlarının yanı sıra bu, veri ve hizmetlerin NASA ve EOSDIS’e mümkün olan en düşük maliyetle sağlanmasına olanak tanır.
Not: NASA’nın tam ve açık veri politikası kapsamında, tüm NASA verilerine erişim ve indirme ücretsiz olmaya devam edecektir.
Bu, kullanıcıların verileri ücretsiz olarak keşfetmek, aramak, erişmek ve indirmek için bulut tabanlı EOSDIS hizmetlerini kullanabilecekleri anlamına gelir. Ancak, verileri kendi Amazon Web Services (AWS) bulut sunucularında veya depolama alanlarında depolamak isteyen kullanıcılar, bu maliyetleri karşılamaktan sorumludur.
Earthdata Cloud, NASA Dünya bilimi verilerini araştırma için kullanan bilimsel topluluğa da fayda sağlar. NASA verilerini, algoritmik kodu ve meta verileri bulutta kullanılabilir hale getirecek, araştırmacıların bilimsel süreçleri daha şeffaf, tekrarlanabilir hale gelecek, bu da bilimsel sürece netlik ve geçerlilik kazandıracaktır. Ayrıca, standart bir yazılım ve kodun kullanılması, yeni kullanıcıların verilerle etkileşim kurmayı öğrenmesini ve bilimsel sürece daha fazla dahil olmasını kolaylaştıracaktır.
Arka Plan
Eylül 2021 itibarıyla Earthdata Cloud, 59 PB’den fazla veriye sahiptir. ESDS’nin tahminlerine göre, bu miktarın önümüzdeki yıllarda önemli ölçüde artarak 2023'te 148 PB, 2024'te 205 PB ve 2025'te 250 PB’nin üzerine çıkması beklenmektedir. EOSDIS arşivindeki veri hacmi artmaya devam ederken, veri alım oranının da önemli ölçüde artması bekleniyor. On yılın sonunda, EOSDIS arşivindeki veri hacminin 320 PB’yi geçmesi bekleniyor.
Bu büyüme, verilerin dağıtılması ve analiz edilmesi için bir dizi zorluk ortaya çıkarıyor. Bu nedenle, Earthdata Cloud aşağıdaki önemli alanlarda yeni hizmetler sağlamak için halen çalışmaktadır:
Veri sağlayıcılardan (NASA bilim ekipleri gibi) veri toplama.
Veri alımı: Sistem, çoklu görev ve veri alımını desteklemelidir.
Veri doğrulama ve işleme.
Veri arşivi: Sistem, NASA Dünya gözlem verilerini korumalıdır.
Felaket kurtarma dahil veri dağıtımı: Sistem, veri dağıtımını, alt kümelemeyi ve görselleştirmeyi desteklemeli ve geleceğin teknolojilerine uyarlanabilir olmalıdır.
Meta veriler: Veri kümesi meta verilerinin toplanması, oluşturulması ve yayınlanması.
Veri yönetimi: Sistem, Yer bilimi veri setlerinin yaşam döngüsü ihtiyaçlarının geliştirilmesini ve yürütülmesini sağlamalıdır.
Metrikler: Veri sağlayıcılardan toplanan ve düzenlenen ESDIS Metrik Sisteminde (EMS) çeşitli metriklerin yayınlanması.
Büyük Şirketlerle Planlanan Çalışmalar
NASA veri kümelerinin keşfini, erişimini ve kullanımını iyileştirmek için AWS ile yapılan anlaşma faydalı bir işbirliğiyle sonuçlandı. Veri ürünlerinin topluluk tarafından değerlendirilmesini kolaylaştırmak için depolama ve hazırlama alanlarının oluşturulması ve bulut bilgi işlem kaynaklarının kullanımını genişletmek için bazı atölyeler planlandı.
Google işbirliği ile, Google Cloud ve Google Earth Engine’de büyük hacimli NASA veri kümelerini kullanıma sunmak için bilgilerin aktarımı, depolanması hakkında bazı araştırmalar planlandı.
Google Cloud Public Dataset arama motoru ve Earth Engine Kataloğu aracılığıyla NASA Earth Science verilerinin kullanıcılar tarafından erişilebilir hale getirilmesi; ve NASA’nın Frontier Development Lab (FDL) Challenges ve SpaceML projeleriyle NASA’nın Yapay Zeka (AI) yeteneklerinin arttırılması hedeflendi.
Microsoft ortaklığı ile yüksek değerli NASA bilim veri kümelerini Azure’da kullanıma sunmaya yönelik araştırmalar başladı. Bunların arasında: veri depolama yöntemleri, maliyet ve performans değerlendirmeleri, bilimi teşvik etmek için bulut tabanlı analitik ve yapay zeka için eğitim veri kümelerini paylaşmaya yönelik yaklaşımlar bulunuyor.
Ayrıca Cumulus, son derece esnek bulut yerel altyapısı ile NASA uyumlu BT Güvenlik kontrolleri, ağ hizmetleri ve Amazon Web’de işletme maliyet kontrolü sağlayan, özel olarak bulut için optimize edilmiş bir platform olan NASA Uyumlu Genel Uygulama Platformu (NGAP) ile entegre edilmiştir. (AWS Hizmetleri)
Earthdata Bulut Evrimi
Bu görevler, NASA’ya gelişmiş veri yönetimi için rakipsiz fırsatlar sunuyor. Bunların arasında: gelecekteki Dünya bilimi görevlerinin üretmesi beklenen eşi benzeri görülmemiş veri hacimlerine kullanıcı erişimi sağlamak ve sistemleri-mimarileri daha fazla geliştirmek, test etmek gibi özellikler bulunuyor. Buna ek olarak NASA, araştırmaları ilerletmek için yapay zekanın geliştirilmesi adına bazı şirketlerle (Esri, IBM ve Nvidia) ek anlaşmalar yapmayı düşünüyor.
NASA’nın Ücretsiz ve Açık Veri Geleneğini Sürdürmek
EOSDIS’in 1994'te faaliyete geçmesinden bu yana NASA yer bilimi verileri, ücretsiz olarak tüm kullanıcılar tarafından kullanılabilir durumdadır.
NASA’nın tam ve açık veri politikası uyarınca, tüm NASA görev verileri (algoritmalar, meta veriler ve bu verilerle ilişkili belgelerle birlikte) ücretsiz ve halka açık olmalıdır. Bu, dünyanın herhangi bir yerindeki bir kişinin, kısıtlama olmadan 59 PB’den fazla NASA Yer bilimi verisine erişebileceği anlamına gelir.
Açık bilim kavramı, açık kaynaklı yazılım hareketinin felsefesi ve ruhu üzerine kuruludur. Bilim camiası ve halk arasında veri-bilginin açık paylaşımını hızlandırmak için işbirliğine dayalı bir kültür yaratmaya çalışır.
Amaç birlikte çalışacak Dünya odaklı yeni uydu misyonları ile değişimin gözlenmesi, doğal afetlerin hafifletilmesi, orman yangınlarıyla mücadele ve gerçek zamanlı tarımsal süreçlerin iyileştirilmesidir.
Veriler Earthdata Cloud’da saklanacak ve bu verilerle doğrudan bulut ortamında çalışmak için çeşitli araçlar sağlanacaktır. Bu strateji ile bilimsel keşif fırsatlarının artması hedeflenmektedir.
Orijinal metin, aşağıdaki sitede 30 Mart 2022 tarihinde yayınlanmıştır.
Diğer yazılarıma ulaşmak için:
