Google Nasıl Çalışır ?
Bir ya da birkaç kelimeyi dünyadaki tüm internet siteleri içinde (genelde) 1 saniyeden kısa sürede aramayı becerebilen , bu yetmezmiş gibi tamda aradığımız şeyi karşımıza getiren Google’ın nasıl çalıştığı hakkında pek azımızın bir fikri vardır.Bakalım google bunu nasıl oluyorda mümkün kılıyor ?
Alan Adı sunucuları
Google’ın alan adı sunucusu (dns) yazılımı tüm dünyadaki şirkete ait ya da kiralanmış bilgisayarlarda çalışır.Bunların tek görevi sorguyu en yakın ve en az meşgul olan Google sunucu kümesine (cluster) a göndermektir.
Cluster nedir ?
Cluster kelimesi Türkçeye salkım ya da kümelerden oluşan bir bütün olarak çevrilebilir.Küçük parçalardan meydana gelen büyük bir yapıyı temsil etmek için kullanılır diyebiliriz.Salkımlar üzüm tanelerinden oluşur ve başlı başına birşeydir.:p
Clusterların Kontrolü
Google’ın dehası binlerce ucuz ve yavaş bilgisayarı tek bir süper bilgisayar gibi kullanabilen network yazılımında yatar.Bu sistem salkımı oluşturan küçük bilgisayarların sisteme girip çıkmasına izin verir.Bu sayede eğer küçük bilgisayarlardan biri bozulursa sistemin çalışması sekteye uğramadan tamir edilebilir veya değiştirilebilir.
Clusterin içinde ne var ?
Googlebot , görevi girebildiği bütün siteleri gezmek ve istemediğini belirtmediği sürece yazıların kopyasını alan ve kolay ulaşılabilir olması için “index verileri” oluşturan web örümceğidir.Bu örümcekler bir siteden diğerine linkler aracılığı ile geçerler populer siteleri ve oradaki linkleri yaklaşık her saatte bir indexlerler.Tüm Google clusterlerinin içinde bütün web in toplam üç kopyası vardır.Bu yaklaşık 20 petabyte tutar.(Kulağa küçük geliyor değil mi?Eğer ipodunuzun hafızası 20 petabyte olsaydı tam 200 milyon şarkıyı cebinizde taşıyabilirdiniz..)Clusterlardaki veriler sürekli güncellenir, asla sabit değildir.
Google Web Server
Aramalar üzerinde aynı anda çalışılması için web server tarafındn onbinlerce makineye gönderilir.Bu markete gidip birşey istediğinizde yüzlerce görevlinin bir ürün bulup alışveriş sepetinize koymasına benzer.
Google Index Server
Googlenin bildiği herşey devasa veritabanlarında saklanır fakat bir bilgisayarın gigabytelarca dosyayı işlemesini beklemek yerine google bu verileri binlerce bilgisayar tarafından taranarak benzer aramalar için index verileri oluşturulur.Bunu bir kitapta neyin nerede olduğunu belirten içindekiler sayfasına benzetebiliriz.Bu sayade webin kolayca ulaşılabilir olması sağlanır (bkz google desktop)
Google Document Server
İndex serverden gelen verileri linklere ve sıralama algoritmasına göre düzenler ve kullanıcının karşısına çıkarır.
Bütün bu işlemler ortalama 0.5 saniye sürer.
Peki google webi nasıl bu kadar kısa sürede arar?
Aslında bir sorgu gerçekleştirdiğinizde google webde aramaz.Google zaten veritabanlarına webin 3 kopyasını almış ve kendi özel algoritmaları sayesinde bunları kolayca aranabilir hale getirmiştir.
Pagerank Algoritması
Bu “program” sayesinde Google hangi sitelerin önemli ve hangilerinin önemsiz olduğunu belirler.Pagerank hakkındaki detayları daha önce milyonsitede yazmıştım.
Google’ın web araması özelliklerini bilgisayara taşıyan Google Desktop adlı bir uygulaması var.Tam anlamıyla olmasada web aramalarını kullanıyor.Bilgisayarınızı kullanmadığınız zamanlarda dosyaları tarayarak index verisini oluşturuyor.Bu sayede siz daha aradığınız kelimleri yazarken google bu kelimeleri içeren sonuçları (emailler, belgeler , dosyalar , web geçmişi ..) listeliyor.Yazmaya devam ettikçe sonuçları güncelleyebiliyor.
Google’ın nasıl çalıştığı benim uzun süredir merak ettiğim bir konuydu.Bu konuda birkaç bilgim vardı ama detaylı bir araştırma yapmaya karar verdim ve bu konuda hiç Türkçe kaynak olmadığını gördüm.Dilim döndüğünce , gerek direk ingilizcesinden çevirerek gerekse kendi cümlelerimi kullanarak bu dökümanı yazdım.Umarım beğenmişsinizdir..
kaynaklar ;
How Google Works
Güvercinli bilgisayarlar 
Sırada ne var ?
Etiketler: cluster, data clustering, Google, google servers
Ekim 15th, 2007 saat 23:35
Tek kelimeyle güzel bir araştırma.
Paylaşım için teşekkür ederiz.
Ekim 17th, 2007 saat 00:54
google.com un calışma mantığını çözmüş bir insan görüyorum burda. senin değil bir çok kişinin merak ettiği bir mevzudur çünkü google.com un kendi oluşturduğu arama alogoritması onu popüler kıldı.
bir çok kişiye sorarsan alabileceğin en mantıklı cevap googlebot varya işte ondan dolayı öyle hızlı arıyor olurdu : )
google.com da aramanın bu kadar hızlı olmasının sebebini öğrenmek için uzun ingilizce makaleler çevirmene gerek yoktu. en basit örneği bir arama gerçekleştirdiğinde her sonucun altında önbellek seçeneği vardır. arama sonucunu önbellkede gösterirsen aradığın kelimlerin arka fonları oluşacaktır ama en önemli nokta üst bölümdeki framede yazıyor
… adresinin G o o g l e tarafından 15 Eki 2007 07:48:04 GMT tarihinde kaydedilmiş önbellek görüntüsüdür…
bütün aramalarını bu bilgilere göre kayıt eder (az önceki bir aramanın sonucu 16 ekim 07 00:45) ama önbellek tarih ve saatine bakın.
bir diğer yöntem ise benzer sonuca götürecektir. google.com da belli şekilllerde aramalar mevcuttur. inurl: / intitle: / filetype: gibi bir diğer arama koduda cache: dir. yani önbellek. herşeyin bir görüntüsünü alır ve saklar aramalrı kendi önbellğinde yapar. googlebot lar ise önbelleğin güncel kalmasını sağlar.
aslında senin anlattığından farklı birşey anlatmadım : )
Ekim 22nd, 2007 saat 13:06
Güzel bir yazı olmuş emeğine sağlık. Google’ı tam anlmıyla anlamak imkansızdır ha onu anlarsak ne olacak işte google kendi tahtını kaptırmış olacak. Bazı bilgileri kendileri veriyor yukarıda arkadaşımızın anlattığı gibi önbellekte tutulan bilgiler azımsanmayacak şekilde fazladır. Biz onu ne kadar çok tanırsak arama sonuçlarında daha iyi bilgiye ulaşabiliriz fakat rakipleri ne kadar çok tanırsak bu sefer onun rakipleri daha fazla güçlenecek işte google bunun ortasını buluyor herhalde
Kasım 15th, 2007 saat 15:47
Çok güzel bir çalışma olmuş
Ocak 2nd, 2008 saat 19:39
[...] sunuyor. Önce bir webmasterin kesinlikle bilmesi gerektiğini düşündüğüm bilgiler içeren Google Nasıl Çalışır başlıklı yazıyı okumanızı tavsiye ederim.Google’ın örümcekleri siteden siteye [...]
Şubat 15th, 2008 saat 16:34
Google bu akıl sır ermiyor pek. Ben aslen şu hep dilden dile geze ve daha hakkında bilgi bulunmayan (doğal olarak!) Algoritmayı merak ediyorum
Mart 7th, 2008 saat 17:16
süper olmuş…tam aradıgım gibi.emeginize saglık.:)
Mart 26th, 2008 saat 23:51
teşekkürler şimdiye kadar okuduğum en açıklayıcı türkçe bir kaynak olmuş
Mart 27th, 2008 saat 03:09
valla süper oldu ya sağolsın bi de mümkünse sizde n bi kaç bilgi daha alabilrmıyım msn gkhnince@hotmail.com proje ödevim http://www.google.com da :Dyardım cı olursan sevnrımm ynede tşkler