Mengenali Google Crawler

Johan Rakyat|Mengenali Google Crawler. Google merupakan enjin carian yang digunakan oleh majoriti pengguna internet. Kerana Google sampai saat ini dianggap mempunyai kelebihan-kelebihan yang tidak dimiliki oleh enjin carian lain. Disamping itu paparan dari google search engine yang sederhana, ternyata di balik itu google mengandungi suatu system pengindekan yang nyaris sempurna dan pengindekan terkini dengan menggunakan algoritma google panda 2.5. Sehingga google nyaris tanpa kompromi membabat blog yang mengandungi kandungan-kandungan yang tidak bermutu seperti blog AGC (Auto Generate Content) dan blog yang mengandungi artikel dari hasil Copy Paste.

Google berjalan pada rangkaian terdistribusi ribuan komputer murah sehingga dapat melaksanakan pemprosesan selari dengan cepat. Pengolahan selari adalah kaedah perhitungan di mana banyak pengiraan boleh dilakukan secara serentak, secara signifikan mempercepatkan pemprosesan data.

Integriti Search Engine Salah satu alasan kenapa search engine yang ada sebelum Google menurun populariti dan kegunaannya adalah munculnya Paid Listing. Di mana search engine yang "lapar" akan bayaran / pendapatan menjual kedudukan dalam keputusan carian kepada para pengiklan.

Terjadinya penurunan terhadap objektif tersebut meracuni hasil carian dan meremehkan prinsip populariti yang dimiliki laman web. Perbezaan antara search engine, yang seharusnya memaparkan hasil yang anda cari, dengan saluran browser, yang membawa anda ke perniagaan affiliate, mengabur. Walaupun banyak search engine yang enggan menjual kedudukan dalam keputusan carian mereka, keraguan dan ketidakpercayaan telanjur menyebar di hati para pengguna.

Integriti Google terlihat dari laman laman web mereka yang bersih dari segala macam tetek-bengek, dan semata-mata mempunyai satu hal iaitu kata "Search". Memang Google menerima iklan, tetapi iklan yang mereka terima dipisahkan dari hasil carian. Mungkin tidak semua orang setuju dengan cara Google Merangking hasil carian, tetapi tidak ada seorang pun yang menyangka bahawa rangking teratas di hasil carian Google boleh dibeli.

Bagaimana sebenarnya cara kerja Google & search engine secara umum? artikel ini bermaksud menjawab hal tersebut secara sederhana.

Cara Kerja Dasar Search Engine Semua search engine (enjin carian) bekerja dengan cara dasar yang sama: mereka "merayapi" (crawl) laman web dengan software robot automatik disebut Spider (labah-labah) atau Crawler (perayap) yang menghasilkan / mencipta Indeks (senarai) isi web yang boleh anda cari / ditemui oleh para pengguna. Setiap search engine mengizinkan para pengguna untuk mencari di dalam senarai (indeks) yang enjin carian itu miliki, untuk sebuah Keyword (kata kunci) atau sekumpulan keyword. Hasil carian dipaparkan dalam pelbagai bentuk senarai, tetapi kebanyakan memaparkan sedikit maklumat mengenai setiap web yang masuk dalam senarai dan link yang mengarah ke web tersebut.

Cara setiap search engine membuat senarai sangat unik, berkat pengaturcaraan mesin spider yang berbeza di antara satu sama lain. Unsur utama dalam pengaturcaraan spider adalah algoritma enjin carian tersebut, yang menentukan rangking dari setiap laman web yang didaftar. Sistem rangking tersebut menentukan cara hasil carian dipaparkan.

Cara Kerja Google Aset teknologi utama Google adalah sistem algoritma yang mereka miliki, formula sistem rangking rumit yang memberikan kepada para pengguna, hasil carian yang bagus dan seringkali terkesan seolah Google mampu membaca fikiran dari setiap orang yang mencari melalui enjin carian gergasi ini.

Hasil dari sistem algoritma dirangkum dalam sebuah statistik rangking perseorangan yang disebut PageRank, Google sangat merahsiakan formula PageRank ini, tetapi syarikat tersebut mempromosikan pentingnya PageRank, dan menawarkan pada para Webmaster penggunaan-penggunaan umum untuk meningkatkan PageRank. Google menunjukkan sistem penilaian rata-rata dari setiap laman (dalam skala 0-10) dalam bar alat Google. Walaupun formula tepat dirahsiakan, tetapi ramuan dasar PageRank ini dikenali awam.

  

Bila Google mengindex atau Merayap? Google merayapi laman web di Internet dengan kedalaman berbeza dan dengan tatacara jadual lebih dari sekali. Yang disebut Deep Crawl (merayap dalam) dilakukan sekurang-kurangnya sekali dalam 1 bulan. Berkaitan dengan kerumitan proses pembuatan senarai dan keperluan akan membuat senarai isi web secara menyeluruh, mengambil masa lebih dari 1 minggu untuk melakukan perayapan. Kerana itu mengambil masa 6 minggu untuk sebuah web atau blog baru supaya masuk dalam senarai Google. Tetapi ternyata system pengindexan google untuk laman baru ini, boleh juga di ubah dengan suatu teknik khusus untuk mempercepatkan laman terindeks google search engine dalam masa kurang dari 2 jam.

Deep Crawler & Fresh Crawler
Google bergantung sepenuhnya pada deep crawl ini, tetapi hasil dari deep crawl boleh cepat tamat berkaitan dengan cepatnya perubahan di dunia internet. Kerana Google melancarkan fresh crawl yang secara ringkas melawat laman-laman web di Internet lebih sering daripada deep crawl. Memang hasil fresh crawl ini tidak akan mengubah keseluruhan indeks yang dimiliki Google, tapi akan mengupdate isi dari sebahagian web / blog. Google tidak mengumumkan jadual fresh crawl ini dan laman / blog apa yang menjadi sasaran, tetapi para Webmaster boleh mengetahui jadual tersebut lewat penyelidikan yang saksama.

Google tidak punya kewajipan untuk melawat URL khas apa-apa, dengan fresh crawl mereka. Laman-laman web dan blog boleh meningkatkan peluang untuk lebih sering dikunjungi Google dengan mengupdate kandungan mereka secara teratur. Ingat sisi kedangkalan dari fresh crawl, Google mungkin melawat laman depan dari laman atau blog anda, tetapi mungkin tidak melawat laman-laman lain.

Deep Crawl bersifat lebih automatik dan tanpa pertimbangan serta lebih teliti daripada Fresh Crawl. Kesempatan baik datang bila saat jadual deep crawl, link-link dari laman baru sudah disenaraikan di laman utama, sehingga deep crawl akan mengindeks laman baru itu juga. Tidak semua laman dari sebuah laman akan dimasukkan dalam indeks oleh Google, proses pertimbangannya adalah rahsia syarikat tersebut. Kerana, bila anda merasa ada sebuah laman atau artikel penting yang anda miliki tidak terindeks di Google, yang boleh anda lakukan adalah memaksimumkan promosi.