Belajar SEO Untuk Blog

SEO Blog ~ Belajar SEO untuk blog itu lebih sederhana ketimbang kelihatannya. Dalam tutorial SEO sederhana ini saya akan menjelaskan tentang SEO Blog untuk pemula dengan sesederhana mungkin, agar siapa saja dapat dengan mudah memahami dan memulainya dengan cara yang benar.

SEO Untuk Blog ~ SEO Blog

Mitos Tentang SEO

Jujur saja ketika memulai sebuah blog beberapa tahun lalu saya tidak begitu mengerti tentang SEO dan teorinya, atau bagaimana cara memulai SEO untuk blog, mengoptimalkan bahkan membawa blog ke tingkat selanjutnya. Yang saya pahami saat itu adalah bagaimana menulis blog, berbagi ilmu, membantu sebagian orang dengan proyek dan bisnis mereka, dan belajar sambil blogging.

Hingga suatu hari saya merasa harus memulai melakukan riset/belajar SEO untuk blogger, dimulai dengan mencari-cari informasi tentang SEO melalui Google. Dalam perjalanannya saya menemukan ribuan informasi disajikan di halaman hasil pencarian Google merujuk kepada beberapa situs yang mengulas topik ini, data dan struktur kompleks dan memusingkan.

Meskipun faktanya SEO untuk blog tidak benar-benar rumit, namun karena ditulis dengan cara begitu kompleks jadinya terasa rumit. Dari situ saya memperoleh kesan pertama kurang menyenangkan tentang SEO. Banyak para ahli menulis seakan-akan kita sudah sangat paham tentang topik tersebut, seolah-olah seorang ahli blogging/HTML atau Anda adalah seorang master untuk memproses data-data berukuran besar, dimana sebenarnya itu bukanlah bidang saya dan bahkan mungkin bukan urusan Anda yang sedang membaca artikel ini.
Ini tidak heran karena kebanyakan tutorial SEO di internet orientasi penulisannya ditujukan kepada situs-situs berskala besar, sangat cocok untuk belajar SEO expert dan jarang sekali pembahasannya dikhususkan untuk Blog.
Setelah melewati beberapa fase dan gunung informasi saya merasa mulai sedikit belajar dan berniat suatu saat akan menulis panduan dasar SEO Blog sederhana secara khusus dengan cara paling ramah dan ideal untuk orang-orang seperti saya yang hanya paham sedikit tentang SEO yang masih bertanya-tanya, apa itu SEO, bagaimana cara menerapkan SEO untuk blog, Yang mana semua pertanyaan-pertanyaan tersebut akan saya ulas dalam tutorial SEO Blog sederhana ini bagi Anda yang ingin belajar SEO gratis :).

Apa itu SEO ?

SEO (Search Engine Optimization) adalah Optimasi Mesin Pencari.
Harus saya akui, beberapa tahun lalu ketika pertama kali mendengar kata itu, saya tidak begitu yakin apa yang sedang dibicarakan, apakah tentang seorang CEO dari sebuah perusahaan, atau apa... Saya benar-benar tidak paham apa itu SEO.

Bagaimana Cara Kerja SEO ?

Ketika membutuhkan suatu informasi di internet biasanya Anda akan membuka Google atau Bing lalu mengetikkan satu atau beberapa kata di kolom pencarian.
Nah SEO bekerja agar Google atau mesin pencari lainnya dapat menyajikan hasil pencarian untuk Anda yang sebenarnya bermanfaat dan relevan dengan kata atau kalimat yang Anda ketikkan di kolom pencarian tersebut.

Bagaimana Google mengumpulkan jutaan informasi seperti itu lalu menyajikannya untuk Anda, jawabannya adalah mereka menggunakan sesuatu, orang menyebutnya Spider.

Spider adalah program yang ditanam dalam mesin pencari seperti Google, tugas spider mencari informasi, melakukan investigasi dan menganalisa setiap halaman web kemudian memilih informasi paling berkualitas dan relevan dengan pencarian yang sedang dilakukan saat ini.

Algoritma mesin pencari mempertimbangkan relevansi dan popularitas konten (antar puluhan variabel lainnya). Kemudian, berdasarkan faktor-faktor tersebut mereka menilai dan memberi peringkat setiap halaman dan menyajikan hasilnya dalam bentuk sebuah daftar, posisi pertama di halaman hasil pencarian menjadi paling populer lebih tepatnya peringkat satu atau yang terbaik.

Pengguna percaya akan kecerdasan mesin pencari, mereka yakin pada hasil yang disajikan dan merasa beruntung jika mengklik link pada posisi paling atas ketimbang link pada posisi paling bawah di halaman pertama hasil pencarian.

Berbeda halnya dengan kita, berada di sisi lain sebagai penulis, blogger atau manajer sebuah situs, ini merupakan suatu ketakutan besar berada di posisi buncit mesin pencari, dan merupakan suatu tantangan besar untuk di atasi.
Menyimpulkan bahwa menguasai SEO memungkinkan kita mengoptimalkan artikel dan benar-benar punya kesempatan memperoleh tempat pada posisi nomor 1 dalam daftar hasil pencarian bukan nomor 26.

Mengapa Harus Belajar SEO Untuk Blog ?

Blogpsot dari Goolge salah satu tool blogging paling populer saat ini. Kebanyakan blogger pemula menggunakan platform ini untuk memulai ngeblog. Oleh karena itu pembahasan dalam artikel ini sengaja saya khususkan untuk pengguna blogspot, jika Anda menggunakan blogspot untuk blogging, ini adalah tempat yang tepat belajar seo untuk blogspot, walau bisa juga diterapkan pada Wordpress dengan teknik berbeda.

Untuk Apa Belajar SEO Untuk Blog ? 

Dengan SEO Blog Anda punya peluang menduduki peringkat satu (nomor 1)  di halaman hasil pencarian mesin pencari Google.

Mengapa Peringkat Satu Begitu Penting?

Karena ada dua hal berikut ini:
  1. Anda punya kemampuan menulis sangat baik dan dengan asumsi konten sangat berharga untuk orang lain. Bahkan melalui blog Anda memiliki otoritas, popularitas bahkan lebih dari itu, membuat kerja keras dan waktu yang telah dicurahkan serta tekad Anda menulis tidak sia-sia karena memiliki manfaat untuk orang lain .
  2. Dengan menempati peringkat pertama di halaman hasil pencarian Anda memiliki banyak kesempatan meraih uang di internet, mungkin Anda beranggapan ini hanya mengada-ngada tapi ini benar, dengan menempati posisi pertama Anda memiliki banyak peluang orang mengklik link Anda, Ini berarti lebih banyak lalu lintas, lebih banyak calon klien, penjualan, pelanggan, iklan, sponsor, dan lain sebagainya.

STRUKTUR SEO: ON PAGE DAN OFF PAGE

  1. Apa itu Optimasi ON PAGE.
    Adalah segala sesuatu yang dapat Anda lakukan untuk mengoptimalkan kualitas artikel atau halaman blog agar mesin pencari seperti Google dapat menemukan dan menganalisa konten Anda atau dengan kata lain bagaimana cara agar mesin pencari seperti Google dapat meningkatkan posisi blog Anda lebih tinggi di halaman hasil pencarian terkait dengan topik atau kata kunci dalam artikel Anda.
  2. Apa itu Optimasi OFF PAGE.
    Semua faktor eksternal yang mempengaruhi popularitas konten di Internet, misalnya: popularitas di jaringan sosial seperti Facebook atau Twitter (berapa banyak artikel di-share / atau berapa jumlah orang memberi komentar), berapa jumlah situs lain yang memiliki link ke artikel Anda, dan sebagainya. Mesin pencari menjadikan informasi ini sebagai tolak ukur menilai relevansi dan kualitas sebuah konten kemudian memutuskan apakah konten tersebut layak untuk disajikan kepada pengguna atau tidak. Pembahasan lebih dalam tentang topik ini dapat Anda lihat artikel lain dalam blog ini Teknik SEO On Page dan Off Page

Apa yang harus dioptimasi dengan blog dan bagaimana caranya?

OPTIMASI SEO ON-PAGE

KATA KUNCI

Kata kunci atau keyword merupakan inti daripada Optimasi ON PAGE pada artikel Anda. Itulah sebabnya mengapa kata kunci sangat penting digunakan. Gunakan kata kunci dengan cerdik agar Spider menemukan blog Anda untuk dipersembahkan kepada dunia. Anda harus memahami dengan baik tentang cara membuat keyword yang benar jika ingin terlihat di halaman hasil pencarian. Meskipun memiliki blog dengan konten sangat baik, namun jika blog Anda tidak bisa ditemukan di internet, apa gunanya?

Lihat juga Cara Mudah Membangun Blog Niche

Tentang penggunaan kata kunci pada artikel saya ingin merujuk kepada panduan dari MOZ. MOZ merupakan salah satu perusahaan Konsultan SEO dunia paling berpengalaman tentang subjek ini. Dalam panduan dasar SEO mereka menyarankan checklist berikut untuk mengetahui di mana dan berapa kali idealnya kata kunci ditempatkan dalam sebuah artikel. Saya akan jelaskan secara terperinci satu persatu nantinya.

  • Minimal ada 1 kata kunci pada judul utama (H1)
  • Satu kata kunci dalam URL artikel
  • Minimal ada 1 atau 2 dalam heading
  • Minimal ada 3 buah kata kunci dalam artikel
  • Minimal ada 1 kata kunci cetak tebal (bold) dan 1 kata kunci cetak miring (italic)
  • Minimal ada 1 kata kunci dalam tag 'ALT' untuk gambar
  • Minimal 1 kata kunci dalam meta description.

BUAT JUDUL ARTIKEL DENGAN BENAR

Judul merupakan tempat pertama dianalisa oleh Spider mesin pencari. Melalui judul, pengguna maupun mesin pencari dapat mengenal topik tertentu dalam suatu halaman. Idealnya judul adalah kata kunci itu sendiri. Buat judul artikel unik dan akurat untuk tiap-tiap halaman dalam blog Anda. Dianjurkan judul tidak lebih dari 70 karakter termasuk didalamnya spasi dan menyertakan kata kunci didalamnya.

Jika konten terlihat di halaman hasil pencarian pengguna, judul biasanya ada di posisi baris pertama dimana kata judul dicetak tebal seperti terlihat berikut.

SEO Blog Untuk Pemula

Hal serupa juga berlaku untuk Twitter yang menyediakan space lebih kecil untuk setiap status yang muncul, jadi kita harus membuatnya sesingkat mungkin, agar judul terlihat secara keseluruhan.

Untuk halaman beranda, judul dapat diuraikan berdasarkan nama blog atau nama bisnis dan mencakup sebagian kecil informasi penting seperti alamat fisik bisnis atau fokus utama blog.

Cara buat judul halaman beranda blog | SEO Blog
Anda dapat membuat judul yang menjadi fokus utama blog Anda seperti terlihat di atas ditunjukkan dalam gambar berikut.

Cara membuat judul blog di Blogger | SEO Blog

TIPS:

  • Beri judul halaman sesingkat mungkin namun dapat menggambarkan konten Anda. Judul terlalu panjang tidak akan terlihat seluruhnya di halaman hasil pecarian karena Google menampilkan hanya sebagiannya saja.
  • Judul halaman harus unik agar mesin pencari dapat membedakan halaman tersebut dengan halaman lainnya dalam blog Anda
  • Pilih judul yang dapat menggambarkan topik konten halaman dengan efektif


BUAT URL HALAMAN DENGAN TEPAT

Penting diperhatikan agar pemberian URL halaman tidak terlalu panjang, atau Spider mesin pencari akan me-render halaman Anda sebagai spam. Oleh karena itu sebaiknya URL halaman dibuat singkat dan disertai kata kunci di dalamnya. Jika terlalu panjang ubah URL halaman dengan fitur tersedia, jika Anda menggunakan platform blogger, URL halaman dapat diedit seperti ditunjukkan dalam gambar berikut.

URL singkat lebih mudah diingat bagi mereka yang mungkin ingin membuat tautan ke halaman Anda.  Pengunjung mungkin kesulitan memahami URL halaman yang sangat panjang dan sedikit kata yang dapat dipahami.

URL terlalu panjang dapat membingungkan dan tidak bersahabat, sulit dipahami oleh pengunjung dan mesin pencari. URL terlalu panjang juga akan menyulitkan pengunjung untuk mengingat yang mungkin ingin mengutip tautan URL atau ingin membuat tautan ke URL tersebut.

Jika URL berisi kata kunci relevan, URL akan mewakili konten halaman dan dapat menyampaikan gambaran lengkap tentang isi halaman kepada pengguna dan mesin pencari ketimbang URL terlalu panjang.

Perlu dicatat URL halaman juga bagian yang muncul di halaman hasil pencarian mesin pencari, letaknya ada di bawah judul dan diatas cuplikan halaman.

Seperti halnya judul kata-kata dalam URL nampak tebal jika muncul di halaman hasil pencarian pengguna. Dalam gambar di atas adalah contoh URL domain blog ini, berisi artikel Cara Kerja AMP Google yang muncul di halaman hasil pencarian pengguna. URL dengan kata-kata lebih menarik ketimbang kode-kode tertentu, angka-angka atau kombinasi huruf dan angka seperti http://domainanda.com/page0989_001.html.

Google bukannya tidak mampu merayapi semua jenis URL berikut strukturnya, meskipun URL tersebut cukup rumit sekalipun. Namun URL sederhana lebih disukai pengguna maupun mesin pencari. Tidak masalah jika URL Anda tidak mengikuti prosedur ini namun jika hal ini dilakukan dengan cara tidak benar akan berdampak pada hasil pencarian terhadap blog Anda.

TIPS:

  • Buat URL seperlunya, sederhana dan singkat hindari parameter tidak perlu seperti nomor ID sesi dan lain-lain
  • Gunakan nama URL secara unik dan spesifik mewakili informsi lengkap konten halaman, hindari penggunaan nama URL bersifat umum seperti page.html
  • Menyertakan kata kunci seperlunya misalnya mug-antik-terlangka.html hindari penggunaan kata kunci berlebihan seperti mug-antik-mug-antik-mug-antik-mug-kuno-mug-antik-piring-keramik-cina-antik.html
  • Gunakan huruf kecil dan hindari penggunaan nama URL aneh seperti kombinasi huruf dan angka, huruf kecil dan huruf besar

OPTIMALKAN TEKS HALAMAN (BODY TEXT) BLOG

Saya menganjurkan untuk memasukkan 3 buah kata kunci ke dalam artikel. Boleh saja menggunakannya lebih dari 3 buah kata kunci, asalkan tidak terlihat seperti dibuat-buat dan panjang artikel mendukung untuk itu. Kepadatan kata kunci yang tinggi dalam body text benar-benar akan berdampak negatif untuk Google. Strategi terbaik adalah konten, tergantung pada apa yang Anda tulis. Jika konten berkualitas, orisinil, punya gambar bagus, video dan link yang dapat memberi informasi ekstra kepada pengunjung Anda adalah cara optimasi blog paling efisien.

Konten berkualitas menjadikan blog populer dengan sendirinya. Membuat konten berkualitas, menarik dan bermanfaat bagi banyak orang akan lebih mempengaruhi ketimbang apa yang menjadi topik utama artikel ini. Saya sarankan untuk melihat bagaimana cara menulis artikel SEO yang baik dan benar.

Konten berkualitas memancing orang lain untuk berbagi artikel Anda. Dengannya Anda memiliki media yang membantu meningkatkan reputasi  blog baik dengan pengguna maupun dengan mesin pencari dan hal ini jarang terjadi tanpa adanya konten berkualitas.

Mesin pencari akan memilah-milah paragraf pertama untuk mengetahui topik halaman blog Anda. Oleh karena itu pastika kata kunci penting ada di paragraf pertama. Kemudian masukkan juga kata kunci penting tersebut dalam paragraf akhir.

Google menganggap paragraf terakhir seperti rangkuman dan penegasan terhadap apa yang ditulis pada judul utama halaman blog, meta tag, dan pada heading (judul atas).

Pertimbangkan tentang kata-kata yang mungkin digunakan pengguna untuk menelusuri sebagian konten Anda. Pengguna yang banyak tahu tentang topik tersebut mungkin menggunakan kata kunci yang berbeda dalam kueri penelusuran mereka dibanding seseorang yang baru melihat topik tersebut. Misalnya, penggemar mobil antik yang sudah lama mungkin menelusuri "mobil antik zaman belanda", sedangkan penggemar baru mungkin menggunakan kueri yang lebih umum seperti "mobil antik".

Halaman-halaman blog yang tidak spesifik, terlalu umum, dan tidak mengandung kata kunci di judul utama halaman, pada beberapa meta tag, sub judul ataupun dalam teks halaman akan membuat bingung mesin pencari dalam penempatan kategori yang tepat dalam indeks database-nya.

Untuk memudahkan Anda menentukan kata kunci dengan baik baca juga Cara Mengetahui Suatu Ide Blog Itu Niche Atau Tidak

Dengan memperhitungkan perbedaan dalam perilaku pencarian ini dan mengantisipasinya ketika menulis konten (menggunakan perpaduan yang bagus antara frasa kata kunci) dapat mengarahkan mesin pencari untuk mengarsir blog Anda dalam penempatan kategori yang sesuai dalam indeks database-nya.

Sebenarnya blog Anda tetap masuk ke dalam kategori indeksnya, namun tidak akan muncul dalam di halaman pertama, kedua bahkan halaman ketiga di halaman hasil pencarian.

TIPS:

  • Tulislah teks yang mudah dibaca
  • Tetap fokus dengan topiknya
  • Buat artikel yang spesifik unik dan segar
  • Buat artikel Anda untuk pengguna bukan untuk mesin pencari, hindari penggunaan kata kunci berlebihan sehingga artikel tampak aneh dan sulit untuk dipahami.

Penggunaan Meta Tag Description 

Tag pada Meta Description bukanlah faktor penyebab rangking naik di mesin pencari. Namu teks yang dimasukkan ke bagian ini akan ditampilkan di halaman hasil pencarian sebagai sebuah deskripsi singkat mewakili informasi tentang halaman blog Anda. Jadi pastikan untuk memasukkan keterangan singkat yang cukup attractive untuk menarik perhatian pengguna.

Gambar berikut menunjukkan bagaimana cara memasukkan meta tag description pada blogspot:
Cara buat meta tag description pada blogspot - SEO Blog

Optimalkan Pengunaan Gambar Dalam Blog

Gambar adalah aspek lain dari elemen blog yang dapat dioptimasi. Pemberian nama gambar harus relevan dengan topik atau kata kunci yang digunakan, dengan demikian gambar akan muncul di halaman hasil pencarian. Gambar juga merupakan sumber lain untuk membuat lalu lintas langsung ke blog Anda. Gunakan nama gambar yang bersahabat, seperti keramik-antik-dinasti-ming.png ketimbang kode acak seperti a8987dgyhX90d8.jpg.

Pertimbangkan juga penggunaan ukuran gambar yang pantas biasanya 72dpi, ukuran minimal 640 x 370px dengan besaran maksimal 90kb. Gambar dengan besaran file 100kb ke atas akan menambah beban loading blog sehingga menjadi lambat yang akan berpengaruh negatif pada Google.

Lihat Optimasi Blog Agar Fast Loading

Hapus link atau tautan pada gambar karena situs mesin pencari seperti Google tidak menyarankan untuk meletakkan banyak gambar dengan tautan dalam sebuah halaman blog. Dengan menghilangkan tautan pada gambar dapat meperkecil kemungkinan pencurian gambar dalam blog. Selain itu juga akan berdampak kurang baik pada page rank Anda di mesin pencari.

Selain penggunaan nama  gunakan juga teks alt singkat namun deskriptif. Mengisi teks alt akan membantu Google memahami selengkapnya tentang laman yang Anda tautkan. Hindari menulis teks alt terlalu panjang yang dapat dianggap spam. Pemberian teks alt gambar pada blogspot dapat dilihat berikut ini:

Kesimpulannya, kita harus membuat tugas Spider menjadi lebih mudah, dengan demikian mereka akan lebih gampang mengidentifikasi tentang apa yang Anda tulis, menganalisa, dan akhirnya menjajikan konten blog Anda di halaman hasil pencarian.

Baiklah sejauh ini saya telah membahas optimasi blog ON Page yang merupakan dasar-dasar SEO untuk blog yang wajib dikembangkan jika ingin blog Anda terlihat di hasil pencarian Google.

OPTIMASI SEO OFF-PAGE

Ingat OPTIMASI Off-page mengacu pada semua faktor-faktor eksternal yang mempengaruhi posisi artikel Anda.

Backlink

Merupakan tautan dari luar yang merujuk ke nama domain blog Anda, bergantung kepada banyaknya, seberapa berkualias dan relevansi konteksnya antara link dari luar yang merujuk ke blog Anda.

Ketika seseorang membuat tautan dari luar (dari blog lain) merujuk ke artikel Anda, sebenarnya mereka telah membuat backlink yang menguntungkan Anda, karena semakin banyak orang mengutip artikel Anda di blog mereka maka lebih banyak kesempatan spider untuk mempertimbangkan konten Anda sebagai relevan dan itu akan membawa pengaruh besar pada posisi peringkat blog di hasil pencarian.

Lihat juga Cara Melihat Backlink Situs Ala Google

Anda akan menemukan banyak sekali tawaran "backlink" untuk dibeli, namun ini sangat tidak dianjurkan. Strategi jitu memperoleh "backlink" adalah dengan membuat link timbal balik secara alami, bekerja sama degan rekan-rekan lain dan membuat mereka berbagi link Anda di artikel mereka dan kemudian Anda berbagi situs mereka atau salah satu dari pos mereka. Dengan cara ini, Anda membuat komunitas sendiri tetapi juga membuat "rantai lalu-lintas" saling menguntungkan kedua belah pihak

Opsi lain untuk optimasi Off-Page blog adalah melalui "Guess Blogging". Anda dapat berpartisipasi dalam blog orang lain dan, selama itu sesuai dan relevan. Sebagai Guess Blogging Anda dapat menambahkan blog Anda (melalui tautan) atau artikel yang akan mendongkrak lalu lintas  ke artkel Anda. Dengan cara itu, Anda sendirilah pembuat backlink.

Metode lain dapat Anda lihat di Media Promosi Blog Gratis

Share Artikel Ke Media Sosial

Tidak hanya akan menghasilkan lebih banyak lalu lintas ke blog Anda, tetapi spider juga mencari berapa banyak artikel Anda telah dibagikan orang lain, yang memiliki banyak komentar dan/atau telah dibicarakan di berbagai jaringan sosial. Ini adalah faktor penting untuk mempengaruhi posisi artikel Anda dalam daftar hasil mesin pencari.

Cara paling baik untuk mengumumkan konten atau layanan baru adalah melalui artikel pada blog, agar basis pengunjung Anda tahu bahwa Anda telah menambahkan sesuatu yang baru. Webmaster lain yang mengikuti situs atau umpan RSS Anda juga dapat mempelajarinya.

Berusaha mempromosikan perusahaan atau situs Anda secara offline juga menjanjikan. Misalnya, jika memiliki situs bisnis, pastikan URL tercantum dalam kartu nama, kop surat, poster, dll. Anda juga dapat mengirimkan laporan berkala kepada para klien melalui surat agar mereka mengetahui konten pada situs web perusahaan.

Kesimpulan

Sampai disini Anda telah mempelajari hal-hal paling mendasar tentang SEO Untuk Blog yang dapat diterapkan dalam blog Anda.

Harapan saya  Anda dapat mengambil manfaat dalam artikel ini, dan jika menemukan hal-hal penting yang tidak tercantum dalam artikel ini atau jika Anda menemukan masalah dalam menerapkan panduan Belajar SEO Untuk Blog ini, jangan ragu untuk meninggalkan komentar sehingga saya dapat menambahkannya.

Panduan Penggunaan File robots Untuk Webmaster

Bang Jonie ~ Dalam artikel SEO Blog kali ini saya ingin mengajak Anda mengenal lebih jauh apa itu file robots.txt, bagaimana cara menggunakan file robot, yang juga merupakan bagian dari teknik SEI Blog.

Robots.txt adalah file teks sederhana berguna memberitahu robot mesin pencari seperti Googlebot tentang apa saja yang boleh dan tidak boleh dirayapi (crawling).

Googlebot Img Src: zanet.co.uk

Contoh setup dasar robots.txt

Berikut adalah contoh setup dasar file robots.txt serta penjelasannya:

Allow full access
User-agent: *
Disallow:

Block all access
User-agent: *
Disallow: /

Block specific file
User-agent: *
Disallow: /file.html

Block folder
User-agent: *
Disallow: /folder/

Mengapa harus memahami robots.txt

  • Penggunaan robots.txt yang tidak tepat dapat menurunkan peringkat web di mesin pencari
  • Fie robots.txt berfungsi mengontrol bagaimana spider web milik search engine melihat dan berinteraksi dengan web 
  • File robots.txt juga tercantum dalam beberapa pedoman Google
  • File robots.txt berinteraksi dengan bot mesin pencari, merupakan bagian mendasar dari cara kerja mesin telusur

Tip: Silakan lihat Pedoman Webmaster Google.

Spider web Search Engine

Yang pertama dicari robot mesin pencari ketika mengunjungi sebuah situs adalah file robots.txt. Sebab dalam file robots.txt ini terkandung informasi apakah bot mesin pencari memiliki izin mengakses halaman atau file dalam situs tersebut?

Melalui file robots.txt inilah sebagai pemilik situs atau webmaster dapat menentukan dan memberi petunjuk kepada mesin pencari apa saja yang boleh maupun tidak boleh diakses


Prioritas utuk web

Ada tiga hal penting harus dilakukan oleh pemilik situs atau webmaster untuk bot mesin pencari:
  1. Pastikan bahwa Anda memiliki file robots.txt
  2. Jika ada pastikan bahwa file robots.txt tidak merugikan situs karena kesalahan penulisan dapat menyebabkan situs diblokir oleh mesin pencari.
  3. Pastikan bahwa Anda memang benar-benar membutuhkan file robots.txt

1. Pastikan  Anda memiliki file robots.txt

Anda dapat mengetahui apakah Blog Anda mengandung robots.txt dengan menggunakan tool Robots.txt Test.
Cara penggunaannya cukup mudah tinggal memasukkan alamat sebuah situs web lalu klik Checkup. Hasil checkup tersebut akan menghasilkan sebuah url seperti terlihat berikut ini:
www.situsanda.com/robots.txt
Gambar berikut menunjukkan situs memiliki file robots.txt

Panduan robots.txt Untuk Webmaster
Tool untuk memastikan sebuah situs memiliki file robots.txt

Pastikan fie robots.txt tidak memblokir file-file penting.

Anda dapat menggunakan Tool SEO Auditor, untuk mengetahui apakah ada file yang dibutuhkan Google sedang diblokir oleh robots.txt
Jika memiliki akun di Google Webmaster Anda dapat menggunakan Google search console guna menguji file robots.txt. Petunjuk penggunaannya dapat dilihat disini (tool ini tidak dapat dilihat secara publik, dibutuhkan login ke system).

Untuk memahami sepenuhnya jika file robots.txt tidak memblokir segala sesuatu yang tidak  ingin Anda blokir, maka dari itu disarankan memahami dengan baik fungsi dan kegunaan file robots.txt. Mari kita lihat penjelasan singkat berikut ini:

Apakah Anda butuh file robots.txt

Mungkin saja Anda tidak membutuhkan file robots.txt. Untuk lebih jelasnya lihat penjelasan berikut ini.

Mengapa butuh file robots.txt:

  • Tidak ingin diakses oleh mesin pencari
  • Menggunakan link berbayar atau iklan yang memerlukan petunjuk khusus untuk robot
  • Ingin agar mesin mencari dapat sepenuhnya memahami cara akses ke situs Anda.
  • Sedang mengembangkan situs secara live, dan tidak ingin mesin pencari mengakses dan mengindeks situs
  • Dalam situasi tertentu Anda ingin memahami dan menyelaraskan situs agar sesuai denagn panduan dari Google
  • Membutuhkan beberapa atau semua item seperti dijelaskan di atas, tetapi tidak memiliki akses penuh ke server web untuk kebutuhan konfigurasi
Bisa saja masing-masing dari salah satu situasi diatas dapat Anda lakukan dengan menggunakan metode lain, namun menggunakan file robots.txt adalah salah satu cara terbaik yang dapat digunakan, selain penggunaannya sangat mudah, juga hampir semua webmaster memiliki kemampuan dan akses yang diperlukan guna membuat dan menggunakan file robots.txt.

Alasan tidak membutuhkan file robots.txt:

  • Tidak memiliki file yang perlu diblokir dari mesin pencari
  • Tidak dalam salah satu situasi tercantum di atas untuk memiliki file robots.txt

Note Sebuah situs tidak akan bermasalah jika tidak memiliki file robots.txt kecuali Jingling  :)

Jika tidak memiliki file robots.txt maka robot mesin pencari seperti Googlebot akan memiliki akses penuh ke situs Anda. Ini adalah cara normal, sederhana dan sangat umum.

Cara membuat file robots.txt

Jika dapat mengetik dan mengetahui cara copy dan paste, berarti Anda juga dapat membuat file robots.txt.

Karena robots.txt hanyalah berupa file teks biasa, berarti Anda dapat menggunakan notepad atau editor teks lainnya untuk membuat file robots.txt, bahkan dengan editor teks web seperti Blogger atau editor Wordpress.

Apa yang dapat dilakukan file robots.txt ?

File robots akan bekerja sesuai dengan apa yang diinginkan.

Mengizinkan semua bot untuk mengakses semua file
User-agent: *
Disallow:

Blokir semua bot untuk mengakses semua file
User-agent: *
Disallow: /

Semua instruksi yang dimasukkan ke dalam file robots.txt menghasilkan salah satu fungsi dari tiga fungsi berikut:

Full Allow: mengizinkan semua konten untuk dijelajahi.
Full Disallow: tidak mengiznkan semua bot untuk menjelajahi semua konten.
Conditional Allow: instruksi yang dimasukkan dalam file robots.txt akan membolehkan akses peryapan hanya untuk konten tertentu.

Mari kita lihat secara detail masing-masing fungsi diatas:

Full Allow: semua konten dapat diindeks

Hampir semua orang ingin bot mesin pencari seperti Googlebot untuk mengunjungi segala sesuatu di situs web mereka. Jika hal ini terjadi pada situs Anda, dan ingin agar robot mengindeks semua bagian dari situs, ada tiga opsi dapat dilakukan agar robot mesin pencari tahu bahwa mereka dipersilakan mengindeks situs Anda.

1) tidak menggunakan file robots.txt

Berikut merupakan hasil atau efek yang akan terjadi jika blog tidak memiliki file robots.txt

Hal pertama dicari Robot ketika mengunjungi situs adalah file robots.txt. Jika situs tidak mengandung file robots.txt maka bot mesin pencari dengan bebas merayapi semua konten dan halaman blog. Kira-kira seperti itulah logika robot mesin pencari memahami sebuah situs yang tidak ada file robots.txt.

2) membuat sebuah file kosong dan memberi nama robots.txt

Jika situs web Anda memiliki file robots.txt kosong di dalamnya maka inilah yang terjadi...

Robot datang mengunjungi situs Anda. Hal pertama yang dicari adalah file robots.txt. Ketika bot melihat file robots.txt kosong maka bot bebas merayapi seluruh halaman blog dan konten Anda. Seperti itulah logika bot memahami arti perintah file robots.txt yang kosong.

3) membuat sebuah file bernama robots.txt lalu menulis dua baris kode berikut di dalamnya...

User-agent: *
Disallow:

Jika situs memiliki robots.txt dengan instruksi seperti diatas di dalamnya maka inilah yang akan terjadi...

Robot seperti Googlebot datang mengunjungi situs Anda. Hal pertama yang dicari adalah file robots.txt. Ketika bot menemukan file robots.txt lalu bot membacanya. Membaca baris pertama. Kemudian membaca baris kedua. Bot kemudian merasa bebas merayapi seluruh halaman dan konten blog Anda  karena seperti inilah apa yang diinstruksikan dalam file robots.txt.

Full Disallow: semua konten tidak boleh diindeks

Warning: Ini berarti bahwa Google dan mesin pencari lainnya tidak akan mengindeks atau merayapi halaman web Anda.

Untuk memblokir semua spider search engine utama dari situs Anda, Anda harus menulis perintah ini dalam file robots.txt Anda:
User-agent: *
Disallow: /

Penggunaan perintah robot diatas tidak dianjurkan karena akan mengakibatkan halaman web Anda tidak akan diindeks oleh mesin pencari.

Memahami arti perintah file robots.txt

Berikut penjelasan arti perintah file robots.txt

User-agent

User-agent
"User-agent" Digunakan untuk menentukan robot mesin pencari tertentu diizinkan. Ada dua cara penggunaan perintah ini.

Jika ingin agar semua robot mesin pencari dapat mengakses situs Anda, letakkan sebuah tanda "*" setelah User-Agent: seperti terlihat berikut ini:
User-agent: *
Perintah diatas akan mengizinkan semua robot mesin pencari menjelajah situs Anda.

Jika hanya mesin pencari tertentu saja misalnya Googlebot yang dapat mengindeks situs Anda gunakan perintah seperti berikut:
User-agent: Googlebot
Perintah dalam file robots diatas hanya mengizinkan robot Google saja yang boleh mengindeks situs Anda.

Disallow

Perintah "Disallow" ada untuk memberitahu robot atau folder apa saja yang tidak boleh diindeks. Ini berarti bahwa jika, sebagai contoh Anda tidak ingin foto pada situs Anda diindeks di mesin pencari maka Anda dapat menempatkan foto-foto ke dalam satu folder dan memblokir folder tersebut agar tidak diindesk mesin mesin pencari.

Katakanlah misalnya Anda telah menempatkan semua foto-foto dalam sebuah folder bernama "photos". Dan Anda ingin memberitahu robot agar tidak mengindeks folder itu.
Berikut isi file robots.txt Anda yang sesuai dengan skenario diatas:
User-agent: *
Disallow: /photos
Dua baris teks dalam file robots.txt Anda diatas akan membuat robot tidak akan mengindeks folder photos ketika mengunjungi situs Anda. "User-agent:* maksudnya adalah "berlaku kepada semua robot mesin pencari". Sementara maksud perintah Disallow: /photos adalah "jangan indeks folder photos"

Perintah khusus Googlebot

Robot yang digunakan Google untuk mengindeks mesin pencari mereka disebut Googlebot. Googlebot memahami beberapa perintah file robots.txt lebih banyak ketimbang robot mesin pencari lainnya.

Selain "User-name" dan "Disallow" Googlebot juga menggunakan instruksi Allow.

Allow

Allow
Perintah "Allow:" digunakan untuk memberitahu sebuah robot tentang folder atau file apa saja yang boleh diindeks dimana tidak dbolehkan oleh perintah sebelumnya.

Untuk menggambarkan hal ini, mari kita ambil dari contoh diatas yang tidak membolehkan robot mengindeks folder photos sebgai berikut:
User-agent: *
Disallow: /photos

Sekarang katakanlah ada file dalam folder photos dengan nama mobilku.jpg yang Anda inginkan agar dirayapi oleh Googlebot. Gunakan perintah "Allow:" sebagai berikut
User-agent: *
Disallow: /photos
Allow: /photos/mycar.jpg
Perintah diatas akan memberitahu robot mesin pencari agar mengindeks file mobilu.jpg yang ada dalam folder photos walau folder photos sudah diblokir oleh perintah Disallow diatas.

Uji file robots.txt

Untuk mengetahui konten apa saja diblokir oleh robots.txt, dapat dilakukan dengan menggunakan tool SEO online ini, akan memberitahu jika ada file penting yang dibutuhkan Google sedang diblokir.

Kesimpulan dan saran:
  • Jika menggunakan file robots.txt, pastikan file robots.txt tersebut digunakan dengan benar
  • File robots.txt yang salah dapat mencegah Googlebot mengindeks halaman blog
  • Pastikan tidak memblokir halaman yang memiliki nilai peringkat di halaman hasil pencarian Google