APA ITU ROBOT.TXT PADA TEMPLATE WEBSITE? INILAH PENGERTIAN DAN FUNGSINYA APA ITU ROBOT.TXT PADA TEMPLATE WEBSITE? INILAH PENGERTIAN DAN FUNGSINYA - SUARA HARIAN OTO BEMO BERODA TIGA
Suara Harian Oto Bemo Beroda Tiga

Komunikasi, Media Ilmu & Pengetahuan Umum Blogging

Langsung ke konten utama

"OTO BEMO.. OTO BEMO.. BERODA TIGA .. TEMPAT BERHENTI.. DITENGAH TENGAH KOTA..PANGGIL NONA..PANGGIL NONA..NAIK KERETA..NONA BILANG..TIDAK PUNYA UANG.. JALAN KAKI SAJA"

APA ITU ROBOT.TXT PADA TEMPLATE WEBSITE? INILAH PENGERTIAN DAN FUNGSINYA

Anda mungkin pernah mendengar kata robots.txt sebenarnya ini merupakan file penting yang ada pada sebuah halaman web. File robots.txt akan memfilter web kita di mesin penelusuran. Kita dapat menampilkan dan menyembunyikan halaman, file, dokumen dan lainnya yanga da pada web kita dengan menggunakan file robots.txt ini.

Untuk pengguna wordpress misalnya, Anda perlu membuat sebuah file dengan nama robots.txt dan upload pada bagian root atau akar web Anda contoh : https://www.nama.com/robots.txt dan untuk isi dari file robots.txt Anda bisa menggunakan sesuai dengan kebutuhan Anda.

Sedangkan untuk pengguna blogspot Anda mungkin tidak bisa membuat sebuah file dan mengupload ke dalam server privadi layaknya wordpress, tetapi tenang saja blogger telah memberikan fitur khusus untuk membuat file robots.txt pada blogspot. Anda bisa mencobanya pada bagian setelan di blogger. Untuk mengetahui file robots.txt di blog sudah terpasang Anda bisa mengeceknya seperti ini. 

Contoh : https://otobemoberodatiga.blogspot.com/robots.txt dan untuk isi dari file robots.txt Anda bisa menyesuaikannya dengan kebutuhan Anda.

Apa Itu Robot.txt ?

File robots.txt adalah sebuah ketentuan untuk mencegah robot mesin telusur mengakses seluruh atau sebagian situs web. Robot ini biasanya digunakan untuk mengontrol halaman-halaman tertentu agar tidak di index oleh spider mesin pencari, sehingga halaman tersebut tidak akan muncul pada hasil penelusuran.

File robots.txt berisi sebagian kecil perintah yang dapat menunjukan akses ke situs berdasarkan bagian dan berdasarkan jenis perayapnya misalnya perayap seluler dan perayap desktop. Robots.txt ditemukan oleh Martijn Koster pada tahun 1994 saat bekerja di WebCrawler. Dengan adanya robots.txt ini tentunya dapat membantu kita dalam memaksimalkan web asalhkan kita paham dalam penggunaan file robots.txt ini.

Apa Fungsi File Robots.txt ?

Fungsi file robots.txt adalah untuk mengontrol robot mesin telusur dalam melakukan perayapan dan indeksing sebuah halaman web. Dengan file robots.txt kita bisa mengontrol apakah suatu halaman web itu akan di indeks oleh robot mesin telusur dan tampil pada hasil penelusuran ataukah sebaliknya. Nah, jadi kita harus berhati-hati dalam penggunaan robots.txt kalau sampai salah bisa-bisa halaman yang ingin kita indeks malah tidak diindeks ataupun sebaliknya.

Isi File Robot.txt Standar (Untuk Blogger)

Untuk memasang robots.txt di blogger Anda tinggal masuk pada bagian Setelan > Preferensi Penelusuran. Berikut saya berikan contoh file robots.txt default yang standar dan banyak di gunakan oleh blogger.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://otobemoberodatiga.blogspot.com/feeds/posts/default?orderby=UPDATED

Catatan :

https://otobemoberodatiga.blogspot.com silahkan ganti dengan URL blog Anda

Isi File Robot.txt Standar (Untuk WordPress)

Untuk robots.txt wordpress Anda bisa menginstal plugin yang ada, tetapi jika Anda ingin menggunakan file robots.txt manual Anda bisa mencobanya dengan menggunakan file robots.txt dibawah ini. Untuk memasang file robots.txt ini di wordpress Anda perlu memasukkan file robot.txt ini kedalam notepad lalu simpan dengan nama robot.txt setelah itu upload ke cPanel dibagian root atau di Manager File.

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /cgi-bin/

Disallow: /wp-content/

Disallow: /archives/

Disallow: /*?*

Disallow: *?replytocom

Disallow: /author

Disallow: /comments/feed/

Disallow: */trackback/

Disallow: /wp-*

 

User-agent: Mediapartners-Google*

Allow: /

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

User-agent: Adsbot-Google

Allow: /

 

User-agent: Googlebot-Mobile

Allow: /

 

Sitemap: https://www.nama.com/sitemap.xml

Catatan :

- https://www.nama.com/ silahkan ganti dengan URL web Anda

Penjelasan Bagian-bagian File Robots.txt

Dari beberapa file robots.txt yang ada mungkin Anda masih belum paham mengenai bagian-bagian yang Ada pada file robots.txt oleh karena itu dibawah ini akan saya jelaskan beberapa bagian atau kode yang ada pada file robots.txt.

User-agent : Mediapartners-Google ini berarti bahwa kode yang berada dibawahnya hanya berlaku untuk robot crawler Mediapartners-Google saja. Mediapartners-Google adalah robot crawler untuk google adsense.

Disallow : ini berarti tidak diperbolehkan untuk merayapi halaman tersebut. Tetapi Disallow tersebut tidak memiliki nilai sehingga tidak ada yang di cekal oleh robot crawler.

User-agnet : * ini berarti bahwa kode yang berada dibawahnya berlaku untuk semua robot crawler. Tanda * yang berarti berlaku untuk semua robot mesin telusur.

Disallow : /search ini berarti semua halaman yang memiliki URL /search tidak diperbolehkan untuk di rayapi oleh robot crawler.

Allow : / ini berarti bahwa semua URL boleh di rayapi robot crawler, kecuali yang berada pada perintah Disallow. Tanda / dapat diartikan sebagai URL beranda sebuah situs web.

Sitemap : https://www.nama.com/feeds/posts/default?orderby=UPDATED

Sitemap atau alamat feed blog. Sitemap ini akan membantu robot crawler dalam merayapi dan mengindeks setiap konten yang di terbitkan.

Itulah penjelasan dari apa itu robots.txt dan bagaimana fungsinya. Semoga dengan artikel ini dapat membantu Anda dalam mengenal file robots.txt yang ada pada web blog Anda sehingga kita dapat memaksimalkan lagi situs web yang kita miliki. Jadi, file robots.txt ini sangat peting sekali untuk mengontrol atau melakukan filtrasi/penyaringan situs web kita pada mesin penelusuran. Baca Juga : Kamu-mungkin-sering-menemukan-kata



Bagaimana Reaksi Anda Tentang Artikel Ini?

Komentar

  1. Cara terakhir untuk mempercepat index Google adalah membangun backlink yang berkualitas. Backlink adalah link dari website lain yang mengarah ke website-mu.

    BalasHapus

Posting Komentar

SILAKAN KOMENTAR SESUAI TOPIK.....

POPULAR POST

SUARA RAKYAT ADALAH SUARA TUHAN CARANYA MEMBANGUN JARINGAN PARTAI POLITIK PENGUSUNG PEMILUKADA 2018

“Vox Populi Vox Dei.” Suara Rakyat adalah Suara Tuhan, suatu pernyataan yang cukup populer di masa pence-rahan (renaesance), ketika  rakyat mulai berani menggugat hegemoni penguasa absolut. Pada saat itu, slogan perlawanan ini memang cukup mengena. Sebab yang dihadapi adalah penguasa otoriter yang menyamakan dirinya dengan Tuhan, atau merasa mendapat hak istimewa dari Tuhan untuk menguasai segenap aspek kehidupan manusia. Dalam perkembangannya, semboyan tersebut, menjadi pupuk perangsang tumbuhnya ide-ide demokrasi atau paham kedaulatan rakyat. Dewasa ini, kalimat dengan empat kata itu, juga masih kerap terdengar nyaring. Maklum, hingga saat ini, demokrasi masih dianggap konsep terbaik penyelenggaraan kekuasaan negara, dan hampir sebagian besar negara di dunia menyatakan dirinya sebagai negara demokrasi. Rakyat sebagai pemilik kedaulatan pun naik daun. Aspirasi dan keinginan rakyat menjadi amat bertuah, sehingga jadi obyek buruan para pihak yang berambisi menguasai negara...

KEISTIMEWAAN IMAM HADDAD RA PENCIPTA RATIB AL HADDAD

Keistimewaan Imam Haddad RA, Pencipta Ratib Al Haddad 1. Imam Abdullah Al-Haddad bin Alwi bin Muhammad bin Ahmad bin Abdullah bin Muhammad bin Alwi bin Ahmad bin Abu Bakar bin Ahmad bin Muhammad bin Abdullah bin al-Faqih Ahmad bin Abdurrahman bin Alwi bin Muhammad Shahibu Marbath bin Ali Khali` Qasam bin Alwi bin Muhammad bin Alwi bin Ubaidillah bin Ahmad al-Muhajir bin Isa bin Muhammad bin Ali al-Uraidhi bin Ja`far ash-Shadiq bin Muhammad al-Baqir bin Ali Zainal Abidin bin al-Husain bin Ali bin Abi Thalib, suami Fathimah az-Zahra binti Rosulillah SAW. 2. Al-Arifbillah Quthbil Anfas Al-Imam Habib Umar bin Abdurrohman Al-Athos ra. mengatakan, “Al-Habib Abdullah Al-Haddad ibarat pakaian yang dilipat dan baru dibuka di zaman ini, sebab beliau termasuk orang terdahulu, hanya saja ditunda kehidupan beliau demi kebahagiaan umat di zaman ini (abad 12 H)”. 3. Al-Imam Arifbillah Al-Habib Ali bin Abdullah Al-Idrus ra. mengatakan, “Sayyid Abdullah bin Alwy Al-Haddad adalah Sultan ...