APA ITU ROBOT.TXT PADA TEMPLATE WEBSITE? INILAH PENGERTIAN DAN FUNGSINYA APA ITU ROBOT.TXT PADA TEMPLATE WEBSITE? INILAH PENGERTIAN DAN FUNGSINYA - SUARA HARIAN OTO BEMO BERODA TIGA
Suara Harian Oto Bemo Beroda Tiga

Komunikasi, Media Ilmu & Pengetahuan Umum Blogging

Langsung ke konten utama

"OTO BEMO.. OTO BEMO.. BERODA TIGA .. TEMPAT BERHENTI.. DITENGAH TENGAH KOTA..PANGGIL NONA..PANGGIL NONA..NAIK KERETA..NONA BILANG..TIDAK PUNYA UANG.. JALAN KAKI SAJA"

APA ITU ROBOT.TXT PADA TEMPLATE WEBSITE? INILAH PENGERTIAN DAN FUNGSINYA

Anda mungkin pernah mendengar kata robots.txt sebenarnya ini merupakan file penting yang ada pada sebuah halaman web. File robots.txt akan memfilter web kita di mesin penelusuran. Kita dapat menampilkan dan menyembunyikan halaman, file, dokumen dan lainnya yanga da pada web kita dengan menggunakan file robots.txt ini.

Untuk pengguna wordpress misalnya, Anda perlu membuat sebuah file dengan nama robots.txt dan upload pada bagian root atau akar web Anda contoh : https://www.nama.com/robots.txt dan untuk isi dari file robots.txt Anda bisa menggunakan sesuai dengan kebutuhan Anda.

Sedangkan untuk pengguna blogspot Anda mungkin tidak bisa membuat sebuah file dan mengupload ke dalam server privadi layaknya wordpress, tetapi tenang saja blogger telah memberikan fitur khusus untuk membuat file robots.txt pada blogspot. Anda bisa mencobanya pada bagian setelan di blogger. Untuk mengetahui file robots.txt di blog sudah terpasang Anda bisa mengeceknya seperti ini. 

Contoh : https://otobemoberodatiga.blogspot.com/robots.txt dan untuk isi dari file robots.txt Anda bisa menyesuaikannya dengan kebutuhan Anda.

Apa Itu Robot.txt ?

File robots.txt adalah sebuah ketentuan untuk mencegah robot mesin telusur mengakses seluruh atau sebagian situs web. Robot ini biasanya digunakan untuk mengontrol halaman-halaman tertentu agar tidak di index oleh spider mesin pencari, sehingga halaman tersebut tidak akan muncul pada hasil penelusuran.

File robots.txt berisi sebagian kecil perintah yang dapat menunjukan akses ke situs berdasarkan bagian dan berdasarkan jenis perayapnya misalnya perayap seluler dan perayap desktop. Robots.txt ditemukan oleh Martijn Koster pada tahun 1994 saat bekerja di WebCrawler. Dengan adanya robots.txt ini tentunya dapat membantu kita dalam memaksimalkan web asalhkan kita paham dalam penggunaan file robots.txt ini.

Apa Fungsi File Robots.txt ?

Fungsi file robots.txt adalah untuk mengontrol robot mesin telusur dalam melakukan perayapan dan indeksing sebuah halaman web. Dengan file robots.txt kita bisa mengontrol apakah suatu halaman web itu akan di indeks oleh robot mesin telusur dan tampil pada hasil penelusuran ataukah sebaliknya. Nah, jadi kita harus berhati-hati dalam penggunaan robots.txt kalau sampai salah bisa-bisa halaman yang ingin kita indeks malah tidak diindeks ataupun sebaliknya.

Isi File Robot.txt Standar (Untuk Blogger)

Untuk memasang robots.txt di blogger Anda tinggal masuk pada bagian Setelan > Preferensi Penelusuran. Berikut saya berikan contoh file robots.txt default yang standar dan banyak di gunakan oleh blogger.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://otobemoberodatiga.blogspot.com/feeds/posts/default?orderby=UPDATED

Catatan :

- https://otobemoberodatiga.blogspot.com silahkan ganti dengan URL blog Anda

Isi File Robot.txt Standar (Untuk WordPress)

Untuk robots.txt wordpress Anda bisa menginstal plugin yang ada, tetapi jika Anda ingin menggunakan file robots.txt manual Anda bisa mencobanya dengan menggunakan file robots.txt dibawah ini. Untuk memasang file robots.txt ini di wordpress Anda perlu memasukkan file robot.txt ini kedalam notepad lalu simpan dengan nama robot.txt setelah itu upload ke cPanel dibagian root atau di Manager File.

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /cgi-bin/

Disallow: /wp-content/

Disallow: /archives/

Disallow: /*?*

Disallow: *?replytocom

Disallow: /author

Disallow: /comments/feed/

Disallow: */trackback/

Disallow: /wp-*

 

User-agent: Mediapartners-Google*

Allow: /

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

User-agent: Adsbot-Google

Allow: /

 

User-agent: Googlebot-Mobile

Allow: /

 

Sitemap: https://www.nama.com/sitemap.xml

Catatan :

- https://www.nama.com/ silahkan ganti dengan URL web Anda

Penjelasan Bagian-bagian File Robots.txt

Dari beberapa file robots.txt yang ada mungkin Anda masih belum paham mengenai bagian-bagian yang Ada pada file robots.txt oleh karena itu dibawah ini akan saya jelaskan beberapa bagian atau kode yang ada pada file robots.txt.

User-agent : Mediapartners-Google ini berarti bahwa kode yang berada dibawahnya hanya berlaku untuk robot crawler Mediapartners-Google saja. Mediapartners-Google adalah robot crawler untuk google adsense.

Disallow : ini berarti tidak diperbolehkan untuk merayapi halaman tersebut. Tetapi Disallow tersebut tidak memiliki nilai sehingga tidak ada yang di cekal oleh robot crawler.

User-agnet : * ini berarti bahwa kode yang berada dibawahnya berlaku untuk semua robot crawler. Tanda * yang berarti berlaku untuk semua robot mesin telusur.

Disallow : /search ini berarti semua halaman yang memiliki URL /search tidak diperbolehkan untuk di rayapi oleh robot crawler.

Allow : / ini berarti bahwa semua URL boleh di rayapi robot crawler, kecuali yang berada pada perintah Disallow. Tanda / dapat diartikan sebagai URL beranda sebuah situs web.

Sitemap : https://www.nama.com/feeds/posts/default?orderby=UPDATED

Sitemap atau alamat feed blog. Sitemap ini akan membantu robot crawler dalam merayapi dan mengindeks setiap konten yang di terbitkan.

Itulah penjelasan dari apa itu robots.txt dan bagaimana fungsinya. Semoga dengan artikel ini dapat membantu Anda dalam mengenal file robots.txt yang ada pada web blog Anda sehingga kita dapat memaksimalkan lagi situs web yang kita miliki. Jadi, file robots.txt ini sangat peting sekali untuk mengontrol atau melakukan filtrasi/penyaringan situs web kita pada mesin penelusuran. Baca Juga : Kamu-mungkin-sering-menemukan-kata



Bagaimana Reaksi Anda Tentang Artikel Ini?

Komentar

  1. Cara terakhir untuk mempercepat index Google adalah membangun backlink yang berkualitas. Backlink adalah link dari website lain yang mengarah ke website-mu.

    BalasHapus

Posting Komentar

SILAKAN KOMENTAR SESUAI TOPIK.....

POPULAR POST

NAMUN AKU BUKAN AKU, BUKAN AKU ADALAH AKU

Hmmmm! jangan katakan bahwa aku adalah aku, aku bukan aku, bukan aku adalah aku. Meskipun kau adalah kau dan aku adalah aku. Namun aku bukan aku, bukan aku adalah aku. Batin dan zahirku adalah engkau, aku bukan aku, bukan aku adalah aku. Gaib dan kehadiranku adalah engkau, aku bukan aku, bukan aku adalah aku. #Ghazal Maulana Rumi dalam Divan Syams Tabrizi# Dalam syair diatas, Maulana Rumi ingin menjelaskan ada 'aku' yang palsu dan ada 'aku' yang asli. Namun tidak mudah menafikan 'aku' yang palsu tuk menemukan 'aku yang asli. Karena itu Rumi senantiasa mengulang-ngulangnya; aku bukan aku Bukan aku adalah aku. Aku palsu adalah aku yang senantiasa nampak. aku palsu adalah aku yang senantiasa menunjukkan identitasnya. Namun bukankah aku pasti menunjukkan identitasnya ? Bukankah identitas pasti menunjukkan aku ? Dan juga bukankah jika aku dinafikan bermakna tak ada lagi yang terlihat atau tak ada lagi identitas ? Maulana ingin men...

CARA MEMBUAT MENU NAVIGASI STICKY ALIAS FIX DIBAWAH /HEAD>

Home CSS  html  JavaScript  menu  navigasi, serial tutorial khusus, cara membuat menu sticky cocok untuk tempalte Essential, Contempo, Emporio, Soho, dan Notable, namun Notable hasil kurang mantap. Mari kita coba sticky Menu Navigasi dibawah ini, dan membuktikan apakah kita dapat menerapkannya pada template blogger kita. Perhatikan cara membuatnya: Sebaiknya back up template anda terlebih dahulu untuk berjaga jaga Masuk ke pengaturan blogger Pilih Tema Pilih opsi editHTML Langkah pertama: Cari kode </head> lalu copy kode dibawah ini dan pastekan dibawah </head> . <div id="navbar"> <a href="#home">Home</a> <a href="#news">News</a> <a href="#contact">Contact</a> </div> Langkah kedua: Cari kode ]]></b:skin> lalu copy kode dibawah ini dan pastekan diatas kode tadi. Jika ingin merubah background color, maka bisa diganti warna sesuai selera anda yang ditandai berwarna background colo...

PENGERTIAN MANAJEMEN MENURUT PARA AHLI

Pengertian Manajemen Menurut Para Ahli Mary Parker F. "Pengertian manajemen adalah sebagai suatu seni, tiap tiap pekerjaan bisa diselesaikan dengan orang lain." George R. Terry "Definisi Manajemen merupakan ilmu sekaligus seni, manajemen adalah wadah didalam ilmu pengetahuan, sehingga manajemen bisa dibuktikan secara umum kebenarannya." Koontz "Manajemen adalah suatu seni yang produktif yang didasarkan pada suatu pemahaman ilmu." Koontz menambahkan, ilmu dan seni tidaklah bertentangan, namun masing masing saling melengkapi. Stoner "Ilmu Manajemen merupakan proses dalam membuat suatu perencanaan, pengorganisasian, pengendalian serta memimpin berbagai usaha dari anggota organisasi dan juga menggunakan semua sumber daya yang dimiliki untuk mencapai tujuan yang ditetapkan." Wilson "Manajemen adalah sebagai sebuah rangkaian tindakan yang dilakukan oleh para anggota organisasi dalam upaya mencapai sasaran organisasi. Pros...

ABU NAWAS KUAH DIBALAS MAKJUN

Abu Nawas, Kuah Dibalas Makjun Di mata Khalifah Harun al-Rasyid figur Abu Nawas memang lihai, dia tidak hanya lucu tetapi juga bijaksana sehingga tidak dapat dipandang enteng. Di satu pihak hal itu sangat membanggakan khalifah, tetapi di lain pihak, sangat menjengkelkannya, karena ia suka kurang ajar dan tidak tahu diri. Oleh karena itu baginda tidak pernah berhenti memeras otak untuk dapat membalas Abu Nawas. Pada suatu hari di bulan Rabiulawal, baginda khalifah tersenyum simpul sendiri sambil bergumam, “Awas kau, Abu Nawas, kali ini pasti kena.” Seperti biasa setiap bulan Rabiulawal, Sultan Harun Al-Rasyid menyelenggarakan acara Maulid Nabi di istana. Pada saat itu semua pembesar negeri hadir termasuk putra-putra mahkota dari negeri-negeri sekitarnya, tapi Abu Nawas tidak tampak. “Panggil dia kemari,” perintah khalifah kepada punggawa. Setelah Abu Nawas datang menghadap, dimulailah acara hari itu. Semua hadirin dipersilahkan berdiri, kemudian masing-masing disirami...

TEKNIK MENGHITUNG BREAK EVEN POINT PADA AKUNTANSI

Teknik Menghitung Break Even Point Pada AkuntansiPenggunaan Break Even Point ini biasanya untuk menganalisa proyeksi sejauh mana banyaknya jumlah unit yang diproduksi atau sebanyak apa uang yang harus diterima untuk mendapatkan titik impas atau kembali modal. Break Event Point memerlukan komponen penghitungan dasar seperti berikut ini : Fixed Cost. Komponen ini merupakan biaya yang tetap atau konstan jika adanya tindakan produksi atau meskipun perusahaan tidak berproduksi. Contoh biaya ini yaitu biaya tenaga kerja, biaya penyusutan mesin, dan lain- lain. Variabel Cost. Komponen ini merupakan biaya per unit yang sifatnya dinamis tergantung dari tindakan volume produksinya. Jika produksi yang direncanakan meningkat, berarti variabel cost pasti akan meningkat. Contoh biaya ini yaitu biaya bahan baku, biaya listrik, dan sebaginya. Selling Price. Komponen ini adalah harga jual per unit barang atau jasa yang telah diproduksi. Rumus yang digunakan untuk analisis Break Event Point ini terdiri ...