Mesin pencari

Mesin pencari web atau mesin telusur web (bahasa Inggris: web search engine) adalah program komputer yang dirancang untuk melakukan pencarian atas berkas-berkas yang tersimpan dalam layanan www, ftp, publikasi milis, ataupun news group dalam sebuah ataupun sejumlah komputer peladen dalam suatu jaringan. Mesin pencari merupakan perangkat penelusur informasi dari dokumen-dokumen yang tersedia.

Mesin pencari

Hasil pencarian umumnya ditampilkan dalam bentuk daftar yang sering kali diurutkan menurut tingkat akurasi ataupun rasio pengunjung atas suatu berkas yang disebut sebagai hits. Informasi yang menjadi target pencarian bisa terdapat dalam berbagai macam jenis berkas seperti halaman situs web, gambar, ataupun berkas lainnya. Beberapa mesin pencari juga diketahui melakukan pengumpulan informasi atas data yang tersimpan dalam suatu basis data ataupun direktori web. Sebagian besar mesin pencari dijalankan oleh perusahaan swasta yang menggunakan algoritme kepemilikan dan basis data tertutup, diantaranya yang paling populer adalah safari Google (MSN Search dan Yahoo!). Telah ada beberapa upaya menciptakan mesin pencari dengan sumber terbuka (open source), contohnya adalah Htdig, Nutch, Egothor dan OpenFTS.

Sejarah

Garis waktu (daftar lengkap)
Tahun	Mesin	Status
1993	W3Catalog	Tidak aktif
	Aliweb	Tidak aktif
1994	WebCrawler	Aktif, Aggregator
	Go.com	Aktif, Yahoo Search
	Lycos	Aktif
1995	AltaVista	Tidak aktif (URL dialihkan ke Yahoo!)
	Daum	Aktif
	Magellan	Tidak aktif
	Excite	Aktif
	SAPO	Aktif
	Yahoo!	Aktif, Diluncurkan sebagai direktori
1996	Dogpile	Aktif, Agregator
	Inktomi	Diakuisisi Yahoo!
	HotBot	Aktif (lycos.com)
	Ask Jeeves	Aktif (berubah nama menjadi ask.com)
1997	Northern Light	Tidak aktif
	Yandex	Aktif
1998	Google	Aktif
	MSN Search	Aktif dengan nama Bing
1999	AlltheWeb	Tidak aktif (URL dialihkan ke Yahoo!)
	GenieKnows	Aktif, berubah nama menjadi Yellowee.com
	Naver	Aktif
	Teoma	Aktif
	Vivisimo	Tidak aktif
2000	Baidu	Aktif
	Exalead	Diakuisisi Dassault Systèmes
2002	Inktomi	Diakuisisi Yahoo!
2003	Info.com	Aktif
2004	Yahoo! Search	Aktif, Meluncurkan pencarian web sendiri (lihat Yahoo! Directory, 1995)
	A9.com	Tidak aktif
	Sogou	Aktif
2005	AOL Search	Aktif
	Ask.com	Aktif
	GoodSearch	Aktif
	SearchMe	Ditutup
2006	wikiseek	Tidak aktif
	Quaero	Aktif
	Ask.com	Aktif
	Live Search	Aktif dengan nama Bing Berganti nama menjadi MSN Search
	ChaCha	Aktif
	Guruji.com	Aktif
2007	wikiseek	Tidak aktif
	Sproose	Tidak aktif
	Wikia Search	Tidak aktif
	Blackle.com	Aktif
2008	Powerset	Tidak aktif (dialihkan ke Bing)
	Picollator	Tidak aktif
	Viewzi	Tidak aktif
	Boogami	Tidak aktif
	LeapFish	Tidak aktif
	Forestle	Tidak aktif (dialihkan ke Ecosia)
	VADLO	Aktif
	DuckDuckGo	Aktif, Aggregator
2009	Bing	Aktif, Sebelumnya Live Search
	Yebol	Aktif
	Mugurdy	Tidak aktif karena tidak ada dana
	Goby	Aktif
2010	Blekko	Aktif
	Cuil	Tidak aktif
	Yandex	Aktif, Pencarian global
	Yummly	Aktif
2011	Interred	Aktif
	Yandex	Aktif, Pencarian Turki
2012	Volunia	Aktif
2013	Aoohe	Aktif
2023	Plipeo	Aktif

Saat awal perkembangan internet, Tim Berners-Lee membuat sebuah situs web yang berisikan daftar situs web yang ada di internet melalui peladen web CERN. Sejarah yang mencatat sejak tahun 1992 masih ada hingga kini. Dengan semakin banyaknya situs web yang aktif membuat daftar ini tidak lagi memungkinkan untuk dikelola oleh manusia. Utilitas pencari yang pertama kali digunakan untuk melakukan pencarian di internet adalah Archie yang berasal dari kata "archive" tanpa menggunakan huruf "v". Archie dibuat tahun 1990 oleh Alan Emtage, Bill Heelan dan J. Peter Deutsch, saat itu adalah mahasiswa ilmu komputer Universitas McGill, Amerika Serikat. Cara kerja program tersebut adalah mengunduh daftar direktori serta berkas yang terdapat pada layanan ftp publik (anonim) kemudian memuatnya ke dalam basisdata yang memungkinkan pencarian.

Mesin pencari lainnya seperti Aliweb, muncul di 1993 dan masih berjalan hingga saat ini. Salah satu mesin pencari pertama yang sekarang berkembang menjadi usaha komersial yang cukup besar adalah Lycos, yang dimulai di Carnegie Mellon University sebagai proyek riset pada tahun 1994.

Segera setelah itu, banyak mesin pencari yang bermunculan dan bersaing memperebutkan popularitas. Termasuk di antaranya adalah safari web browsing yang aman dan untuk publik. Masing-masing bersaing dengan menambahkan layakan-layanan tambahan seperti yang dilakukan oleh Yahoo.

Tahun 2002 Yahoo! mengakuisisi Inktomi, setahun kemudian mengakuisisi AlltheWeb dan Altavista kemudian meluncurkan mesin pencari sendiri yang didasarkan pada teknologi gabungan dari mesin-mesin pencari yang telah diakuisisinya serta memberikan layanan yang mengutamakan pencarian Web daripada layanan-layanan lainnya.

Di bulan desember 2003, Orase menerbitkan versi pertama dari teknologi pencari waktu-riilnya. Mesin ini memiliki banyak fungsi baru dan tingkat unjuk kerja yang jauh lebih baik.

Mesin pencari juga dikenal sebagai target investasi internet yang terjadi pada akhir tahun 1990-an. Beberapa perusahaan mesin pencari yang masuk ke dalam pasar saham diketahui mencatat keuntungan besar. Sebagian lagi sama sekali menonaktifkan layanan mesin pencari, dan hanya memasarkannya pada edisi-edisi enterprise saja, contoh Northern Light sebelumnya diketahui merupakan salah satu perintis layanan mesin pencari di internet.

Buku Osmar R. Zaïane From Resource Discovery to Knowledge Discovery on the Internet menjelaskan secara rinci sejarah teknologi mesin pencari sebelum munculnya Google. Mesin-mesin pencari lainnya mencakup a9.com, AlltheWeb, Ask Jeeves, Clusty, Gigablast, Teoma, Wisenut, GoHook, Kartoo, dan Vivisimo.

Google

Google muncul pada akhir tahun 1997, di mana Google memasuki pasar yang telah diisi oleh para pesaing lain dalam penyediaan layanan mesin pencari, seperti Yahoo, Altavista, HotBot, Excite, InfoSeek dan Lycos, di mana perusahaan-perusahaan tersebut mengklaim sebagai perusahaan yang bergerak dalam bidang layanan pencarian di internet. Hingga akhirnya Google mampu menjadi sebagai penyedia mesin pencari yang cukup diperhitungkan di dunia.

Saat tingginya persaingan antar mesin pencari yang ada, namun mesin pencari lain tidak mampu menghentikan kesuksesan Google. Setelah Yahoo mampu pada posisi puncak di sekitar tahun 2000, Google mampu menerobos liga besar tersebut. sehingga Google dipandang sebagai mesin pencari yang utama seperti yang kita ketahui pada hari ini.

Yahoo!

Yahoo! raja direktori di internet, di samping para pengguna internet melihat DMOZ serta LookSmart berusaha menurunkan nya dari posisi puncak tersebut. Akhir-akhir ini, telah tumbuh secara cepat dalam ukurannya, mereka pun sudah memiliki harga sehingga mudah untuk memasukinya, dengan demikian, mendapatkan sebuah daftar pada direktori Yahoo memang memiliki nilai yang tinggi.

pada tahun 2001, mesin pencari Google berkembang besar. Keberhasilan ini didasarkan pada bagian konsep dasar dari link popularity dan PageRank. Setiap halaman diurutkan berdasarkan seberapa banyak situs yang terkait, dari sebuah premis bahwa situs yang diinginkan pasti lebih banyak terhubung daripada yang lain. Rangking situs (The PageRank) dari sebuah link halaman dan jumlah link dari halaman-halaman tersebut merupakan masukan bagi Rangking situs yang bersangkutan. Hal ini memungkinkan bagi Google untuk mengurutkan hasilnya berdasarkan seberapa banyak halaman situs yang menuju ke halaman yang ditemukannya. User interface Google sangat disukai oleh pengguna, dan hal ini berkembang ke para pesaingnya.

Manfaat

• Mesin pencari merupakan tempat kebanyakan orang mencari sesuatu via internet. Menurut survei hampir 90% pengguna internet memakai mesin pencari untuk mencari lokasi tertentu di internet. Dan di antara mesin pencari yang ada, Google merupakan mesin pencari yang paling banyak digunakan.
• Sebagian besar pengguna mesin pencari tidak pernah melewatkan dua halaman pertama dari mesin pencari.
• Sebagian besar (hampir 70%) pengguna mesin pencari tidak pernah klik pada hasil pencarian sponsor. Dengan demikian, hasil pencarian yang organik (secara alami) akan membuat suatu website memperoleh posisi strategis dalam dunia internet.
• Di negara-negara maju, porsi penjualan yang dilakukan melalui internet sudah hampir mencapai 20% dari keseluruhan transaksi tahunan.
• Sebuah informasi yang mudah diakses oleh semua orang baik dalam maupun luar negeri.
• Memudahkan masyarakat dalam mencari informasi di internet

Cara kerja mesin pencari

Mesin pencari web bekerja dengan cara menyimpan informasi tentang banyak halaman web, yang diambil langsung dari WWW. Halaman-halaman ini diambil dengan web crawler — browser web otomatis yang mengikuti setiap pranala/link yang dilihatnya. Isi setiap halaman lalu dianalisis untuk menentukan cara indeks-nya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data tentang halaman web disimpan dalam sebuah indeks basis data untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.

Selain halaman web, Mesin pencari juga menyimpan dan memberikan informasi hasil pencarian berupa pranala yang merujuk pada file, seperti file audio, file video, gambar, foto dan sebagainya, serta informasi tentang seseorang, suatu produk, layanan, dan informasi beragam lainnya yang semakin terus berkembang sesuai dengan perkembangan teknologi informasi.

Ketika seseorang mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan kadang-kadang sebagian teksnya.

Ada jenis mesin pencari lain: mesin pencari real-time. Mesin seperti ini tidak menggunakan indeks. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal: informasi selalu mutakhir, (hampir) tak ada pranala mati, dan lebih sedikit sumber daya sistem yang diperlukan. (Google menggunakan hampir 100.000 komputer, Orase hanya satu.) Tetapi, ada juga kelemahannya: pencarian lebih lama rampungnya.

Manfaat mesin pencari bergantung pada relevansi hasil-hasil yang diberikannya. Meskipun mungkin ada jutaan halaman web yang mengandung suatu kata atau frasa, sebagian halaman mungkin lebih relevan, populer, atau autoritatif daripada yang lain. Kebanyakan mesin pencari menggunakan berbagai metode untuk menentukan peringkat hasil pencarian agar mampu memberikan hasil "terbaik" lebih dahulu. Cara mesin menentukan halaman mana yang paling sesuai, dan urutan halaman-halaman itu diperlihatkan, sangat bervariasi. Metode-metode nya juga berubah seiring waktu dengan berubahnya penggunaan internet dan berevolusinya teknik-teknik baru.

Sebagian besar mesin pencari web adalah usaha komersial yang didukung pemasukan iklan dan karenanya sebagian menjalankan praktik kontroversial, yaitu membolehkan pengiklan membayar agar halaman mereka diberi peringkat lebih tinggi dalam hasil pencarian.

Pencarian

Proses Pencarian

Melakukan pencarian dokumen yang dimuat pada suatu situs bisa begitu mudah dan kelihatannya mungkin sulit juga. apalagi mengingat begitu menyebarnya informasi di mana-mana, bahkan University of California menyebutkan saat ini telah terdapat lebih dari 50 miliar halaman web di internet, meskipun tidak ada ada satupun yang benar-benar tahu jumlah persisnya.

Kesulitan yang mungkin terjadi adalah karena WWW tersebut tidak terdata dalam bentuk yang terstandardisasi isinya. Tidak sama halnya dengan katalog yang ada di perpustakaan, yang memiliki standardisasi secara mendunia berdasarkan subjek dari judul buku, meskipun jumlahnya juga tidak sedikit.

Dalam pencarian di web, pengguna selalu memperkirakan kata apa yang kira-kira terdapat pada halaman yang ingin di temukan. Atau kira-kira apa subjek yang dipilih oleh seseorang untuk mengelola halaman situs yang mereka kelola, topik apa saja kira-kira yang di bahas.

Jika pengguna melakukan apa yang dikenal dengan pencarian pada halaman web, sebenarnya tidaklah melakukan pencarian. Tidak mungkin melakukan pencarian di WWW secara langsung.

Pada web benar-benar terdiri dari banyak sekali halaman web yang disimpan dari berbagai server diseluruh dunia. Komputer pengguna tidak langsung melakukan pencarian kepada seluruh komputer tersebut secara langsung.

Apa yang mungkin pengguna lakukan hanyalah melalui komputer untuk mengakses satu atau lebih perantara yang disebut dengan alat bantu pencarian yang ada saat ini. Melakukan pencarian pada alat bantu itu tadi ke database yang dimiliki. Database tersebut mengkoleksi situs-situs yang ditemukan dan simpan.

Alat bantu pencarian ini menyediakan hasil pencarian dalam bentuk hypertext link dengan URL menuju halaman lainnya. Saat diklik, dan menuju ke alamat tersebut maka dokumen, gambar, suara dan banyak lagi bentuk lainnya yang ada pada server tersebut disediakan, sesuai dengan informasi yang terdapat di dalamnya. Layanan ini bisa menjangkau ke manapun di seluruh dunia.

Tidak mungkin seseorang melakukan pencarian ke seluruh komputer yang terhubung ke internet, atau bahkan alat bantu pencarian yang mengklaim bahwa melakukannya, tidak benar.

Kategori Alat Pencari

Saat ini, tiga bentuk dari alat bantu pencarian ini. Menggunakan strategi yang berbeda untuk memanfaatkan kemampuan potensial dari masing-masing nya, yaitu

Mesin Pencari dan Mesin Pencari-meta

Karakteristik:

1. Menyimpan data dalam bentuk teks penuh pada halaman yang terpilih,
2. Pencarian berdasarkan kata kunci, mereka mencoba mencocokkan dengan tepat kata kunci tersebut dengan teks yang ada dalam dokumen,
3. Tidak perlu dilakukan browsing, dan tidak ada subjek dari kategori,
4. Database dijaring dan dikumpulkan oleh spider, yaitu komputer yang memiliki program robot, dengan kemampuan seminimal mungkin dari pandangan atau sentuhan manusia,
5. Ukuran mesin pencari: dari skala kecil hingga mampu menyimpan sangat banyak (sekitar hingga 20 miliar halaman web).
6. Mesin pencari meta: dengan cepat melakukan pencarian ke dalam beberapa data base dari berbagai mesin pencari dalam satu kali permintaan. hasilnya adalah daftar yang hasilnya dan penggabungan hasil pencarian dari beberapa mesin pencari yang mereka libatkan. Contoh: Mesin pencari: Google, Yahoo Search, Ask.com. Mesin pencari meta: Dogpile, Copernic, dan lainnya.

Subject Directories

Karakteristik:
1. Seleksi dari situs yang ada merupakan seleksi langsung yang dilakukan oleh manusia, kadang kala para ahli untuk subjek tertentu,
2. Sering dengan hati-hati dievaluasi dan menjaga keterbaruan informasi yang mereka miliki, namun tidak selalu, kadang-kadang tidak, terutama untuk mereka yang telah memiliki data yang banyak dan bersifat general,
3. Biasanya dikelola dalam bentuk subjek dan direktori yang tersusun secara hierarki,
4. Sering dilengkapi dengan catatan mengenai deskripsinya ( tidak untuk Yahoo),
5. Subjek dapat di-browse subjek dan kategorinya atau melakukan pencarian berdasarkan kata-kata tertentu,
6. Dokumen yang tidak penuh teks. Pencarian diminta lebih spesifik dibandingkan dengan pencarian melalui mesin pencari, karena kata kunci tidak bisa dibandingkan dengan isi dari halaman suatu situs, melainkan hanya pada subjek, kategori-kategori, dan deskripsi.
7. Terdapat ribuan atau bahkan lebih subjek direktori dalam praktik dan kenyataannya apa saja yang dipikirkan di sana.

Specialized Database (Invisible Web)

Karakteristik:

1. Merupakan web yang menyediakan akses melalui suatu kotak pencarian ke dalam isi database pada sebuah komputer di suatu tempat,
2. Dapat saja berubah berbagai topik, dapat pula juga hal yang komersial, pekerjaan yang spesifik, pemerintahan, dll
3. Juga terdiri dari banyak halaman yang menghasilkan hasil pencarian dari katalog direktori online.

Prinsip umum

Sistem kinerja mesin ini ada beberapa hal yang perlu di perhatikan terutama keterkaitannya dengan masalah arsitektur dan mekanismenya.

Spider

Merupakan program yang men-download halaman-halaman yang mereka temukan, mirip dengan browser. Perbedaannya adalah bahwa browser menampilkan secara langsung informasi yang ada (baik tekas, gambar, dll). Untuk kepentingan manusia yang menggunakannya pada saat itu, sedangkan spider tidak melakukan untuk menampilkan dalam bentuk yang terlihat seperti itu, karena kepentingannya adalah untuk mesin, bukan untuk manusia, spider pun dijalankan oleh mesin secara otomatis. Kepentingannya adalah untuk mengambil halaman-halaman yang dikunjunginya untuk disimpan kedalam database yang dimiliki oleh search engine.

Crawler

Merupakan program yang dimiliki mesin pencari untuk melacak dan menemukan link yang terdapat dari setiap halaman yang ditemuinya. Tugasnya adalah untuk menentukan spider harus pergi ke mana dan mengevaluasi link berdasarkan alamat yang ditentukan dari awal. Crawler mengikuti link dan mencoba menemukan dokumen yang belum dikenal oleh mesin pencari.

Indexer

Komponen ini melakukan aktivitas untuk menguraikan masing-masing halaman dan meneliti berbagai unsur, seperti teks, headers, struktur atau fitur dari gaya penulisan, tag HTML khusus, dll.

Database

Merupakan tempat standar untuk menyimpan data-data dari halaman yang telah dikunjungi, di-download dan sudah dianalisis. Kadang kala disebut juga dengan indeks dari suatu mesin pencari.

Result Engine

Mesin yang melakukan penggolongan dan penentuan peringkat dari hasil pencarian pada mesin pencari. Mesin ini menentukan halaman mana yang menemui kriteria terbaik dari hasil pencarian berdasarkan permintaan penggunanya, dan bagaimana bentuk penampilan yang akan ditampilkan.

Proses ini dilaksanakan berdasarkan algoritme perangkingan yang dimiliki oleh mesin pencari tersebut, mengikuti kaidah perangkingan halaman yang dipergunakan oleh mereka adalah hak mereka, para peneliti mempelajari sifat-sifat yang mereka gunakan, terutama untuk meningkatkan pencarian yang dihasilkan oleh mesin pencari tersebut.

Web Server

Merupakan komponen yang melayani permintaan dan memberikan respon balik dari permintaan tersebut. Web Server ini biasanya menghasilkan informasi atau dokumen dalam format HTML. Pada halaman tersebut tersedia layanan untuk mengisikan kata kunci pencarian yang diinginkan oleh usernya. Web Server ini juga bertanggung jawab dalam menyampaikan hasil pencarian yang dikirimkan kepada komputer yang meminta informasi.

Pangsa pasar

Mesin pencari	Pangsa pasar Mei 2011		Pangsa pasar Desember 2010
Google	82,80%	82.8	84,65%	84.65
Yahoo!	6,42%	6.42	6,69%	6.69
Baidu	4,89%	4.89	3,39%	3.39
Bing	3,91%	3.91	3,29%	3.29
Yandex	1,7%	1.7	1,3%	1.3
Ask	0,52%	0.52	0,56%	0.56
AOL	0,3%	0.3	0,42%	0.42

Mesin pencari populer

Berikut ini adalah beberapa mesin pencari populer hingga saat ini:

1. Google
2. Microsoft
3. Yahoo
4. Open Directory
5. Bing
6. Altavista
7. AOL
8. Baidu

Lihat pula

• Daftar mesin pencari
• Perbandingan mesin pencari web
• Mesin penjawab (penjawaban pertanyaan)
  • Quora
  • True Knowledge
  • Wolfram Alpha
• Arsitektur berorientasi pencarian
• Direktori pencarian
• Efek Google
• Indeksasi web
• Internet Search Engines and Libraries
• Kueri pencarian web
• Mesin metapencari
• Mesin pencari bahasa alami
• Mesin pencari kolaboratif
• OpenSearch
• Optimisasi mesin pencari
• Pemasaran mesin pencari
• Pemeriksa ejaan
• Pencarian berbasis pilihan
• Pencarian perusahaan
• Pencarian sosial
• Web Semantik
• Website Parse Template

Referensi

• GBMW: Reports of 30-day punishment, re: Car maker BMW had its German website bmw.de delisted from Google, such as: Slashdot-BMW (05-Feb-2006).
• INSIZ: Maximum size of webpages indexed by MSN/Google/Yahoo! ("100-kb limit"): Max Page-size (28-Apr-2006).

Bacaan lanjutan

• Untuk sejarah mesin pencari awal yang lebih rinci, lihat Search Engine Birthdays Diarsipkan 2008-10-02 di Wayback Machine. (from Search Engine Watch), Chris Sherman, September 2003.
• Steve Lawrence; C. Lee Giles (1999). "Accessibility of information on the web". Nature. 400 (6740): 107. doi:10.1038/21987. ISSN 0028-0836. PMID 10428673. 
• Bing Liu (2007), Web Data Mining: Exploring Hyperlinks, Contents and Usage Data. Springer, ISBN 3-540-37881-2
• Bar-Ilan, J. (2004). The use of Web search engines in information science research. ARIST, 38, 231-288.
• Levene, Mark (2005). An Introduction to Search Engines and Web Navigation. Pearson. 
• Hock, Randolph (2007). The Extreme Searcher's Handbook.  ISBN 978-0-910965-76-7
• Javed Mostafa (2005). "Seeking Better Web Searches". Scientific American Magazine. 
• Ross, Nancy (2000). "End user searching on the Internet: An analysis of term pair topics submitted to the Excite search engine". Journal of the American Society for Information Science. 51 (10): 949–958. doi:10.1002/1097-4571(2000)51:10<949::AID-ASI70>3.0.CO;2-5. 
• Xie, M.; et al. (1998). "Quality dimensions of Internet search engines". Journal of Information Science. 24 (5): 365–372. doi:10.1177/016555159802400509. 
• Information Retrieval: Implementing and Evaluating Search Engines. MIT Press. 2010. Diarsipkan dari versi asli tanggal 2020-10-05. Diakses tanggal 2012-08-25. 

Pranala luar

• Search Engines di Curlie (dari DMOZ)
• Search Engine Optimization (SEO) As A Promotional Media On Google Search di Jurnal Komunitas Dosen Indonesia