Kerennya Proses Pencarian Real Time Milik Twitter

pencarian real time twitter

Pencarian real-time merupakan suatu hal yang sangat sulit untuk dilakukan. Anda perlu mencari data yang terus bergerak, dengan banyak potongan-potongan kecil beterbangan dimana – mana. Ini seperti mengubah masalah fisika Newton menjadi satu kuantum.

Dalam sebuah posting di blognya, Edwin Chen dan Alpa Jain dari Twitter menuliskan dua masalah dasar pencarian real-time:

1. Permintaan orang melakukan mungkin pernah disaksikan sebelumnya, sehingga tidak mungkin untuk mengetahui tanpa konteks yang sangat spesifik apa yang mereka maksud. Bagaimana Anda tahu bahwa # bindersfullofwomen mengacu pada politik, dan bukan aksesoris kantor, atau bahwa orang yang mencari “kuda dan bayonet” tertarik dalam perdebatan Presiden?
2. Karena lonjakan dalam permintaan pencarian begitu singkat, hanya ada jendela kecil kesempatan untuk belajar apa yang mereka maksud.

Ilmuwan Data, Hilary Mason menggambarkan upaya yang dimasukkan ke dalam API dan mesin pencari baru real-time Bitly, dengan menggunakan tingkat klik untuk melacak lonjakan aktivitas, kemudian menyusun kembali semua link ke dalam cerita yang koheren, sementara masih melacak lokasi dan metadata lainnya. Ini adalah masalah yang sulit.

Seperti Bitly, Twitter memiliki data real-time yang besar dan ilmuwan data yang sangat cerdas. Tapi bukannya mengandalkan solusi terutama komputasi, Twitter memperlakukan pencarian real-time lebih seperti masalah CAPTCHA. Dengan jenis data yang berantakan, banyak otak manusia dapat menemukan makna jauh lebih cepat dan lebih akurat daripada banyak baris kode. Jadi Twitter menggunakan sistem komputasi real-time disebut “Storm” untuk mengidentifikasi lonjakan pencari, maka Mechanical Turk (crowdsourcing online platform Amazon untuk pekerjaan kecil) untuk pertanian akan melakukan annotating data tersebut ke manusia di seluruh dunia. Penjelasan pada dasarnya mengambil istilah pencarian spiking dan tag untuk relevansi dan niat. Sebuah Annotator manusia (Twitter menyebut mereka “hakim”) dapat memberitahu sistem Twitter apakah pencarian untuk “Stanford” merujuk ke universitas atau tim sepak bola, atau bahwa pencarian untuk “Big Bird” tidak terutama referensi acara anak-anak, tetapi perdebatan politik. Ini membantu membuat trending topics Twitter cerdas dan lebih koheren.

Tapi di sini stroke gelap jenius di balik menggunakan massa besar orang untuk membantu memilah makna pencarian Twitter: bagian dari tugas hakim juga untuk mencocokkan spiking istilah pencarian dengan gambar, peristiwa, dan kategori lain yang dapat membantu Twitter melayani sampai iklan yang relevan. “Misalnya, evaluator kami memberitahu kita bahwa [Big Bird] berkaitan dengan politik, saat seseorang melakukan pencarian ini, kita tahu iklan permukaan oleh @ BarackObama atau @ mittromney, bukan iklan tentang Dora the Explorer.” Para hakim seperti kelompok fokus kecil yang sesuai dengan maksud pendapatan.

Ini memecahkan paruh kedua masalah Twitter di Google. Pertama, ia harus melakukan pencarian real-time yang cepat, relevan, dan dapat diandalkan. Kedua, ia harus cerdas membuat pekerjaan pencarian sebagai penggerak iklan tanpa frustasi atau membingungkan baik pengiklan atau konsumen. Jika pelanggan – yaitu, pengiklan – membuat pembelian iklan, Twitter perlu meyakinkan pelanggan bahwa iklan yang relevan akan disajikan dan dilayani dengan baik, dan bahwa mesin pencari adalah alat untuk tujuan itu.

Pendekatan Twitter memecahkan masalah iklan sosial Facebook dan memanfaatkan peran unik Twitter sebagai kliring cepat untuk berita dan tren yang muncul. Twitter hanya mengatakan kepada semua orang bagaimana mereka membuat uang, dan bagaimana mereka akan membuat uang dari sekarang sampai waktu algoritma dapat mengejar ketinggalan dengan otak manusia.

Pencarian Search Engine:

Berbagi Berarti Peduli

Komentar

komentar

About author View all posts

keph