Merancang Craigslist – Desain Tingkat Tinggi (HLD)

Craigslist, platform iklan baris daring klasik, tetap relevan selama bertahun-tahun karena kesederhanaan dan efektivitasnya. Artikel ini membahas desain tingkat tinggi (HLD) Craigslist, mengeksplorasi komponen kunci dan pertimbangan untuk membangun platform serupa yang terukur dan andal.

Daftar Isi

1. Pendahuluan
2. Persyaratan Fungsional
3. Persyaratan Non-Fungsional
4. Estimasi Kapasitas dan Batasan
5. Desain Tingkat Tinggi (HLD)
   • Arsitektur Keseluruhan
   • Komponen Utama
   • Alur Data
6. Desain Komponen
   • Layanan Web
   • Database
   • Caching
   • Pencarian
   • Layanan Gambar
   • Layanan Email
7. Skalabilitas dan Ketersediaan
8. Keamanan
9. Monitoring dan Alerting
10. Ringkasan

1. Pendahuluan

Craigslist adalah situs web iklan baris yang terpusat, yang memungkinkan pengguna untuk memposting iklan, mencari item, dan berinteraksi dengan pengguna lain. Merancang sistem seperti Craigslist menghadirkan tantangan yang menarik dalam hal skalabilitas, kinerja, dan keandalan. Artikel ini akan memandu Anda melalui proses desain tingkat tinggi, dengan mempertimbangkan berbagai aspek seperti persyaratan fungsional, persyaratan non-fungsional, dan komponen sistem.

2. Persyaratan Fungsional

Berikut adalah daftar persyaratan fungsional utama untuk Craigslist:

• Posting Iklan: Pengguna harus dapat memposting iklan dengan detail seperti judul, deskripsi, kategori, harga, dan gambar.
• Pencarian Iklan: Pengguna harus dapat mencari iklan berdasarkan kata kunci, kategori, lokasi, dan rentang harga.
• Kategori dan Subkategori: Sistem harus mendukung hierarki kategori dan subkategori untuk mengklasifikasikan iklan.
• Manajemen Akun: Pengguna harus dapat membuat dan mengelola akun mereka.
• Lokasi: Sistem harus mendukung pencarian dan pemfilteran iklan berdasarkan lokasi geografis.
• Kontak Penjual: Pengguna harus dapat menghubungi penjual melalui email atau telepon.
• Pelaporan Iklan: Pengguna harus dapat melaporkan iklan yang tidak pantas atau melanggar ketentuan layanan.
• Moderasi Iklan: Administrator harus dapat meninjau dan menyetujui atau menolak iklan.
• Penyimpanan Gambar: Sistem harus dapat menyimpan dan menyajikan gambar yang terkait dengan iklan.
• Autentikasi Pengguna: Sistem harus mengimplementasikan mekanisme autentikasi yang aman.

3. Persyaratan Non-Fungsional

Selain persyaratan fungsional, ada juga persyaratan non-fungsional yang penting untuk dipertimbangkan:

• Skalabilitas: Sistem harus dapat menangani peningkatan jumlah pengguna dan iklan tanpa penurunan kinerja yang signifikan.
• Kinerja: Sistem harus responsif dan memberikan waktu muat yang cepat.
• Ketersediaan: Sistem harus sangat tersedia dan toleran terhadap kesalahan.
• Keamanan: Sistem harus aman dan melindungi data pengguna dari akses yang tidak sah.
• Keandalan: Sistem harus dapat diandalkan dan memberikan hasil yang akurat.
• Pemeliharaan: Sistem harus mudah dipelihara dan diperbarui.
• Biaya: Sistem harus hemat biaya untuk dioperasikan dan dipelihara.

4. Estimasi Kapasitas dan Batasan

Sebelum merancang sistem, penting untuk memperkirakan kapasitas dan batasannya. Ini akan membantu dalam membuat keputusan yang tepat tentang arsitektur dan teknologi yang akan digunakan.

• Jumlah Pengguna: Perkirakan jumlah pengguna aktif harian (DAU) dan pengguna aktif bulanan (MAU).
• Jumlah Iklan: Perkirakan jumlah iklan yang diposting per hari dan jumlah total iklan yang disimpan dalam database.
• Ukuran Iklan: Perkirakan ukuran rata-rata iklan, termasuk teks dan gambar.
• Jumlah Pencarian: Perkirakan jumlah pencarian yang dilakukan per detik (QPS).
• Penyimpanan Data: Perkirakan jumlah total data yang perlu disimpan, termasuk iklan, gambar, dan data pengguna.
• Bandwidth: Perkirakan bandwidth yang diperlukan untuk menangani lalu lintas pengguna dan transfer data.

Misalnya, kita dapat berasumsi:

• MAU: 10 juta
• DAU: 1 juta
• Iklan per hari: 100.000
• Ukuran Rata-rata Iklan (dengan gambar): 500 KB
• QPS Pencarian: 1.000

Berdasarkan perkiraan ini, kita dapat menghitung kebutuhan penyimpanan dan bandwidth:

• Penyimpanan per hari: 100.000 iklan * 500 KB/iklan = 50 GB
• Penyimpanan per tahun: 50 GB/hari * 365 hari = 18.25 TB

5. Desain Tingkat Tinggi (HLD)

5.1. Arsitektur Keseluruhan

Arsitektur keseluruhan sistem akan mengikuti pendekatan microservices, yang memungkinkan setiap komponen untuk diskalakan dan dikelola secara independen. Ini juga meningkatkan toleransi kesalahan dan memfasilitasi pengembangan paralel.

Komponen utama dalam arsitektur adalah:

• Layanan Web (Web Service): Menangani permintaan pengguna, merender halaman web, dan mengautentikasi pengguna.
• Layanan Iklan (Listing Service): Mengelola pembuatan, pembaruan, dan penghapusan iklan.
• Layanan Pencarian (Search Service): Menyediakan fungsionalitas pencarian untuk iklan.
• Layanan Pengguna (User Service): Mengelola akun pengguna dan data profil.
• Layanan Gambar (Image Service): Menyimpan dan menyajikan gambar yang terkait dengan iklan.
• Layanan Email (Email Service): Mengirim email notifikasi dan komunikasi.
• Database (Database): Menyimpan data iklan, data pengguna, dan data lainnya.
• Cache (Cache): Menyimpan data yang sering diakses untuk meningkatkan kinerja.
• Antrian Pesan (Message Queue): Digunakan untuk komunikasi asynchronous antara layanan.

5.2. Komponen Utama

Berikut adalah deskripsi lebih rinci tentang komponen utama:

• Layanan Web (Web Service): Ini adalah titik masuk ke sistem. Ini bertanggung jawab untuk menerima permintaan pengguna, mengautentikasi pengguna, merender halaman web, dan berinteraksi dengan layanan lain. Ini dapat diimplementasikan menggunakan framework seperti Node.js, Python (Django/Flask), atau Java (Spring Boot). Load balancer akan mendistribusikan lalu lintas di antara beberapa instance layanan web untuk skalabilitas.
• Layanan Iklan (Listing Service): Layanan ini mengelola semua operasi yang terkait dengan iklan, seperti membuat, memperbarui, menghapus, dan mengambil iklan. Ini berinteraksi dengan database untuk menyimpan dan mengambil data iklan.
• Layanan Pencarian (Search Service): Layanan ini menyediakan fungsionalitas pencarian untuk iklan. Ini menggunakan mesin pencari seperti Elasticsearch atau Solr untuk mengindeks data iklan dan melakukan pencarian yang cepat dan efisien.
• Layanan Pengguna (User Service): Layanan ini mengelola akun pengguna, termasuk pendaftaran, login, pembaruan profil, dan autentikasi. Ini berinteraksi dengan database untuk menyimpan dan mengambil data pengguna.
• Layanan Gambar (Image Service): Layanan ini menyimpan dan menyajikan gambar yang terkait dengan iklan. Ini dapat menggunakan layanan penyimpanan objek seperti AWS S3 atau Google Cloud Storage untuk menyimpan gambar.
• Layanan Email (Email Service): Layanan ini mengirim email notifikasi kepada pengguna, seperti email konfirmasi, email pengingat, dan email peringatan. Ini dapat menggunakan layanan email seperti SendGrid atau Mailgun untuk mengirim email.
• Database (Database): Database digunakan untuk menyimpan data iklan, data pengguna, dan data lainnya. Database relasional seperti MySQL atau PostgreSQL dapat digunakan. Untuk kebutuhan skala yang lebih besar, database NoSQL seperti Cassandra atau MongoDB juga dapat dipertimbangkan.
• Cache (Cache): Cache digunakan untuk menyimpan data yang sering diakses untuk meningkatkan kinerja. Cache dapat diimplementasikan menggunakan sistem caching terdistribusi seperti Redis atau Memcached.
• Antrian Pesan (Message Queue): Antrian pesan digunakan untuk komunikasi asynchronous antara layanan. Ini memungkinkan layanan untuk berkomunikasi tanpa harus menunggu respons langsung. Antrian pesan dapat diimplementasikan menggunakan sistem seperti RabbitMQ atau Kafka.

5.3. Alur Data

Berikut adalah contoh alur data untuk memposting iklan:

1. Pengguna mengakses layanan web melalui browser.
2. Layanan web menampilkan formulir untuk memposting iklan.
3. Pengguna mengisi formulir dan mengunggah gambar.
4. Layanan web mengirimkan data iklan dan gambar ke layanan iklan melalui API.
5. Layanan iklan menyimpan data iklan ke database.
6. Layanan iklan mengirimkan gambar ke layanan gambar untuk disimpan.
7. Layanan iklan mengirimkan pesan ke antrian pesan untuk mengindeks iklan di layanan pencarian.
8. Layanan web menampilkan pesan konfirmasi kepada pengguna.

6. Desain Komponen

6.1. Layanan Web

Layanan web bertanggung jawab untuk menangani permintaan pengguna dan merender halaman web. Ini harus dirancang untuk kinerja dan skalabilitas yang tinggi. Beberapa pertimbangan desain:

• Load Balancer: Menggunakan load balancer seperti Nginx atau HAProxy untuk mendistribusikan lalu lintas di antara beberapa instance layanan web.
• Caching: Menggunakan caching untuk menyimpan data yang sering diakses, seperti halaman web statis dan data pengguna.
• Framework Web: Menggunakan framework web seperti Node.js (Express), Python (Django/Flask), atau Java (Spring Boot) untuk menyederhanakan pengembangan dan pemeliharaan.
• Autentikasi: Mengimplementasikan mekanisme autentikasi yang aman untuk melindungi data pengguna.
• API Gateway: Menggunakan API gateway untuk mengelola dan mengamankan API yang diekspos oleh layanan web.

6.2. Database

Database digunakan untuk menyimpan data iklan, data pengguna, dan data lainnya. Pilihan database tergantung pada kebutuhan skala, konsistensi, dan kompleksitas kueri.

• Database Relasional (RDBMS): MySQL atau PostgreSQL cocok untuk sebagian besar kasus penggunaan. Mereka menawarkan konsistensi data yang kuat dan mendukung kueri kompleks.
• Database NoSQL: Cassandra atau MongoDB dapat digunakan untuk kebutuhan skala yang sangat besar dan untuk menyimpan data yang tidak terstruktur. Mereka menawarkan skalabilitas yang tinggi dan toleransi kesalahan, tetapi mungkin mengorbankan konsistensi data.
• Schema Design: Mendesain skema database yang efisien untuk mengoptimalkan kinerja kueri.
• Indexing: Menggunakan indeks untuk mempercepat kueri yang sering digunakan.
• Replication: Menggunakan replikasi untuk meningkatkan ketersediaan dan toleransi kesalahan.

Contoh Skema Database (MySQL):

Tabel `users`

• `id` INT PRIMARY KEY AUTO_INCREMENT
• `username` VARCHAR(255) UNIQUE NOT NULL
• `password` VARCHAR(255) NOT NULL
• `email` VARCHAR(255) UNIQUE NOT NULL
• `created_at` TIMESTAMP DEFAULT CURRENT_TIMESTAMP

Tabel `listings`

• `id` INT PRIMARY KEY AUTO_INCREMENT
• `user_id` INT NOT NULL
• `category_id` INT NOT NULL
• `title` VARCHAR(255) NOT NULL
• `description` TEXT
• `price` DECIMAL(10, 2)
• `location` VARCHAR(255)
• `created_at` TIMESTAMP DEFAULT CURRENT_TIMESTAMP
• FOREIGN KEY (user_id) REFERENCES users(id)
• FOREIGN KEY (category_id) REFERENCES categories(id)

Tabel `categories`

• `id` INT PRIMARY KEY AUTO_INCREMENT
• `name` VARCHAR(255) NOT NULL
• `parent_id` INT
• FOREIGN KEY (parent_id) REFERENCES categories(id)

6.3. Caching

Caching digunakan untuk menyimpan data yang sering diakses untuk meningkatkan kinerja. Ini dapat mengurangi beban pada database dan mempercepat waktu muat halaman.

• Redis atau Memcached: Menggunakan sistem caching terdistribusi seperti Redis atau Memcached untuk menyimpan data.
• Cache Invalidation: Mengimplementasikan mekanisme invalidasi cache untuk memastikan bahwa data yang di-cache selalu aktual.
• Content Delivery Network (CDN): Menggunakan CDN untuk menyimpan dan menyajikan aset statis seperti gambar dan file JavaScript.

Contoh penggunaan Redis untuk menyimpan data iklan:

    
    // Mendapatkan iklan dari cache
    $listing = Redis::get('listing:' . $listingId);

    if ($listing) {
      // Iklan ditemukan di cache
      return $listing;
    } else {
      // Iklan tidak ditemukan di cache, ambil dari database
      $listing = Listing::find($listingId);

      // Simpan iklan ke cache
      Redis::set('listing:' . $listingId, $listing, 'EX', 3600); // Simpan selama 1 jam

      return $listing;
    }
    
  

6.4. Pencarian

Layanan pencarian menyediakan fungsionalitas pencarian untuk iklan. Ini harus cepat, efisien, dan mendukung berbagai kriteria pencarian.

• Elasticsearch atau Solr: Menggunakan mesin pencari seperti Elasticsearch atau Solr untuk mengindeks data iklan dan melakukan pencarian.
• Indexing: Mengindeks semua bidang yang relevan dari data iklan, seperti judul, deskripsi, lokasi, dan kategori.
• Relevance Ranking: Menggunakan algoritma relevansi untuk mengurutkan hasil pencarian berdasarkan relevansinya.
• Faceted Search: Mendukung pencarian faceted untuk memungkinkan pengguna mempersempit hasil pencarian mereka berdasarkan berbagai kriteria.

6.5. Layanan Gambar

Layanan gambar menyimpan dan menyajikan gambar yang terkait dengan iklan. Ini harus dirancang untuk skalabilitas dan kinerja yang tinggi.

• Object Storage: Menggunakan layanan penyimpanan objek seperti AWS S3 atau Google Cloud Storage untuk menyimpan gambar.
• Image Optimization: Mengoptimalkan gambar untuk mengurangi ukuran file dan mempercepat waktu muat halaman.
• Content Delivery Network (CDN): Menggunakan CDN untuk menyimpan dan menyajikan gambar ke pengguna di seluruh dunia.
• Image Resizing: Mendukung resizing gambar untuk menghasilkan thumbnail dan gambar dengan berbagai ukuran.

6.6. Layanan Email

Layanan email mengirim email notifikasi kepada pengguna. Ini harus dapat diandalkan dan scalable.

• SendGrid atau Mailgun: Menggunakan layanan email seperti SendGrid atau Mailgun untuk mengirim email.
• Email Templates: Menggunakan template email untuk menghasilkan email yang konsisten dan profesional.
• Rate Limiting: Mengimplementasikan rate limiting untuk mencegah penyalahgunaan layanan email.
• Email Queue: Menggunakan antrian pesan untuk mengirim email secara asynchronous.

7. Skalabilitas dan Ketersediaan

Skalabilitas dan ketersediaan adalah pertimbangan penting dalam merancang sistem seperti Craigslist. Sistem harus dapat menangani peningkatan jumlah pengguna dan iklan tanpa penurunan kinerja yang signifikan. Ini juga harus sangat tersedia dan toleran terhadap kesalahan.

• Horizontal Scaling: Menggunakan horizontal scaling untuk meningkatkan kapasitas sistem. Ini melibatkan penambahan lebih banyak instance layanan ke sistem.
• Load Balancing: Menggunakan load balancing untuk mendistribusikan lalu lintas di antara beberapa instance layanan.
• Replication: Menggunakan replikasi untuk meningkatkan ketersediaan dan toleransi kesalahan.
• Database Sharding: Menggunakan database sharding untuk membagi database menjadi beberapa shard yang lebih kecil.
• Microservices: Menggunakan arsitektur microservices untuk memungkinkan setiap komponen untuk diskalakan dan dikelola secara independen.

8. Keamanan

Keamanan sangat penting untuk melindungi data pengguna dan mencegah akses yang tidak sah. Sistem harus dirancang dengan mempertimbangkan keamanan dari awal.

• Authentication: Mengimplementasikan mekanisme autentikasi yang aman untuk memverifikasi identitas pengguna.
• Authorization: Mengimplementasikan mekanisme otorisasi untuk mengontrol akses ke sumber daya.
• Data Encryption: Mengenkripsi data sensitif, seperti kata sandi dan informasi kartu kredit.
• Input Validation: Memvalidasi semua input pengguna untuk mencegah serangan injeksi.
• Cross-Site Scripting (XSS) Prevention: Mencegah serangan XSS dengan membersihkan semua output pengguna.
• Cross-Site Request Forgery (CSRF) Protection: Melindungi dari serangan CSRF dengan menggunakan token CSRF.
• Regular Security Audits: Melakukan audit keamanan secara teratur untuk mengidentifikasi dan memperbaiki kerentanan.

9. Monitoring dan Alerting

Monitoring dan alerting sangat penting untuk memastikan kesehatan dan kinerja sistem. Sistem harus dipantau secara terus menerus untuk mengidentifikasi masalah dan masalah potensial.

• Metrics: Mengumpulkan metrik tentang kinerja sistem, seperti waktu respons, penggunaan CPU, dan penggunaan memori.
• Logging: Mencatat semua peristiwa penting, seperti kesalahan, peringatan, dan aktivitas pengguna.
• Alerting: Mengatur peringatan untuk memberi tahu administrator ketika masalah terjadi.
• Dashboards: Menggunakan dasbor untuk memvisualisasikan metrik dan log sistem.
• Monitoring Tools: Menggunakan alat monitoring seperti Prometheus, Grafana, atau Datadog untuk memantau sistem.

10. Ringkasan

Merancang Craigslist adalah tantangan yang kompleks yang membutuhkan pertimbangan yang cermat tentang berbagai faktor, termasuk persyaratan fungsional, persyaratan non-fungsional, skalabilitas, ketersediaan, dan keamanan. Dengan mengikuti prinsip-prinsip desain yang dibahas dalam artikel ini, Anda dapat membangun platform iklan baris yang terukur, andal, dan aman.