Saya Membuat Alat untuk Menyaring Makalah arXiv quant-ph Berdasarkan Topik – Tidak Ada Lagi “Firehose” Harian

Sebagai fisikawan teoretis, saya menghabiskan banyak waktu membaca makalah penelitian. Sebagian besar waktu, makalah yang relevan dengan pekerjaan saya diterbitkan di arXiv, repositori pracetak untuk makalah ilmiah. Bagian quant-ph dari arXiv didedikasikan untuk makalah fisika kuantum, dan setiap hari, banjir makalah baru muncul. Dulu saya menghabiskan banyak waktu untuk memilah-milah tumpukan makalah, mencari permata yang relevan dengan penelitian saya. Ini adalah tugas yang memakan waktu dan membuat frustrasi.

Setelah beberapa tahun bergumul dengan tumpukan makalah yang tak henti-hentinya, saya memutuskan untuk melakukan sesuatu. Saya memiliki keterampilan pemrograman, dan saya memutuskan untuk menggunakannya untuk membuat alat yang akan membantu saya memfilter makalah arXiv quant-ph berdasarkan topik. Dengan alat ini, saya bisa mendapatkan daftar makalah baru yang relevan dengan penelitian saya setiap hari. Ini akan menjadi penghemat waktu yang sangat besar, dan akan memungkinkan saya untuk fokus pada pekerjaan penelitian yang sebenarnya.

Dalam postingan blog ini, saya akan menjelaskan proses pembuatan alat saya, tantangan yang saya hadapi, dan bagaimana alat ini telah membantu saya dalam penelitian saya. Saya juga akan memberikan panduan langkah demi langkah tentang cara membuat alat Anda sendiri.

Mengapa Saya Membutuhkan Alat ini? Masalah “Firehose” arXiv

arXiv adalah berkat dan kutukan bagi fisikawan. Di satu sisi, ini menyediakan platform yang luar biasa untuk berbagi penelitian dengan cepat dan mudah. Di sisi lain, volume makalah yang diterbitkan setiap hari sangat banyak. Bidang quant-ph sangat produktif, dan mencoba untuk tetap mengikuti semua perkembangan terbaru terasa seperti minum dari selang kebakaran – “firehose”.

Berikut adalah beberapa masalah khusus yang saya hadapi sebelum membangun alat ini:

1. Waktu yang Terbuang: Menjelajahi arXiv setiap hari dan membaca abstrak dari lusinan makalah hanya untuk menemukan sedikit yang relevan memakan banyak waktu.
2. Informasi yang Hilang: Sangat mudah untuk melewatkan makalah penting karena volume makalah baru yang konstan.
3. Frustrasi: Proses ini seringkali membuat frustrasi, terutama ketika makalah yang relevan sulit ditemukan.
4. Kurangnya Personalisasi: Algoritma rekomendasi arXiv bersifat umum dan tidak disesuaikan dengan minat penelitian khusus saya.

Saya membutuhkan cara untuk mengotomatiskan proses ini dan memfokuskan upaya saya pada makalah yang kemungkinan besar relevan dengan penelitian saya. Saya ingin memiliki alat yang akan melakukan hal berikut:

1. Mengunduh makalah baru dari arXiv setiap hari.
2. Memfilter makalah berdasarkan topik yang telah ditentukan.
3. Memberi tahu saya tentang makalah baru yang relevan.

Kerangka Posting Blog: Merencanakan Solusinya

Berikut adalah kerangka yang saya gunakan untuk menyusun postingan blog ini:

1. Pendahuluan: Jelaskan masalah “firehose” arXiv dan motivasi untuk membangun alat tersebut.
2. Teknologi yang Digunakan: Rincikan teknologi dan pustaka yang digunakan dalam proyek ini (Python, arXiv API, NLP libraries, dll.).
3. Proses Langkah-demi-Langkah: Panduan terperinci tentang cara membuat alat tersebut. Ini akan mencakup:
   • Mengakses arXiv API.
   • Mengunduh makalah baru.
   • Memproses teks makalah.
   • Menerapkan pemfilteran topik menggunakan NLP.
   • Menyiapkan sistem pemberitahuan.
4. Tantangan yang Dihadapi: Diskusikan tantangan teknis yang muncul selama pengembangan dan bagaimana mereka diatasi.
5. Hasil dan Manfaat: Soroti dampak positif alat tersebut terhadap penelitian.
   • Penghematan waktu.
   • Peningkatan cakupan makalah yang relevan.
   • Penemuan pola dan tren baru.
6. Kode Sumber (Opsional): Berikan tautan ke repositori GitHub.
7. Kesimpulan: Rangkum manfaat alat tersebut dan dorong pembaca untuk membangun solusi mereka sendiri.
8. Panggilan untuk Bertindak: Undang pembaca untuk berbagi umpan balik dan saran.

Teknologi yang Digunakan: Senjata Pilihan

Untuk membangun alat ini, saya memanfaatkan beberapa teknologi sumber terbuka yang kuat:

• Python: Bahasa pemrograman pilihan saya karena kesederhanaannya, ekosistem pustaka yang luas, dan komunitas yang kuat.
• arXiv API: Antarmuka pemrograman aplikasi yang disediakan oleh arXiv untuk mengakses dan mengunduh data makalah.
• Beautiful Soup: Pustaka Python untuk menguraikan kode HTML dan XML. Saya menggunakannya untuk mengekstrak teks dari abstrak dan konten makalah.
• Natural Language Toolkit (NLTK): Pustaka Python yang komprehensif untuk pemrosesan bahasa alami (NLP). Saya menggunakannya untuk tokenisasi, stemming, dan analisis sentimen.
• spaCy: Pustaka NLP canggih lainnya yang dikenal dengan kecepatannya dan kemampuannya yang canggih. Saya menggunakannya untuk pengenalan entitas bernama (NER) dan penandaan bagian-ucapan (POS).
• Scikit-learn: Pustaka Python untuk pembelajaran mesin. Saya menggunakannya untuk membangun model klasifikasi untuk pemfilteran topik.
• SQLite: Sistem manajemen basis data relasional tertanam. Saya menggunakannya untuk menyimpan data makalah dan hasil klasifikasi.
• Email (smtplib): Pustaka Python untuk mengirim email. Saya menggunakannya untuk mengirimkan pemberitahuan tentang makalah baru yang relevan.

Proses Langkah-demi-Langkah: Membangun Alat Pemfilteran arXiv

Berikut adalah panduan langkah demi langkah tentang cara membuat alat Anda sendiri untuk memfilter makalah arXiv quant-ph berdasarkan topik. Saya akan mencoba untuk membuatnya semudah mungkin, memberikan contoh kode dan penjelasan yang jelas.

Langkah 1: Menyiapkan Lingkungan

Pertama, Anda perlu menyiapkan lingkungan pengembangan Python. Saya merekomendasikan penggunaan lingkungan virtual untuk mengisolasi proyek Anda dan mencegah konflik dengan pustaka lain.

# Membuat lingkungan virtual
python3 -m venv arxiv_filter

# Mengaktifkan lingkungan virtual
source arxiv_filter/bin/activate  # Di Linux/macOS
arxiv_filter\Scripts\activate  # Di Windows

Selanjutnya, instal pustaka yang diperlukan menggunakan pip:

pip install arxiv beautifulsoup4 nltk spacy scikit-learn python-dotenv
python -m spacy download en_core_web_sm

Langkah 2: Mendapatkan Data dari arXiv API

Pustaka arxiv menyediakan cara yang mudah untuk berinteraksi dengan arXiv API. Kita dapat menggunakan pustaka ini untuk mencari dan mengunduh makalah berdasarkan berbagai kriteria.

import arxiv

# Cari makalah fisika kuantum (quant-ph) yang baru-baru ini diperbarui
search = arxiv.Search(
  query = "cat:quant-ph AND submittedDate:[NOW-7D TO NOW]",
  max_results = 100,
  sort_by = arxiv.SortCriterion.SubmittedDate
)

for result in search.results():
  print(result.title)
  print(result.summary)
  print(result.pdf_url)
  print("\n---")

Kode ini mencari hingga 100 makalah di kategori quant-ph yang telah diperbarui dalam 7 hari terakhir. Ini kemudian mencetak judul, abstrak, dan URL PDF dari setiap makalah.

Langkah 3: Memproses Teks Makalah

Setelah kita mengunduh data makalah, kita perlu memproses teksnya untuk mengekstrak informasi yang relevan. Ini melibatkan beberapa langkah:

1. Menghapus Markup HTML: Gunakan Beautiful Soup untuk menghapus markup HTML dari abstrak dan konten makalah.
2. Tokenisasi: Membagi teks menjadi token individu (kata dan tanda baca) menggunakan NLTK atau spaCy.
3. Menghapus Kata-Kata Henti: Menghapus kata-kata umum seperti “the”, “a”, dan “is” yang tidak membawa banyak informasi.
4. Stemming/Lemmatisasi: Mengurangi kata-kata ke bentuk akarnya untuk menyatukan variasi kata (misalnya, “running” dan “ran” menjadi “run”).

import nltk
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
from bs4 import BeautifulSoup

nltk.download('stopwords')
nltk.download('punkt')

def preprocess_text(text):
  """Memproses teks dengan menghapus HTML, stopwords, dan melakukan stemming."""

  # Menghapus HTML
  soup = BeautifulSoup(text, "html.parser")
  text = soup.get_text()

  # Tokenisasi
  tokens = nltk.word_tokenize(text)

  # Menghapus stopwords
  stop_words = set(stopwords.words("english"))
  filtered_tokens = [token for token in tokens if token.lower() not in stop_words and token.isalnum()]

  # Stemming
  stemmer = PorterStemmer()
  stemmed_tokens = [stemmer.stem(token) for token in filtered_tokens]

  return stemmed_tokens

# Contoh penggunaan
abstract = "This is an example abstract with HTML markup and some stopwords."
processed_abstract = preprocess_text(abstract)
print(processed_abstract)

Langkah 4: Menerapkan Pemfilteran Topik Menggunakan NLP

Sekarang kita sampai ke inti alat ini: pemfilteran topik. Ada beberapa cara untuk menerapkan ini, mulai dari yang sederhana hingga yang canggih:

1. Pencarian Kata Kunci: Cara paling sederhana adalah mencari kata kunci tertentu di abstrak dan konten makalah.
2. Pengelompokan Topik: Gunakan algoritma pengelompokan untuk mengelompokkan makalah ke dalam topik berdasarkan kesamaan tekstual.
3. Klasifikasi Teks: Melatih model klasifikasi pembelajaran mesin untuk memprediksi topik makalah berdasarkan teksnya.

Saya akan menunjukkan contoh klasifikasi teks menggunakan Scikit-learn. Pertama, kita perlu membuat dataset pelatihan yang terdiri dari makalah dengan label topik yang sesuai.

Membuat Dataset Pelatihan (Ini adalah langkah yang memakan waktu yang melibatkan pelabelan manual beberapa makalah):

Misalkan kita tertarik pada tiga topik: “Komputasi Kuantum,” “Entanglement,” dan “Kriptografi Kuantum.” Kita perlu mencari makalah di arXiv yang termasuk dalam topik-topik ini dan membuat dataset dengan judul dan label topik makalah.

# Contoh dataset pelatihan (ganti dengan data Anda sendiri)
training_data = [
  ("Quantum algorithm for prime factorization", "Komputasi Kuantum"),
  ("Entanglement swapping in quantum networks", "Entanglement"),
  ("Quantum key distribution with continuous variables", "Kriptografi Kuantum"),
  ("Simulating quantum circuits with tensor networks", "Komputasi Kuantum"),
  ("Bell inequalities and non-locality", "Entanglement"),
  ("Post-quantum cryptography algorithms", "Kriptografi Kuantum"),
]

Selanjutnya, kita akan membuat model klasifikasi menggunakan Scikit-learn:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score

# Mempersiapkan data
texts, labels = zip(*training_data)

# Mengubah teks menjadi vektor menggunakan TF-IDF
vectorizer = TfidfVectorizer(preprocessor=preprocess_text)  # Menggunakan fungsi praproses kita
X = vectorizer.fit_transform(texts)

# Membagi data menjadi set pelatihan dan pengujian
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.2, random_state=42)

# Melatih model Naive Bayes
classifier = MultinomialNB()
classifier.fit(X_train, y_train)

# Membuat prediksi pada set pengujian
y_pred = classifier.predict(X_test)

# Mengevaluasi model
accuracy = accuracy_score(y_test, y_pred)
print(f"Akurasi model: {accuracy}")

def predict_topic(text):
    """Memprediksi topik teks yang diberikan."""
    text_vector = vectorizer.transform([text])
    return classifier.predict(text_vector)[0]

# Contoh penggunaan
new_abstract = "This paper discusses the implementation of Shor's algorithm."
predicted_topic = predict_topic(new_abstract)
print(f"Topik yang diprediksi: {predicted_topic}")

Kode ini menggunakan vektorisasi TF-IDF untuk mengubah teks menjadi representasi numerik, melatih model Naive Bayes pada data pelatihan, dan kemudian menggunakan model untuk memprediksi topik abstrak baru.

Langkah 5: Menyiapkan Sistem Pemberitahuan

Setelah kita memiliki alat untuk memfilter makalah berdasarkan topik, kita dapat menyiapkan sistem pemberitahuan untuk memberi tahu kita tentang makalah baru yang relevan. Salah satu caranya adalah dengan menggunakan email.

import smtplib
from email.mime.text import MIMEText
from dotenv import load_dotenv
import os

load_dotenv()  # Memuat variabel lingkungan dari .env

def send_email(subject, body, recipient_email):
  """Mengirim email menggunakan SMTP."""

  sender_email = os.environ.get("SENDER_EMAIL")
  sender_password = os.environ.get("SENDER_PASSWORD")

  msg = MIMEText(body)
  msg['Subject'] = subject
  msg['From'] = sender_email
  msg['To'] = recipient_email

  try:
    with smtplib.SMTP_SSL('smtp.gmail.com', 465) as server:
      server.login(sender_email, sender_password)
      server.sendmail(sender_email, recipient_email, msg.as_string())
    print("Email berhasil dikirim!")
  except Exception as e:
    print(f"Error: {e}")

# Contoh penggunaan
subject = "Makalah arXiv Baru yang Relevan"
body = "Sebuah makalah baru tentang Komputasi Kuantum telah diterbitkan di arXiv."
recipient_email = "penerima@contoh.com"  # Ganti dengan email Anda

# Pastikan Anda memiliki file .env dengan SENDER_EMAIL dan SENDER_PASSWORD yang terdefinisi
send_email(subject, body, recipient_email)

Kode ini mengirim email menggunakan server SMTP Gmail. Anda perlu mengganti alamat email dan kata sandi pengirim dengan informasi Anda sendiri. PENTING: Menggunakan Gmail memerlukan konfigurasi “Akses aplikasi yang kurang aman” atau mengaktifkan otentikasi dua faktor dan menggunakan kata sandi aplikasi. Simpan kata sandi Anda dengan aman menggunakan variabel lingkungan (file `.env`).

File `.env` (JANGAN unggah file ini ke repositori publik!):

SENDER_EMAIL=email_anda@gmail.com
SENDER_PASSWORD=password_aplikasi_anda

Langkah 6: Mengotomatiskan Proses

Untuk mengotomatiskan proses ini, Anda dapat menggunakan penjadwal tugas seperti cron (di Linux/macOS) atau Penjadwal Tugas (di Windows) untuk menjalankan skrip Python Anda setiap hari. Anda perlu membuat skrip utama yang melakukan semua langkah di atas: mengunduh makalah baru, memproses teksnya, memfilter berdasarkan topik, dan mengirimkan pemberitahuan.

Tantangan yang Dihadapi: Jalan Menuju Pencerahan

Membangun alat ini bukan tanpa tantangan. Berikut adalah beberapa rintangan yang saya hadapi dan bagaimana saya mengatasinya:

• Keterbatasan arXiv API: arXiv API memiliki batas tarif, jadi saya harus menerapkan penundaan dan strategi pencarian yang efisien untuk menghindari melampaui batas.
• Kualitas Data: Kualitas abstrak dan konten makalah bervariasi secara signifikan. Beberapa makalah memiliki abstrak yang ditulis dengan buruk atau menggunakan terminologi yang tidak standar. Saya harus menerapkan teknik pembersihan data yang kuat untuk mengatasi masalah ini.
• Pemfilteran Topik yang Akurat: Melatih model klasifikasi yang akurat membutuhkan dataset pelatihan yang besar dan berkualitas tinggi. Saya harus menghabiskan waktu untuk melabeli makalah secara manual dan bereksperimen dengan berbagai algoritma pembelajaran mesin.
• Pemeliharaan: arXiv API dan pustaka NLP terus berkembang, jadi saya harus terus memperbarui alat saya dan menyesuaikannya dengan perubahan baru.

Hasil dan Manfaat: Imbalan dari Kerja Keras

Meskipun ada tantangan, membangun alat ini sangat bermanfaat. Berikut adalah beberapa manfaat yang saya rasakan:

• Penghematan Waktu: Saya sekarang menghabiskan waktu yang jauh lebih sedikit untuk memilah-milah makalah arXiv. Alat ini secara otomatis memfilter makalah yang tidak relevan, menghemat waktu dan energi yang berharga.
• Peningkatan Cakupan Makalah yang Relevan: Saya sekarang lebih mungkin untuk menemukan makalah penting yang relevan dengan penelitian saya. Alat ini membantu saya untuk tetap mengikuti perkembangan terbaru di bidang saya.
• Penemuan Pola dan Tren Baru: Dengan menganalisis data makalah, saya dapat mengidentifikasi pola dan tren baru di bidang fisika kuantum. Ini telah membantu saya untuk mengembangkan ide-ide penelitian baru.
• Fokus yang Lebih Baik: Dengan memiliki alat yang menangani pemfilteran awal, saya dapat fokus pada membaca dan memahami makalah yang benar-benar relevan dengan penelitian saya.

Kode Sumber (Opsional): Membagikan Pengetahuan

Saya berencana untuk merilis kode sumber untuk alat ini di GitHub dalam waktu dekat. Ini akan memungkinkan orang lain untuk membangun alat mereka sendiri dan berkontribusi pada proyek tersebut. (Saya akan memperbarui tautan ini setelah kode tersedia.)

Kesimpulan: Kekuatan Otomatisasi

Membangun alat untuk memfilter makalah arXiv quant-ph berdasarkan topik adalah investasi yang signifikan dalam waktu dan upaya, tetapi itu sangat berharga. Alat ini telah membantu saya untuk menghemat waktu, meningkatkan cakupan makalah yang relevan, dan menemukan pola dan tren baru. Saya mendorong orang lain untuk membangun solusi mereka sendiri untuk mengotomatiskan tugas-tugas yang berulang dan membuat hidup mereka lebih mudah.

Panggilan untuk Bertindak: Bergabunglah dalam Percakapan

Saya harap Anda menemukan postingan blog ini bermanfaat. Saya akan senang mendengar umpan balik dan saran Anda. Apakah Anda pernah mencoba membangun alat serupa? Tantangan apa yang Anda hadapi? Fitur apa yang ingin Anda lihat ditambahkan ke alat saya? Bagikan pemikiran Anda di bagian komentar di bawah!

Terima kasih telah membaca!