📘 Hari 1: Apa Itu LangChain? Panduan Pemula untuk Framework Aplikasi AI

LangChain telah muncul sebagai framework yang kuat untuk mengembangkan aplikasi yang didukung oleh model bahasa (LLM). Jika Anda baru mengenal dunia LLM dan bagaimana mereka dapat diintegrasikan ke dalam aplikasi praktis, panduan ini adalah titik awal yang sempurna. Kami akan menguraikan LangChain, menjelajahi komponen utamanya, dan memberi Anda dasar yang kuat untuk mulai membangun aplikasi AI Anda sendiri.

Pendahuluan: Ledakan Aplikasi Bertenaga AI

Kecerdasan buatan (AI) dengan cepat bertransformasi dari konsep futuristik menjadi realitas praktis. Kemajuan terbaru dalam model bahasa besar (LLM) seperti GPT-3, PaLM, dan lainnya telah membuka kemungkinan-kemungkinan baru untuk membangun aplikasi cerdas yang dapat memahami bahasa alami, menghasilkan teks kreatif, menjawab pertanyaan, dan banyak lagi.

Namun, memanfaatkan kekuatan LLM secara efektif memerlukan lebih dari sekadar akses ke API. Ini membutuhkan arsitektur dan alat yang terstruktur untuk mengelola kompleksitas aliran data, integrasi, dan interaksi dengan sumber eksternal. Di sinilah LangChain berperan.

Apa Itu LangChain? Definisi dan Tujuan

LangChain adalah framework sumber terbuka untuk mengembangkan aplikasi yang ditenagai oleh model bahasa. Ini dirancang untuk menyederhanakan proses pembuatan aplikasi yang memanfaatkan kekuatan LLM dengan menyediakan komponen modular dan abstraksi yang fleksibel. Pikirkan LangChain sebagai toolkit yang membantu Anda merakit berbagai bagian – LLM, sumber data, dan logika alur kerja – menjadi aplikasi AI yang koheren dan fungsional.

Tujuan utama LangChain adalah:

• Menyederhanakan Pengembangan: Menyediakan abstraksi dan komponen yang membuatnya lebih mudah untuk membangun aplikasi LLM yang kompleks tanpa perlu code boilerplates yang rumit.
• Modularitas dan Fleksibilitas: Menawarkan berbagai macam komponen modular yang dapat digabungkan dan dikustomisasi agar sesuai dengan kebutuhan spesifik aplikasi Anda.
• Integrasi yang Mudah: Memungkinkan integrasi yang mulus dengan berbagai LLM, penyimpanan vektor, dan alat eksternal lainnya.
• Standardisasi: Menetapkan konvensi dan antarmuka standar untuk bekerja dengan LLM, membuat codebase lebih mudah dipahami dan dipelihara.

Mengapa Menggunakan LangChain? Manfaat Utama

Menggunakan LangChain menawarkan sejumlah manfaat yang signifikan bagi pengembang yang bekerja dengan LLM:

1. Peningkatan Produktivitas: Komponen bawaan dan abstraksi LangChain mengurangi jumlah kode yang perlu Anda tulis, memungkinkan Anda untuk fokus pada logika bisnis inti aplikasi Anda.
2. Waktu Pengembangan yang Lebih Cepat: Memanfaatkan modul dan alat yang telah dibuat sebelumnya mempercepat siklus pengembangan dan memungkinkan Anda untuk bereksperimen dengan ide-ide baru dengan cepat.
3. Kemampuan untuk Diperluas: Arsitektur modular LangChain memudahkan untuk menambahkan komponen khusus dan mengintegrasikan dengan alat dan layanan eksternal.
4. Kemudahan Pemeliharaan: Konvensi dan antarmuka standar LangChain membuat codebase lebih mudah dipahami, dipelihara, dan di-debug.
5. Komunitas yang Aktif: LangChain memiliki komunitas yang berkembang pesat yang berkontribusi pada pengembangan framework, menyediakan dukungan, dan berbagi sumber daya.

Komponen Utama LangChain: Memahami Building Blocks

Untuk memahami cara kerja LangChain, penting untuk memahami komponen utamanya. Kita akan membahas yang paling penting:

1. Model:
   • LLMs (Large Language Models): Inti dari setiap aplikasi LangChain. Ini mencakup model seperti GPT-3, PaLM, Llama, dan model sumber terbuka lainnya. LangChain menyediakan antarmuka standar untuk berinteraksi dengan berbagai LLM.
   • Chat Models: Model yang dirancang khusus untuk percakapan interaktif. Mereka melacak riwayat percakapan dan memberikan respons kontekstual.
   • Text Embedding Models: Model yang mengubah teks menjadi representasi vektor numerik (embeddings). Embeddings ini digunakan untuk pencarian semantik, pengelompokan, dan tugas-tugas serupa lainnya.
2. Prompts:
   • PromptTemplates: Cara yang terstruktur untuk membuat prompts untuk LLM. Mereka memungkinkan Anda untuk menentukan placeholder dan variabel yang dapat diisi secara dinamis.
   • Example Selectors: Membantu Anda memilih contoh yang relevan untuk dimasukkan ke dalam prompt Anda, meningkatkan kinerja LLM.
3. Chains:
   • Chains: Urutan panggilan ke LLM atau utilitas lainnya. Rantai memungkinkan Anda untuk membangun alur kerja yang kompleks dengan menggabungkan berbagai langkah.
   • Sequential Chains: Rantai di mana output dari satu langkah menjadi input untuk langkah berikutnya.
   • Router Chains: Rantai yang merutekan input ke rantai yang berbeda berdasarkan kondisi tertentu.
4. Indexes:
   • Document Loaders: Memuat dokumen dari berbagai sumber (file teks, PDF, situs web, database, dll.)
   • Text Splitters: Memecah dokumen besar menjadi potongan yang lebih kecil dan dapat dikelola.
   • Vector Stores: Menyimpan embeddings teks untuk pencarian dan pengambilan yang efisien. Contoh termasuk Chroma, Pinecone, dan FAISS.
5. Memory:
   • ConversationBufferMemory: Menyimpan riwayat percakapan dalam buffer.
   • ConversationSummaryMemory: Menyimpan ringkasan percakapan dari waktu ke waktu.
   • ConversationBufferWindowMemory: Menyimpan riwayat percakapan terbaru dalam jendela geser.
6. Agents:
   • Agents: Sistem yang menggunakan LLM untuk menentukan tindakan mana yang akan diambil dan urutan tindakannya. Agen dapat menggunakan alat untuk berinteraksi dengan dunia luar.
   • Tools: Fungsi yang dapat digunakan oleh agen. Contoh termasuk pencarian web, perhitungan matematika, dan akses database.
   • Toolkits: Kumpulan alat yang dirancang untuk tugas tertentu.
7. Callbacks:
   • Callbacks: Fungsi yang dipanggil selama eksekusi aplikasi LangChain. Mereka dapat digunakan untuk logging, pemantauan, dan debugging.

Penjelasan Lebih Detail tentang Komponen Utama

Mari kita bahas beberapa komponen ini secara lebih rinci:

1. Model: Jantung Aplikasi LLM Anda

Model bahasa adalah fondasi dari aplikasi LangChain Anda. LangChain mendukung berbagai macam model, memungkinkan Anda memilih yang paling sesuai untuk kebutuhan Anda. Pertimbangan utama dalam memilih model termasuk:

• Kemampuan: Seberapa baik model tersebut melakukan tugas yang ingin Anda lakukan (misalnya, pembuatan teks, menjawab pertanyaan, terjemahan).
• Biaya: Harga untuk menggunakan model (biasanya berdasarkan token).
• Kecepatan: Seberapa cepat model tersebut menghasilkan respons.
• Aksesibilitas: Bagaimana Anda mengakses model tersebut (misalnya, melalui API, sebagai model sumber terbuka).

Contoh Model:

• GPT-3 (OpenAI): Model serbaguna yang sangat baik untuk berbagai tugas, termasuk pembuatan teks, menjawab pertanyaan, dan penerjemahan.
• PaLM (Google): Model lain yang kuat dengan kemampuan serupa dengan GPT-3.
• Llama 2 (Meta): Model bahasa sumber terbuka yang populer.
• Flan-T5 (Google): Model transformer yang dilatih pada berbagai tugas menggunakan fine-tuning instruksi.

2. Prompts: Seni Menginstruksikan LLM

Prompt adalah input yang Anda berikan ke LLM. Kualitas prompt Anda memiliki dampak signifikan pada output LLM. Membuat prompt yang efektif adalah seni dan sains, dan LangChain menyediakan alat untuk membantu Anda melakukannya:

• Prompt Templates: Memungkinkan Anda untuk membuat prompt yang dapat digunakan kembali dengan placeholder untuk variabel. Ini membantu Anda menghindari pengulangan dan memastikan konsistensi.
• Example Selectors: Memungkinkan Anda untuk memilih contoh yang relevan untuk dimasukkan ke dalam prompt Anda. Ini sangat berguna untuk pembelajaran beberapa tembakan (memberikan contoh untuk membimbing LLM).

Contoh Prompt Template:

  from langchain.prompts import PromptTemplate

  template = """
  Tulis ringkasan singkat tentang teks berikut:

  TEXT: {text}

  RINGKASAN:
  """

  prompt = PromptTemplate(input_variables=["text"], template=template)
  

Dalam contoh ini, {text} adalah placeholder yang akan diganti dengan teks yang ingin Anda ringkas.

3. Chains: Merakit Alur Kerja

Chains adalah tulang punggung aplikasi LangChain Anda. Mereka memungkinkan Anda untuk menggabungkan beberapa langkah untuk membuat alur kerja yang kompleks. Sebuah rantai dapat terdiri dari:

• Panggilan ke LLM.
• Panggilan ke utilitas (misalnya, alat pencarian web, kalkulator).
• Langkah-langkah pemrosesan data.

Contoh Rantai Sederhana:

  from langchain.chains import LLMChain
  from langchain.llms import OpenAI
  from langchain.prompts import PromptTemplate

  llm = OpenAI(temperature=0.9)
  prompt = PromptTemplate(
      input_variables=["product"],
      template="Apa nama perusahaan yang bagus untuk perusahaan yang membuat {product}?",
  )

  chain = LLMChain(llm=llm, prompt=prompt)

  print(chain.run("kursi berwarna"))
  

Dalam contoh ini, rantai mengambil nama produk sebagai input, membuat prompt, meneruskannya ke LLM, dan mengembalikan output LLM.

4. Indexes: Mengelola Data Anda

Indeks membantu Anda mengelola dan mengambil data untuk aplikasi LLM Anda. Ini sangat penting ketika Anda bekerja dengan sejumlah besar data. Komponen utama indeks meliputi:

• Document Loaders: Memuat dokumen dari berbagai sumber.
• Text Splitters: Memecah dokumen menjadi potongan-potongan yang lebih kecil.
• Vector Stores: Menyimpan embeddings teks untuk pencarian yang efisien.

Proses Kerja Indeks:

1. Muat Data: Gunakan Document Loader untuk memuat data Anda dari berbagai sumber seperti file teks, PDF, URL web, atau database.
2. Split Teks: Gunakan Text Splitter untuk memecah dokumen besar menjadi potongan-potongan yang lebih kecil. Ini penting karena LLM memiliki batasan pada ukuran input.
3. Buat Embeddings: Gunakan model embedding teks untuk mengubah potongan teks menjadi vektor numerik (embeddings). Embeddings menangkap makna semantik dari teks.
4. Simpan Embeddings: Simpan embeddings dalam Vector Store. Vector Stores dioptimalkan untuk pencarian kesamaan vektor, memungkinkan Anda untuk menemukan potongan teks yang paling relevan dengan kueri Anda.

5. Memory: Memberi LLM Konteks

Memory memungkinkan aplikasi LLM Anda untuk mengingat informasi dari interaksi sebelumnya. Ini sangat penting untuk aplikasi percakapan. LangChain menyediakan berbagai jenis memory:

• ConversationBufferMemory: Menyimpan seluruh riwayat percakapan dalam buffer.
• ConversationSummaryMemory: Membuat ringkasan percakapan dari waktu ke waktu.
• ConversationBufferWindowMemory: Menyimpan riwayat percakapan terbaru dalam jendela geser.

Contoh Menggunakan Memory:

  from langchain.chains import ConversationChain
  from langchain.memory import ConversationBufferMemory
  from langchain.llms import OpenAI

  llm = OpenAI(temperature=0)
  memory = ConversationBufferMemory()
  conversation = ConversationChain(
      llm=llm,
      memory=memory,
      verbose=True
  )

  print(conversation.predict(input="Hai, nama saya John."))
  print(conversation.predict(input="Apa yang saya katakan tentang nama saya?"))
  

Dalam contoh ini, ConversationBufferMemory menyimpan riwayat percakapan, memungkinkan LLM untuk mengingat bahwa nama pengguna adalah John.

6. Agents: Memberi LLM Kekuatan untuk Bertindak

Agen memungkinkan LLM untuk menentukan tindakan mana yang akan diambil dan urutan tindakannya. Ini membuka kemungkinan untuk membangun aplikasi AI yang dapat berinteraksi dengan dunia luar. Agen menggunakan alat untuk berinteraksi dengan dunia luar.

Contoh Alat:

• Pencarian Web: Mencari informasi di web.
• Kalkulator: Melakukan perhitungan matematika.
• Akses Database: Mengakses dan memodifikasi data dalam database.

Proses Kerja Agen:

1. Input: Agen menerima input dari pengguna.
2. Perencanaan: Agen menggunakan LLM untuk menentukan tindakan mana yang harus diambil dan urutannya.
3. Aksi: Agen menjalankan tindakan yang dipilih menggunakan alat yang tersedia.
4. Observasi: Agen mengamati hasil dari tindakan yang diambil.
5. Ulangi: Agen mengulangi langkah 2-4 hingga mencapai tujuannya.

Memulai dengan LangChain: Instalasi dan Setup

Sekarang setelah Anda memahami komponen utama LangChain, mari kita lihat cara memulai dengan itu.

1. Instalasi

Anda dapat menginstal LangChain menggunakan pip:

  pip install langchain
  

2. Konfigurasi Lingkungan

Sebagian besar aplikasi LangChain akan memerlukan akses ke LLM. Anda perlu mendapatkan kunci API dari penyedia seperti OpenAI atau Google Cloud dan mengaturnya sebagai variabel lingkungan.

Contoh untuk OpenAI:

  import os
  os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
  

3. Contoh Sederhana: Hello World

Berikut adalah contoh sederhana yang menunjukkan cara menggunakan LangChain untuk menghasilkan teks:

  from langchain.llms import OpenAI

  llm = OpenAI(temperature=0.9)
  text = "Apa ibu kota Prancis?"
  print(llm(text))
  

Kode ini akan menggunakan model OpenAI untuk menghasilkan jawaban atas pertanyaan “Apa ibu kota Prancis?”.

Kasus Penggunaan LangChain: Aplikasi Dunia Nyata

LangChain dapat digunakan untuk membangun berbagai macam aplikasi AI. Berikut adalah beberapa contoh:

1. Chatbots: Membangun chatbots percakapan yang dapat memahami bahasa alami dan memberikan respons yang relevan.
2. Question Answering: Membangun sistem menjawab pertanyaan yang dapat menjawab pertanyaan tentang dokumen atau basis pengetahuan.
3. Text Summarization: Membangun sistem ringkasan teks yang dapat meringkas dokumen panjang.
4. Code Generation: Membangun alat pembuatan kode yang dapat menghasilkan kode dari deskripsi bahasa alami.
5. Data Augmentation: Meningkatkan dataset yang ada dengan membuat data sintetis baru menggunakan LLM.

Praktik Terbaik untuk Menggunakan LangChain

Untuk memaksimalkan efektivitas LangChain, pertimbangkan praktik terbaik ini:

• Mulai dari yang Kecil: Mulailah dengan aplikasi sederhana dan secara bertahap meningkatkan kompleksitasnya.
• Eksperimen dengan Prompts: Luangkan waktu untuk membuat prompt yang efektif.
• Gunakan Memory: Gunakan memory untuk memberi LLM konteks dan meningkatkan kinerja percakapan.
• Manfaatkan Agen: Gunakan agen untuk membangun aplikasi yang dapat berinteraksi dengan dunia luar.
• Berkontribusi pada Komunitas: Bagikan kode Anda, ajukan pertanyaan, dan bantu pengembang lain.

Kesimpulan: Membuka Potensi Aplikasi AI

LangChain adalah framework yang kuat yang menyederhanakan proses pengembangan aplikasi yang didukung oleh model bahasa. Dengan memahami komponen utamanya dan mengikuti praktik terbaik, Anda dapat membuka potensi LLM dan membangun aplikasi AI yang inovatif dan berdampak.

Ini baru permulaan. Di hari-hari mendatang, kita akan menyelami lebih dalam ke berbagai aspek LangChain, menjelajahi kasus penggunaan lanjutan, dan memberikan panduan langkah demi langkah untuk membangun aplikasi Anda sendiri. Tetaplah disini!