03-Langchain Question Answering - German Embeddings.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "4521a721",
   "metadata": {},
   "source": [
    "# Huggingface "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "5bacbd9f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# from langchain.embeddings import HuggingFaceEmbeddings\n",
    "from sentence_transformers import SentenceTransformer\n",
    "# embedding_provider = HuggingFaceEmbeddings(model_name='T-Systems-onsite/cross-en-de-roberta-sentence-transformer')\n",
    "# embedding_provider = HuggingFaceEmbeddings(model_name='BAAI/bge-large-en', model_kwargs = {'device': 'cpu'})\n",
    "# embedding_provider = HuggingFaceEmbeddings(model_name='deepset/gbert-large', model_kwargs = {'device': 'cpu'})\n",
    "from langchain.embeddings import OpenAIEmbeddings, HuggingFaceEmbeddings, HuggingFaceInstructEmbeddings\n",
    "# embedding_provider = HuggingFaceEmbeddings() # OpenAIEmbeddings()\n",
    "# embedding_provider = HuggingFaceEmbeddings(model_name='sentence-transformers/distiluse-base-multilingual-cased-v1', model_kwargs = {'device': 'cpu'}) \n",
    "# embedding_provider = SentenceTransformer('sentence-transformers/distiluse-base-multilingual-cased-v1')\n",
    "\n",
    "# embedding_provider = HuggingFaceEmbeddings(model_name='T-Systems-onsite/cross-en-de-roberta-sentence-transformer', model_kwargs = {'device': 'cpu'}) \n",
    "embedding_provider = HuggingFaceEmbeddings(model_name='sentence-transformers/distiluse-base-multilingual-cased-v1', model_kwargs = {'device': 'cpu'}) \n",
    "\n",
    "# model = SentenceTransformer('sentence-transformers/LaBSE')\n",
    "# def embedding_provider(sentences):\n",
    "#     embeddings = model.encode(sentences)\n",
    "#     return embeddings\n",
    "\n",
    "# model_name = \"hkunlp/instructor-large\"\n",
    "# model_kwargs = {'device': 'cpu'}\n",
    "# encode_kwargs = {'normalize_embeddings': True}\n",
    "# embedding_provider = HuggingFaceInstructEmbeddings(\n",
    "#     model_name=model_name,\n",
    "#     model_kwargs=model_kwargs,\n",
    "#     encode_kwargs=encode_kwargs\n",
    "# )"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f4e2a3d2",
   "metadata": {},
   "source": [
    "# Translate"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "2c7a5916",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Use a pipeline as a high-level helper\n",
    "from transformers import pipeline\n",
    "\n",
    "pipe = pipeline(\"translation\", model=\"Helsinki-NLP/opus-mt-de-en\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "3284fe46",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'translation_text': 'How are you?'}]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pipe(\"Wie geht es Dir?\") "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0db9c40e",
   "metadata": {},
   "source": [
    "## ... LLM"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "8411c444",
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.llms import HuggingFacePipeline\n",
    "llm_hf = HuggingFacePipeline.from_model_id(\n",
    "    model_id=\"gpt2\",\n",
    "    task=\"text-generation\",\n",
    "    pipeline_kwargs={\"max_new_tokens\": 128},\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0a5e7b39",
   "metadata": {},
   "source": [
    "# Load"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "c2b92eb6",
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.document_loaders import WebBaseLoader\n",
    "\n",
    "loader = WebBaseLoader(\"https://de.wikipedia.org/wiki/Angela_Merkel\")\n",
    "# loader = WebBaseLoader(\"https://en.wikipedia.org/wiki/Angela_Merkel\")\n",
    "data = loader.load()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "37ca40da",
   "metadata": {},
   "source": [
    "# Split"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "689586b1",
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.text_splitter import RecursiveCharacterTextSplitter\n",
    "\n",
    "text_splitter = RecursiveCharacterTextSplitter(chunk_size = 500, chunk_overlap=0)\n",
    "all_splits = text_splitter.split_documents(data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "9eae89c8-8e23-4435-9f06-608ed0b139cb",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "page_content='Bundestagswahl 2021\\nMerkel im Jahr 2021' metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}\n"
     ]
    }
   ],
   "source": [
    "print(all_splits[196])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6623b543",
   "metadata": {},
   "source": [
    "# Store"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "9c6288f8",
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.vectorstores import Chroma\n",
    "\n",
    "vectorstore = Chroma.from_documents(documents=all_splits, embedding=embedding_provider)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0f3b5685",
   "metadata": {},
   "source": [
    "# Retrieve"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "10455f6c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='Autor Reiner Kunze getroffen zu haben, den sie als ihren Lieblingsschriftsteller bezeichnet. 1977 heiratete sie den aus Cossengrün in Thüringen stammenden Physikstudenten Ulrich Merkel; die Ehe wurde 1982 geschieden.[12][13][14]', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       " Document(page_content='Familie\\nWährend ihres Physikstudiums in Leipzig lernte Angela Kasner im Jahr 1974 bei einem Jugendaustausch mit Physikstudenten in Moskau und Leningrad ihren ersten Ehemann, den aus Cossengrün stammenden Physikstudenten Ulrich Merkel, kennen.[29] Am 3.\\xa0September 1977 wurden die beiden in Templin kirchlich getraut. 1981 trennte sich das Paar und die kinderlose Ehe wurde 1982 in Ost-Berlin geschieden.[30] Ulrich Merkel hat aus seiner zweiten Ehe einen Sohn.[29]', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       " Document(page_content='Am 9. Dezember 2015 kürte sie Time zur Person of the Year, der ersten Deutschen mit dieser Würdigung seit Willy Brandt 1970.[360] Auf dem Titelbild der Zeitschrift wurde sie als „Chancellor of the Free World“ (Kanzlerin der Freien Welt) bezeichnet.\\nAm 16. Februar 2008 wurde sie zum Ehrenmitglied von Energie Cottbus ernannt.\\nAm 2. Juni 2011 wurde im Rahmen ihres Besuchs in Singapur eine Orchideen-Züchtung der Gattung Dendrobium auf den Namen „Dendrobium Angela Merkel“ getauft.[361]', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       " Document(page_content='Im Jahr 1984[31] lernte Merkel an der Akademie der Wissenschaften der DDR in Berlin-Adlershof den Quantenchemiker Joachim Sauer kennen, den sie am 30.\\xa0Dezember 1998 heiratete. Die Ehe ist kinderlos; Sauer brachte zwei Söhne aus erster Ehe (Adrian und Daniel Sauer) mit in die Partnerschaft. Das Ehepaar zog von der Luisenstraße, in unmittelbarer Sichtweite des Reichstagsgebäudes, in eine Wohnung Am Kupfergraben in der Nähe der Humboldt-Universität um, in der es weiterhin lebt.', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'})]"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "question = \"Ist sie verheiratet, und mit wem?\" # \"What languages did Angela Merkel learn at school?\" \n",
    "docs = vectorstore.similarity_search(question)\n",
    "len(docs)\n",
    "docs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "6cea4c23",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(Document(page_content='Autor Reiner Kunze getroffen zu haben, den sie als ihren Lieblingsschriftsteller bezeichnet. 1977 heiratete sie den aus Cossengrün in Thüringen stammenden Physikstudenten Ulrich Merkel; die Ehe wurde 1982 geschieden.[12][13][14]', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       "  1.188572883605957),\n",
       " (Document(page_content='Familie\\nWährend ihres Physikstudiums in Leipzig lernte Angela Kasner im Jahr 1974 bei einem Jugendaustausch mit Physikstudenten in Moskau und Leningrad ihren ersten Ehemann, den aus Cossengrün stammenden Physikstudenten Ulrich Merkel, kennen.[29] Am 3.\\xa0September 1977 wurden die beiden in Templin kirchlich getraut. 1981 trennte sich das Paar und die kinderlose Ehe wurde 1982 in Ost-Berlin geschieden.[30] Ulrich Merkel hat aus seiner zweiten Ehe einen Sohn.[29]', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       "  1.2132515907287598),\n",
       " (Document(page_content='Am 9. Dezember 2015 kürte sie Time zur Person of the Year, der ersten Deutschen mit dieser Würdigung seit Willy Brandt 1970.[360] Auf dem Titelbild der Zeitschrift wurde sie als „Chancellor of the Free World“ (Kanzlerin der Freien Welt) bezeichnet.\\nAm 16. Februar 2008 wurde sie zum Ehrenmitglied von Energie Cottbus ernannt.\\nAm 2. Juni 2011 wurde im Rahmen ihres Besuchs in Singapur eine Orchideen-Züchtung der Gattung Dendrobium auf den Namen „Dendrobium Angela Merkel“ getauft.[361]', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       "  1.2949769496917725),\n",
       " (Document(page_content='Im Jahr 1984[31] lernte Merkel an der Akademie der Wissenschaften der DDR in Berlin-Adlershof den Quantenchemiker Joachim Sauer kennen, den sie am 30.\\xa0Dezember 1998 heiratete. Die Ehe ist kinderlos; Sauer brachte zwei Söhne aus erster Ehe (Adrian und Daniel Sauer) mit in die Partnerschaft. Das Ehepaar zog von der Luisenstraße, in unmittelbarer Sichtweite des Reichstagsgebäudes, in eine Wohnung Am Kupfergraben in der Nähe der Humboldt-Universität um, in der es weiterhin lebt.', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       "  1.3246322870254517)]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "embedding_vector = embedding_provider.embed_query(question)\n",
    "docs = vectorstore.similarity_search_by_vector_with_relevance_scores(embedding_vector, k=4)\n",
    "docs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "09efc6fc",
   "metadata": {},
   "outputs": [],
   "source": [
    "from numpy import dot\n",
    "from numpy.linalg import norm\n",
    "\n",
    "def cos_sim(a,b):\n",
    "    return dot(a, b)/(norm(a)*norm(b))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "2a8b6322",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "25 0.2803985059413118 Autor Reiner Kunze getroffen zu haben, den sie als ihren Lieblingsschriftsteller bezeichnet. 1977 heiratete sie den aus Cossengrün in Thüringen stammenden Physikstudenten Ulrich Merkel; die Ehe wurde 1982 geschieden.[12][13][14]\n",
      "36 0.2978068478652153 Familie\n",
      "Während ihres Physikstudiums in Leipzig lernte Angela Kasner im Jahr 1974 bei einem Jugendaustausch mit Physikstudenten in Moskau und Leningrad ihren ersten Ehemann, den aus Cossengrün stammenden Physikstudenten Ulrich Merkel, kennen.[29] Am 3. September 1977 wurden die beiden in Templin kirchlich getraut. 1981 trennte sich das Paar und die kinderlose Ehe wurde 1982 in Ost-Berlin geschieden.[30] Ulrich Merkel hat aus seiner zweiten Ehe einen Sohn.[29]\n"
     ]
    }
   ],
   "source": [
    "embedding_vector_question = embedding_provider.embed_query(question)\n",
    "\n",
    "for ix, d in enumerate(all_splits):\n",
    "\n",
    "    if ('Reiner Kunze getroffen zu haben' in d.page_content) or ('Physikstudiums in Leipzig' in d.page_content):\n",
    "        embedding_vector_content = embedding_provider.embed_query(d.page_content)  \n",
    "        similarity = cos_sim(embedding_vector_question, embedding_vector_content)\n",
    "        \n",
    "        print(ix, similarity, d.page_content)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c37f5fe4",
   "metadata": {},
   "source": [
    "# Generate"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "2757c1fe",
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.chains import RetrievalQA\n",
    "\n",
    "from langchain.chat_models import ChatOpenAI\n",
    "llm = ChatOpenAI(model_name=\"gpt-3.5-turbo\", temperature=0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "b47e0881",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'query': 'Ist sie verheiratet, und mit wem?',\n",
       " 'result': 'Angela Merkel ist derzeit mit Joachim Sauer verheiratet. Sie haben am 30. Dezember 1998 geheiratet. Joachim Sauer ist ein Quantenchemiker.',\n",
       " 'source_documents': [Document(page_content='Autor Reiner Kunze getroffen zu haben, den sie als ihren Lieblingsschriftsteller bezeichnet. 1977 heiratete sie den aus Cossengrün in Thüringen stammenden Physikstudenten Ulrich Merkel; die Ehe wurde 1982 geschieden.[12][13][14]', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       "  Document(page_content='Familie\\nWährend ihres Physikstudiums in Leipzig lernte Angela Kasner im Jahr 1974 bei einem Jugendaustausch mit Physikstudenten in Moskau und Leningrad ihren ersten Ehemann, den aus Cossengrün stammenden Physikstudenten Ulrich Merkel, kennen.[29] Am 3.\\xa0September 1977 wurden die beiden in Templin kirchlich getraut. 1981 trennte sich das Paar und die kinderlose Ehe wurde 1982 in Ost-Berlin geschieden.[30] Ulrich Merkel hat aus seiner zweiten Ehe einen Sohn.[29]', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       "  Document(page_content='Am 9. Dezember 2015 kürte sie Time zur Person of the Year, der ersten Deutschen mit dieser Würdigung seit Willy Brandt 1970.[360] Auf dem Titelbild der Zeitschrift wurde sie als „Chancellor of the Free World“ (Kanzlerin der Freien Welt) bezeichnet.\\nAm 16. Februar 2008 wurde sie zum Ehrenmitglied von Energie Cottbus ernannt.\\nAm 2. Juni 2011 wurde im Rahmen ihres Besuchs in Singapur eine Orchideen-Züchtung der Gattung Dendrobium auf den Namen „Dendrobium Angela Merkel“ getauft.[361]', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'}),\n",
       "  Document(page_content='Im Jahr 1984[31] lernte Merkel an der Akademie der Wissenschaften der DDR in Berlin-Adlershof den Quantenchemiker Joachim Sauer kennen, den sie am 30.\\xa0Dezember 1998 heiratete. Die Ehe ist kinderlos; Sauer brachte zwei Söhne aus erster Ehe (Adrian und Daniel Sauer) mit in die Partnerschaft. Das Ehepaar zog von der Luisenstraße, in unmittelbarer Sichtweite des Reichstagsgebäudes, in eine Wohnung Am Kupfergraben in der Nähe der Humboldt-Universität um, in der es weiterhin lebt.', metadata={'source': 'https://de.wikipedia.org/wiki/Angela_Merkel', 'title': 'Angela Merkel – Wikipedia', 'language': 'de'})]}"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "qa_chain = RetrievalQA.from_chain_type(llm,retriever=vectorstore.as_retriever(), return_source_documents=True)\n",
    "out = qa_chain({\"query\": question})\n",
    "out"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "4ca828c3",
   "metadata": {},
   "outputs": [],
   "source": [
    "# from llama_cpp import Llama\n",
    "# llm = Llama(model_path=\"/home/hfwittmann/.cache/pip/wheels/aa/ed/39/87f2ad350dbbf13b600ac744899186b8647c5323c62e2bb348\")\n",
    "# output = llm(\"Q: Name the planets in the solar system? A: \", max_tokens=32, stop=[\"Q:\", \"\\n\"], echo=True)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "01637de0",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "dbdfdcf6",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}