OKT_colab.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "toc_visible": true,
      "mount_file_id": "1i7H7lcigB4Rb-lAfKzYHbkL9WQLtvfrN",
      "authorship_tag": "ABX9TyMDYG6jMSOj+sH9P8tXBDUp",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/hooooooni/mHealthApp-review-textmining_colab/blob/main/OKT_colab.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 1. 가상환경 세팅"
      ],
      "metadata": {
        "id": "5WrUbtiSNH42"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "구글 코랩에서 기본적으로 제공하고 있는 패키지의 버전들은 해당 프로젝트를 import 하는 데에 있어 적합하지 않아 코랩에서 제공하는 Conda 가상환경을 구축해야 합니다."
      ],
      "metadata": {
        "id": "S517A_McfGd0"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 1) Colab 가상환경 구축"
      ],
      "metadata": {
        "id": "CzzJ2wOmNduO"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install -q condacolab\n",
        "import condacolab\n",
        "condacolab.install()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "AmzfmuAKm459",
        "outputId": "fbc4def9-dd9c-4522-c548-e76852065867"
      },
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\u001b[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv\u001b[0m\u001b[33m\n",
            "\u001b[0m✨🍰✨ Everything looks OK!\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "import condacolab\n",
        "condacolab.check()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "QfePQrxtm-hB",
        "outputId": "e196961e-9ab3-4005-8b3e-3a22b549a84c"
      },
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "✨🍰✨ Everything looks OK!\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!conda install openmm\n",
        "\n",
        "!conda env update -n base -f environment.yml"
      ],
      "metadata": {
        "id": "9aLRUXzWnBbK"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "앞으로 사용할 패키지를 설치하는 과정입니다."
      ],
      "metadata": {
        "id": "ZgXWk8dGfZN6"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "! pip install numpy\n",
        "! pip install pandas\n",
        "! pip install konlpy\n",
        "! pip install tqdm\n",
        "! pip install re\n",
        "! pip install gensim\n",
        "! pip install pyLDAvis"
      ],
      "metadata": {
        "id": "PrvomgjUnint"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 2) 패키지 import"
      ],
      "metadata": {
        "id": "68rwkDTmNZV1"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import numpy as np\n",
        "import pandas as pd\n",
        "import warnings\n",
        "warnings.filterwarnings(action='ignore')\n",
        "from konlpy.tag import Okt  # 변경: Mecab에서 Okt로\n",
        "okt = Okt()\n",
        "from tqdm import tqdm\n",
        "import re\n",
        "from gensim import corpora\n",
        "import gensim\n",
        "import pyLDAvis.gensim_models\n",
        "from collections import Counter"
      ],
      "metadata": {
        "id": "Ejq5DaZVnnIl"
      },
      "execution_count": 5,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 3) 리뷰 데이터 불러오기"
      ],
      "metadata": {
        "id": "uBwKHTFWNkli"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "본인의 구글 드라이브에 기본 파일들을 옮겨 두었고, 마운트 해두었다는 가정 하에 밑의 코드들은 작동합니다.<br>\n",
        "코랩 왼쪽에 보시면 폴더 표시가 있는데 폴더에 들어가셔서 마운트가 된 것을 꼭 확인하세요!\n",
        "\n",
        "그 다음, data가 있는 곳에 우클릭을 하시고 '경로 복사'를 누르신 후 pd.read_excel()의 괄호 안 경로를 수정해 주시면 됩니다."
      ],
      "metadata": {
        "id": "ncOeGPjNffL7"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "dataset_raw = pd.read_excel(\"/content/drive/MyDrive/dongguk/dataset_raw.xlsx\") #본인 경로로 수정\n",
        "dataset_raw.head()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 348
        },
        "id": "M9tjZFjwn1NW",
        "outputId": "26b562cb-5369-4e5c-b6b2-cb64fc3a10c9"
      },
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                  app                                         review  rating\n",
              "0  다리 근육 운동 – 4주 프로그램              다른 P4P어플과 연동 하면 기존에 있던 스케쥴이 싹 사라짐       1\n",
              "1  다리 근육 운동 – 4주 프로그램                                              굿       5\n",
              "2  다리 근육 운동 – 4주 프로그램                                          최고입니디       5\n",
              "3  다리 근육 운동 – 4주 프로그램  아무곳에서나 보고 억지로라도 운동할수 있어서 너무 좋습니다. 감사히 잘 쓸께요.😂       5\n",
              "4  다리 근육 운동 – 4주 프로그램                                              ᆞ       5"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-aed7dea6-75ee-451b-8b67-c8e00c27021b\" class=\"colab-df-container\">\n",
              "    <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>app</th>\n",
              "      <th>review</th>\n",
              "      <th>rating</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>다른 P4P어플과 연동 하면 기존에 있던 스케쥴이 싹 사라짐</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>굿</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>최고입니디</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>아무곳에서나 보고 억지로라도 운동할수 있어서 너무 좋습니다. 감사히 잘 쓸께요.😂</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>ᆞ</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "    <div class=\"colab-df-buttons\">\n",
              "\n",
              "  <div class=\"colab-df-container\">\n",
              "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-aed7dea6-75ee-451b-8b67-c8e00c27021b')\"\n",
              "            title=\"Convert this dataframe to an interactive table.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
              "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
              "  </svg>\n",
              "    </button>\n",
              "\n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    .colab-df-buttons div {\n",
              "      margin-bottom: 4px;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "    <script>\n",
              "      const buttonEl =\n",
              "        document.querySelector('#df-aed7dea6-75ee-451b-8b67-c8e00c27021b button.colab-df-convert');\n",
              "      buttonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "      async function convertToInteractive(key) {\n",
              "        const element = document.querySelector('#df-aed7dea6-75ee-451b-8b67-c8e00c27021b');\n",
              "        const dataTable =\n",
              "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                    [key], {});\n",
              "        if (!dataTable) return;\n",
              "\n",
              "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "          + ' to learn more about interactive tables.';\n",
              "        element.innerHTML = '';\n",
              "        dataTable['output_type'] = 'display_data';\n",
              "        await google.colab.output.renderOutput(dataTable, element);\n",
              "        const docLink = document.createElement('div');\n",
              "        docLink.innerHTML = docLinkHtml;\n",
              "        element.appendChild(docLink);\n",
              "      }\n",
              "    </script>\n",
              "  </div>\n",
              "\n",
              "\n",
              "<div id=\"df-ee85b687-0831-4175-aa30-b84ec580be76\">\n",
              "  <button class=\"colab-df-quickchart\" onclick=\"quickchart('df-ee85b687-0831-4175-aa30-b84ec580be76')\"\n",
              "            title=\"Suggest charts.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "<svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "     width=\"24px\">\n",
              "    <g>\n",
              "        <path d=\"M19 3H5c-1.1 0-2 .9-2 2v14c0 1.1.9 2 2 2h14c1.1 0 2-.9 2-2V5c0-1.1-.9-2-2-2zM9 17H7v-7h2v7zm4 0h-2V7h2v10zm4 0h-2v-4h2v4z\"/>\n",
              "    </g>\n",
              "</svg>\n",
              "  </button>\n",
              "\n",
              "<style>\n",
              "  .colab-df-quickchart {\n",
              "      --bg-color: #E8F0FE;\n",
              "      --fill-color: #1967D2;\n",
              "      --hover-bg-color: #E2EBFA;\n",
              "      --hover-fill-color: #174EA6;\n",
              "      --disabled-fill-color: #AAA;\n",
              "      --disabled-bg-color: #DDD;\n",
              "  }\n",
              "\n",
              "  [theme=dark] .colab-df-quickchart {\n",
              "      --bg-color: #3B4455;\n",
              "      --fill-color: #D2E3FC;\n",
              "      --hover-bg-color: #434B5C;\n",
              "      --hover-fill-color: #FFFFFF;\n",
              "      --disabled-bg-color: #3B4455;\n",
              "      --disabled-fill-color: #666;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart {\n",
              "    background-color: var(--bg-color);\n",
              "    border: none;\n",
              "    border-radius: 50%;\n",
              "    cursor: pointer;\n",
              "    display: none;\n",
              "    fill: var(--fill-color);\n",
              "    height: 32px;\n",
              "    padding: 0;\n",
              "    width: 32px;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart:hover {\n",
              "    background-color: var(--hover-bg-color);\n",
              "    box-shadow: 0 1px 2px rgba(60, 64, 67, 0.3), 0 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "    fill: var(--button-hover-fill-color);\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart-complete:disabled,\n",
              "  .colab-df-quickchart-complete:disabled:hover {\n",
              "    background-color: var(--disabled-bg-color);\n",
              "    fill: var(--disabled-fill-color);\n",
              "    box-shadow: none;\n",
              "  }\n",
              "\n",
              "  .colab-df-spinner {\n",
              "    border: 2px solid var(--fill-color);\n",
              "    border-color: transparent;\n",
              "    border-bottom-color: var(--fill-color);\n",
              "    animation:\n",
              "      spin 1s steps(1) infinite;\n",
              "  }\n",
              "\n",
              "  @keyframes spin {\n",
              "    0% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "      border-left-color: var(--fill-color);\n",
              "    }\n",
              "    20% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    30% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    40% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    60% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    80% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "    90% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "  }\n",
              "</style>\n",
              "\n",
              "  <script>\n",
              "    async function quickchart(key) {\n",
              "      const quickchartButtonEl =\n",
              "        document.querySelector('#' + key + ' button');\n",
              "      quickchartButtonEl.disabled = true;  // To prevent multiple clicks.\n",
              "      quickchartButtonEl.classList.add('colab-df-spinner');\n",
              "      try {\n",
              "        const charts = await google.colab.kernel.invokeFunction(\n",
              "            'suggestCharts', [key], {});\n",
              "      } catch (error) {\n",
              "        console.error('Error during call to suggestCharts:', error);\n",
              "      }\n",
              "      quickchartButtonEl.classList.remove('colab-df-spinner');\n",
              "      quickchartButtonEl.classList.add('colab-df-quickchart-complete');\n",
              "    }\n",
              "    (() => {\n",
              "      let quickchartButtonEl =\n",
              "        document.querySelector('#df-ee85b687-0831-4175-aa30-b84ec580be76 button');\n",
              "      quickchartButtonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "    })();\n",
              "  </script>\n",
              "</div>\n",
              "    </div>\n",
              "  </div>\n"
            ]
          },
          "metadata": {},
          "execution_count": 6
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "* pd.read_excel(’엑셀 파일 디렉토리’) : 엑셀 파일 가져오기 함수\n",
        "\n",
        "* head() : 상위 5행을 출력"
      ],
      "metadata": {
        "id": "7aTLjWzPbLPj"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "위의 과정에서는 dataset_raw는 시트 이름을 지정하고, head() 함수를 통해 불러온 시트가 잘 불러와졌나 head 함수를 통해 확인해 보았습니다."
      ],
      "metadata": {
        "id": "NL6E1vcgbNqn"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 4) 데이터 탐색"
      ],
      "metadata": {
        "id": "58M0gV9_LL-2"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "결측치 존재 여부, 데이터 타입, 데이터 개수를 확인"
      ],
      "metadata": {
        "id": "Q_KXK6gBbP_k"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "dataset_raw.info()"
      ],
      "metadata": {
        "id": "Geuf5AGmnyki",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "52f6217f-43f8-431e-ccc6-4e0f71ff8ff8"
      },
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "<class 'pandas.core.frame.DataFrame'>\n",
            "RangeIndex: 540076 entries, 0 to 540075\n",
            "Data columns (total 3 columns):\n",
            " #   Column  Non-Null Count   Dtype \n",
            "---  ------  --------------   ----- \n",
            " 0   app     540076 non-null  object\n",
            " 1   review  540074 non-null  object\n",
            " 2   rating  540076 non-null  int64 \n",
            "dtypes: int64(1), object(2)\n",
            "memory usage: 12.4+ MB\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "* info() : 데이터의 정보를 출력"
      ],
      "metadata": {
        "id": "kITlfjPpbRfI"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "행과 열의 크기, 컬럼명, 컬럼을 구성하는 값의 자료형 등을 출력했습니다.\n",
        "\n",
        "보통 이 절차를 통해 결측치 존재 여부, 데이터 타입, 데이터 개수 등을 확인합니다."
      ],
      "metadata": {
        "id": "5Qcwl3PWbUuZ"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 2. 데이터 전처리\n"
      ],
      "metadata": {
        "id": "ArnlKAkzlRRN"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 1) 결측치 확인"
      ],
      "metadata": {
        "id": "KBTmfNBLNsYw"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "dataset_raw.isnull().sum()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "mmcv2HUULUgK",
        "outputId": "ff3c2fc6-76cd-47f8-f908-af60d4b4424d"
      },
      "execution_count": 8,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "app       0\n",
              "review    2\n",
              "rating    0\n",
              "dtype: int64"
            ]
          },
          "metadata": {},
          "execution_count": 8
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "* isnull() : 데이터프레임의 각 요소(element)가 결측값(null 또는 NaN)인지 여부를 나타내는 Boolean 값을 가지는 동일한 모양의 데이터프레임을 반환한다. 결측값이면 True, 그렇지 않으면 False가 된다.\n",
        "\n",
        "* sum() : 각 열의 결측값(True의 개수)을 계산하여 열별로 합산합니다. 결과는 각 열에 대한 결측값의 개수를 나타내는 시리즈(Series)나 데이터프레임이 된다."
      ],
      "metadata": {
        "id": "1mBC0scsbYYw"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "불러온 데이터에 결측치가 있는지 확인해 보았습니다."
      ],
      "metadata": {
        "id": "tWGpW8RObbV1"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 3) 결측치 제거"
      ],
      "metadata": {
        "id": "-yEaFBQDNunx"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# axis = 0: 결측치 포함한 모든 행 제거\n",
        "dataset = dataset_raw.dropna(axis = 0)\n",
        "dataset.isnull().sum()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "wqFS0KpgLf-0",
        "outputId": "24f86588-1563-4f41-b0cf-3a534de592d0"
      },
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "app       0\n",
              "review    0\n",
              "rating    0\n",
              "dtype: int64"
            ]
          },
          "metadata": {},
          "execution_count": 9
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "* dropna() : 결측값을 제거하는 메소드\n",
        "\n",
        "* axis=0의 의미 ⇒ axis 값이 0일 경우 행 방향으로 작업을 수행하라는 의미이다. 따라서 행에 대해 결측값이 있는지 확인하고 결측값이 있는 행을 제거한다."
      ],
      "metadata": {
        "id": "V2kX6lnebgiA"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "위에서 결측치가 있는 것을 확인했기 때문에 결측치를 포함한 모든 행을 제거하고 올바르게 제거가 되었는지 확인했습니다."
      ],
      "metadata": {
        "id": "Q734rOF1bi2l"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 4) 분석에서 제외할 앱 리뷰 삭제"
      ],
      "metadata": {
        "id": "uorLPseBNw_C"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "미리 만들어 둔 제외할 앱 리스트를 로드합니다.\n",
        "\n",
        "로드 후, 제대로 불러와졌는지 head 함수를 통해 확인합니다."
      ],
      "metadata": {
        "id": "uIJ-pFOobkuo"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# 제외할 앱 리스트 Load\n",
        "remove_app_list = pd.read_excel('/content/drive/MyDrive/dongguk/remove_app_list.xlsx') #본인 경로로 수정\n",
        "remove_app_list.head()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 262
        },
        "id": "2z_0EjYYLi2u",
        "outputId": "e7b003c4-183a-4233-c8b2-0b96318512a3"
      },
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                             app\n",
              "0      캐시슬라이드 스텝업 - 걸음에 포인트를 더하다\n",
              "1                   만보기 - 걸음 계산기\n",
              "2  딱 1주일 다이어트 습관 : 요요없는 건강한 다이어트\n",
              "3                  타임캐시 – 돈버는 어플\n",
              "4                    돈버는어플 - 캐시런"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-1cc076fe-a407-48ab-ab47-d3839bb2b36b\" class=\"colab-df-container\">\n",
              "    <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>app</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>캐시슬라이드 스텝업 - 걸음에 포인트를 더하다</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>만보기 - 걸음 계산기</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>딱 1주일 다이어트 습관 : 요요없는 건강한 다이어트</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>타임캐시 – 돈버는 어플</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>돈버는어플 - 캐시런</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "    <div class=\"colab-df-buttons\">\n",
              "\n",
              "  <div class=\"colab-df-container\">\n",
              "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-1cc076fe-a407-48ab-ab47-d3839bb2b36b')\"\n",
              "            title=\"Convert this dataframe to an interactive table.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
              "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
              "  </svg>\n",
              "    </button>\n",
              "\n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    .colab-df-buttons div {\n",
              "      margin-bottom: 4px;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "    <script>\n",
              "      const buttonEl =\n",
              "        document.querySelector('#df-1cc076fe-a407-48ab-ab47-d3839bb2b36b button.colab-df-convert');\n",
              "      buttonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "      async function convertToInteractive(key) {\n",
              "        const element = document.querySelector('#df-1cc076fe-a407-48ab-ab47-d3839bb2b36b');\n",
              "        const dataTable =\n",
              "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                    [key], {});\n",
              "        if (!dataTable) return;\n",
              "\n",
              "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "          + ' to learn more about interactive tables.';\n",
              "        element.innerHTML = '';\n",
              "        dataTable['output_type'] = 'display_data';\n",
              "        await google.colab.output.renderOutput(dataTable, element);\n",
              "        const docLink = document.createElement('div');\n",
              "        docLink.innerHTML = docLinkHtml;\n",
              "        element.appendChild(docLink);\n",
              "      }\n",
              "    </script>\n",
              "  </div>\n",
              "\n",
              "\n",
              "<div id=\"df-77d28982-18aa-4b2a-a8d5-ecb74174501c\">\n",
              "  <button class=\"colab-df-quickchart\" onclick=\"quickchart('df-77d28982-18aa-4b2a-a8d5-ecb74174501c')\"\n",
              "            title=\"Suggest charts.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "<svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "     width=\"24px\">\n",
              "    <g>\n",
              "        <path d=\"M19 3H5c-1.1 0-2 .9-2 2v14c0 1.1.9 2 2 2h14c1.1 0 2-.9 2-2V5c0-1.1-.9-2-2-2zM9 17H7v-7h2v7zm4 0h-2V7h2v10zm4 0h-2v-4h2v4z\"/>\n",
              "    </g>\n",
              "</svg>\n",
              "  </button>\n",
              "\n",
              "<style>\n",
              "  .colab-df-quickchart {\n",
              "      --bg-color: #E8F0FE;\n",
              "      --fill-color: #1967D2;\n",
              "      --hover-bg-color: #E2EBFA;\n",
              "      --hover-fill-color: #174EA6;\n",
              "      --disabled-fill-color: #AAA;\n",
              "      --disabled-bg-color: #DDD;\n",
              "  }\n",
              "\n",
              "  [theme=dark] .colab-df-quickchart {\n",
              "      --bg-color: #3B4455;\n",
              "      --fill-color: #D2E3FC;\n",
              "      --hover-bg-color: #434B5C;\n",
              "      --hover-fill-color: #FFFFFF;\n",
              "      --disabled-bg-color: #3B4455;\n",
              "      --disabled-fill-color: #666;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart {\n",
              "    background-color: var(--bg-color);\n",
              "    border: none;\n",
              "    border-radius: 50%;\n",
              "    cursor: pointer;\n",
              "    display: none;\n",
              "    fill: var(--fill-color);\n",
              "    height: 32px;\n",
              "    padding: 0;\n",
              "    width: 32px;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart:hover {\n",
              "    background-color: var(--hover-bg-color);\n",
              "    box-shadow: 0 1px 2px rgba(60, 64, 67, 0.3), 0 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "    fill: var(--button-hover-fill-color);\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart-complete:disabled,\n",
              "  .colab-df-quickchart-complete:disabled:hover {\n",
              "    background-color: var(--disabled-bg-color);\n",
              "    fill: var(--disabled-fill-color);\n",
              "    box-shadow: none;\n",
              "  }\n",
              "\n",
              "  .colab-df-spinner {\n",
              "    border: 2px solid var(--fill-color);\n",
              "    border-color: transparent;\n",
              "    border-bottom-color: var(--fill-color);\n",
              "    animation:\n",
              "      spin 1s steps(1) infinite;\n",
              "  }\n",
              "\n",
              "  @keyframes spin {\n",
              "    0% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "      border-left-color: var(--fill-color);\n",
              "    }\n",
              "    20% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    30% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    40% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    60% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    80% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "    90% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "  }\n",
              "</style>\n",
              "\n",
              "  <script>\n",
              "    async function quickchart(key) {\n",
              "      const quickchartButtonEl =\n",
              "        document.querySelector('#' + key + ' button');\n",
              "      quickchartButtonEl.disabled = true;  // To prevent multiple clicks.\n",
              "      quickchartButtonEl.classList.add('colab-df-spinner');\n",
              "      try {\n",
              "        const charts = await google.colab.kernel.invokeFunction(\n",
              "            'suggestCharts', [key], {});\n",
              "      } catch (error) {\n",
              "        console.error('Error during call to suggestCharts:', error);\n",
              "      }\n",
              "      quickchartButtonEl.classList.remove('colab-df-spinner');\n",
              "      quickchartButtonEl.classList.add('colab-df-quickchart-complete');\n",
              "    }\n",
              "    (() => {\n",
              "      let quickchartButtonEl =\n",
              "        document.querySelector('#df-77d28982-18aa-4b2a-a8d5-ecb74174501c button');\n",
              "      quickchartButtonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "    })();\n",
              "  </script>\n",
              "</div>\n",
              "    </div>\n",
              "  </div>\n"
            ]
          },
          "metadata": {},
          "execution_count": 10
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "분석에서 제외할 앱에 해당되는 리뷰는 분석에서 제외 시킵니다.\n",
        "\n",
        "예를 들어, 캐시워크와 같은 경우에는 현재 프로젝트에서 진행하는 사용자 경험과는 거리가 먼 리뷰가 많습니다. 또한, 보상형 만보기 앱 리뷰는 대부분 포인트 적립 에러, 상품 결제 에러와 같은 보상이나 기술적 에러에 대한 리뷰가 많아 본 프로젝트의 목적과는 거리가 멀어 제거가 필요합니다."
      ],
      "metadata": {
        "id": "9m7cge6kbpEu"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**코드 분석**\n",
        "\n",
        "위의 코드에서는 for문과 try문을 활용하여 'app' 열의 값이 **`remove_app`**이 아닌 행만 선택하여 새로운 **`dataset`**으로 할당합니다. 즉, 'app' 열의 값이 **`remove_app`**인 행을 제거합니다.\n",
        "\n",
        "except의 경우, 즉 예외가 실행되면 아무 작업도 수행하지 않고 넘어갑니다. (제거할 앱이 아니기 때문)"
      ],
      "metadata": {
        "id": "MXX7KU1Ibq8w"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "for remove_app in remove_app_list['app']:\n",
        "    try:\n",
        "        dataset = dataset[dataset['app'] != remove_app]\n",
        "    except:\n",
        "        pass"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "QkqBtOTNL0fE",
        "outputId": "61911e25-408a-4bd3-d0e2-67c9b001ffcb"
      },
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "현재 데이터에는 인덱스가 포함되어 있어 인덱스를 초기화합니다."
      ],
      "metadata": {
        "id": "AQhDt7V5bt0H"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "dataset.reset_index(drop = True, inplace=True)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "kJU-DpOhL2yd",
        "outputId": "d8147ea1-81a2-4b89-a457-ea92bf2a0762"
      },
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "선별된 리뷰를 확인합니다. 아래의 약 26만 개의 리뷰가 1차적으로 선별되었습니다."
      ],
      "metadata": {
        "id": "Oxj6SbxPbvj0"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "dataset"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 601
        },
        "id": "iB2a9F3YL4Yg",
        "outputId": "6c75bcd8-48c0-4dc5-e36b-5595278caac8"
      },
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                     app  \\\n",
              "0                     다리 근육 운동 – 4주 프로그램   \n",
              "1                     다리 근육 운동 – 4주 프로그램   \n",
              "2                     다리 근육 운동 – 4주 프로그램   \n",
              "3                     다리 근육 운동 – 4주 프로그램   \n",
              "4                     다리 근육 운동 – 4주 프로그램   \n",
              "...                                  ...   \n",
              "264064  코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~   \n",
              "264065  코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~   \n",
              "264066  코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~   \n",
              "264067  코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~   \n",
              "264068  코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~   \n",
              "\n",
              "                                                   review  rating  \n",
              "0                       다른 P4P어플과 연동 하면 기존에 있던 스케쥴이 싹 사라짐       1  \n",
              "1                                                       굿       5  \n",
              "2                                                   최고입니디       5  \n",
              "3           아무곳에서나 보고 억지로라도 운동할수 있어서 너무 좋습니다. 감사히 잘 쓸께요.😂       5  \n",
              "4                                                       ᆞ       5  \n",
              "...                                                   ...     ...  \n",
              "264064  설치하고 로그인 하니 HTTP 500 Internal server error 가 뜨...       2  \n",
              "264065  위젯도 만들어주면 좋은데...... 제가 다른 걷기 위젯으로 사용 하는 앱이 있는데...       3  \n",
              "264066           이거 erc223 기반이라는데 토큰이 현매 이더리움위에 올라가져 있나요?       5  \n",
              "264067                                           좋은 만보기네요       5  \n",
              "264068                                     좋군요~디자인이 예쁘네요~       5  \n",
              "\n",
              "[264069 rows x 3 columns]"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-ac3bb376-bdfe-4c0a-ab34-43622ebd5030\" class=\"colab-df-container\">\n",
              "    <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>app</th>\n",
              "      <th>review</th>\n",
              "      <th>rating</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>다른 P4P어플과 연동 하면 기존에 있던 스케쥴이 싹 사라짐</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>굿</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>최고입니디</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>아무곳에서나 보고 억지로라도 운동할수 있어서 너무 좋습니다. 감사히 잘 쓸께요.😂</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>ᆞ</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>...</th>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>264064</th>\n",
              "      <td>코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~</td>\n",
              "      <td>설치하고 로그인 하니 HTTP 500 Internal server error 가 뜨...</td>\n",
              "      <td>2</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>264065</th>\n",
              "      <td>코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~</td>\n",
              "      <td>위젯도 만들어주면 좋은데...... 제가 다른 걷기 위젯으로 사용 하는 앱이 있는데...</td>\n",
              "      <td>3</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>264066</th>\n",
              "      <td>코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~</td>\n",
              "      <td>이거 erc223 기반이라는데 토큰이 현매 이더리움위에 올라가져 있나요?</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>264067</th>\n",
              "      <td>코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~</td>\n",
              "      <td>좋은 만보기네요</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>264068</th>\n",
              "      <td>코인스텝 - 돈버는 만보기, 건강과 캐시를 동시에 챙기자~</td>\n",
              "      <td>좋군요~디자인이 예쁘네요~</td>\n",
              "      <td>5</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "<p>264069 rows × 3 columns</p>\n",
              "</div>\n",
              "    <div class=\"colab-df-buttons\">\n",
              "\n",
              "  <div class=\"colab-df-container\">\n",
              "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-ac3bb376-bdfe-4c0a-ab34-43622ebd5030')\"\n",
              "            title=\"Convert this dataframe to an interactive table.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
              "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
              "  </svg>\n",
              "    </button>\n",
              "\n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    .colab-df-buttons div {\n",
              "      margin-bottom: 4px;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "    <script>\n",
              "      const buttonEl =\n",
              "        document.querySelector('#df-ac3bb376-bdfe-4c0a-ab34-43622ebd5030 button.colab-df-convert');\n",
              "      buttonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "      async function convertToInteractive(key) {\n",
              "        const element = document.querySelector('#df-ac3bb376-bdfe-4c0a-ab34-43622ebd5030');\n",
              "        const dataTable =\n",
              "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                    [key], {});\n",
              "        if (!dataTable) return;\n",
              "\n",
              "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "          + ' to learn more about interactive tables.';\n",
              "        element.innerHTML = '';\n",
              "        dataTable['output_type'] = 'display_data';\n",
              "        await google.colab.output.renderOutput(dataTable, element);\n",
              "        const docLink = document.createElement('div');\n",
              "        docLink.innerHTML = docLinkHtml;\n",
              "        element.appendChild(docLink);\n",
              "      }\n",
              "    </script>\n",
              "  </div>\n",
              "\n",
              "\n",
              "<div id=\"df-b7f31473-90ab-4e7a-b611-d1fb9ca75242\">\n",
              "  <button class=\"colab-df-quickchart\" onclick=\"quickchart('df-b7f31473-90ab-4e7a-b611-d1fb9ca75242')\"\n",
              "            title=\"Suggest charts.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "<svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "     width=\"24px\">\n",
              "    <g>\n",
              "        <path d=\"M19 3H5c-1.1 0-2 .9-2 2v14c0 1.1.9 2 2 2h14c1.1 0 2-.9 2-2V5c0-1.1-.9-2-2-2zM9 17H7v-7h2v7zm4 0h-2V7h2v10zm4 0h-2v-4h2v4z\"/>\n",
              "    </g>\n",
              "</svg>\n",
              "  </button>\n",
              "\n",
              "<style>\n",
              "  .colab-df-quickchart {\n",
              "      --bg-color: #E8F0FE;\n",
              "      --fill-color: #1967D2;\n",
              "      --hover-bg-color: #E2EBFA;\n",
              "      --hover-fill-color: #174EA6;\n",
              "      --disabled-fill-color: #AAA;\n",
              "      --disabled-bg-color: #DDD;\n",
              "  }\n",
              "\n",
              "  [theme=dark] .colab-df-quickchart {\n",
              "      --bg-color: #3B4455;\n",
              "      --fill-color: #D2E3FC;\n",
              "      --hover-bg-color: #434B5C;\n",
              "      --hover-fill-color: #FFFFFF;\n",
              "      --disabled-bg-color: #3B4455;\n",
              "      --disabled-fill-color: #666;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart {\n",
              "    background-color: var(--bg-color);\n",
              "    border: none;\n",
              "    border-radius: 50%;\n",
              "    cursor: pointer;\n",
              "    display: none;\n",
              "    fill: var(--fill-color);\n",
              "    height: 32px;\n",
              "    padding: 0;\n",
              "    width: 32px;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart:hover {\n",
              "    background-color: var(--hover-bg-color);\n",
              "    box-shadow: 0 1px 2px rgba(60, 64, 67, 0.3), 0 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "    fill: var(--button-hover-fill-color);\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart-complete:disabled,\n",
              "  .colab-df-quickchart-complete:disabled:hover {\n",
              "    background-color: var(--disabled-bg-color);\n",
              "    fill: var(--disabled-fill-color);\n",
              "    box-shadow: none;\n",
              "  }\n",
              "\n",
              "  .colab-df-spinner {\n",
              "    border: 2px solid var(--fill-color);\n",
              "    border-color: transparent;\n",
              "    border-bottom-color: var(--fill-color);\n",
              "    animation:\n",
              "      spin 1s steps(1) infinite;\n",
              "  }\n",
              "\n",
              "  @keyframes spin {\n",
              "    0% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "      border-left-color: var(--fill-color);\n",
              "    }\n",
              "    20% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    30% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    40% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    60% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    80% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "    90% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "  }\n",
              "</style>\n",
              "\n",
              "  <script>\n",
              "    async function quickchart(key) {\n",
              "      const quickchartButtonEl =\n",
              "        document.querySelector('#' + key + ' button');\n",
              "      quickchartButtonEl.disabled = true;  // To prevent multiple clicks.\n",
              "      quickchartButtonEl.classList.add('colab-df-spinner');\n",
              "      try {\n",
              "        const charts = await google.colab.kernel.invokeFunction(\n",
              "            'suggestCharts', [key], {});\n",
              "      } catch (error) {\n",
              "        console.error('Error during call to suggestCharts:', error);\n",
              "      }\n",
              "      quickchartButtonEl.classList.remove('colab-df-spinner');\n",
              "      quickchartButtonEl.classList.add('colab-df-quickchart-complete');\n",
              "    }\n",
              "    (() => {\n",
              "      let quickchartButtonEl =\n",
              "        document.querySelector('#df-b7f31473-90ab-4e7a-b611-d1fb9ca75242 button');\n",
              "      quickchartButtonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "    })();\n",
              "  </script>\n",
              "</div>\n",
              "    </div>\n",
              "  </div>\n"
            ]
          },
          "metadata": {},
          "execution_count": 13
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "해당 프로젝트의 목적과 맞지 않는 앱은 삭제하고자 하는데, 미리 로드해 둔 remove_app_list(분석 제외 앱 리스트)를 활용해 ‘app’ 열의 값이 remove_app인 행을 제거했습니다."
      ],
      "metadata": {
        "id": "yQ_XpIpnbzF3"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 5) 전처리용 Dictionary 불러오기"
      ],
      "metadata": {
        "id": "d5ERfvhZL9iO"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "불용어 리스트를 불러옵니다. (방법은 지금까지 한 방법과 동일합니다.)"
      ],
      "metadata": {
        "id": "_xUMxGuGb1FQ"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "stopword_list = pd.read_excel('/content/drive/MyDrive/dongguk/stopword_list.xlsx') #본인 경로로 수정\n",
        "stopword_list.head()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 262
        },
        "id": "fd0fb081MBRR",
        "outputId": "bba44e27-cf76-42f4-f77f-d945bdb24cb5"
      },
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "  stopword\n",
              "0     가까스로\n",
              "1       가량\n",
              "2       가령\n",
              "3       가민\n",
              "4    가민커넥트"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-63d4303c-2fd0-4438-8b08-78921554d80d\" class=\"colab-df-container\">\n",
              "    <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>stopword</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>가까스로</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>가량</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>가령</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>가민</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>가민커넥트</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "    <div class=\"colab-df-buttons\">\n",
              "\n",
              "  <div class=\"colab-df-container\">\n",
              "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-63d4303c-2fd0-4438-8b08-78921554d80d')\"\n",
              "            title=\"Convert this dataframe to an interactive table.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
              "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
              "  </svg>\n",
              "    </button>\n",
              "\n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    .colab-df-buttons div {\n",
              "      margin-bottom: 4px;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "    <script>\n",
              "      const buttonEl =\n",
              "        document.querySelector('#df-63d4303c-2fd0-4438-8b08-78921554d80d button.colab-df-convert');\n",
              "      buttonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "      async function convertToInteractive(key) {\n",
              "        const element = document.querySelector('#df-63d4303c-2fd0-4438-8b08-78921554d80d');\n",
              "        const dataTable =\n",
              "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                    [key], {});\n",
              "        if (!dataTable) return;\n",
              "\n",
              "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "          + ' to learn more about interactive tables.';\n",
              "        element.innerHTML = '';\n",
              "        dataTable['output_type'] = 'display_data';\n",
              "        await google.colab.output.renderOutput(dataTable, element);\n",
              "        const docLink = document.createElement('div');\n",
              "        docLink.innerHTML = docLinkHtml;\n",
              "        element.appendChild(docLink);\n",
              "      }\n",
              "    </script>\n",
              "  </div>\n",
              "\n",
              "\n",
              "<div id=\"df-2ea7d9e2-6d3a-4a9f-8c50-20ec79146ff0\">\n",
              "  <button class=\"colab-df-quickchart\" onclick=\"quickchart('df-2ea7d9e2-6d3a-4a9f-8c50-20ec79146ff0')\"\n",
              "            title=\"Suggest charts.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "<svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "     width=\"24px\">\n",
              "    <g>\n",
              "        <path d=\"M19 3H5c-1.1 0-2 .9-2 2v14c0 1.1.9 2 2 2h14c1.1 0 2-.9 2-2V5c0-1.1-.9-2-2-2zM9 17H7v-7h2v7zm4 0h-2V7h2v10zm4 0h-2v-4h2v4z\"/>\n",
              "    </g>\n",
              "</svg>\n",
              "  </button>\n",
              "\n",
              "<style>\n",
              "  .colab-df-quickchart {\n",
              "      --bg-color: #E8F0FE;\n",
              "      --fill-color: #1967D2;\n",
              "      --hover-bg-color: #E2EBFA;\n",
              "      --hover-fill-color: #174EA6;\n",
              "      --disabled-fill-color: #AAA;\n",
              "      --disabled-bg-color: #DDD;\n",
              "  }\n",
              "\n",
              "  [theme=dark] .colab-df-quickchart {\n",
              "      --bg-color: #3B4455;\n",
              "      --fill-color: #D2E3FC;\n",
              "      --hover-bg-color: #434B5C;\n",
              "      --hover-fill-color: #FFFFFF;\n",
              "      --disabled-bg-color: #3B4455;\n",
              "      --disabled-fill-color: #666;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart {\n",
              "    background-color: var(--bg-color);\n",
              "    border: none;\n",
              "    border-radius: 50%;\n",
              "    cursor: pointer;\n",
              "    display: none;\n",
              "    fill: var(--fill-color);\n",
              "    height: 32px;\n",
              "    padding: 0;\n",
              "    width: 32px;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart:hover {\n",
              "    background-color: var(--hover-bg-color);\n",
              "    box-shadow: 0 1px 2px rgba(60, 64, 67, 0.3), 0 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "    fill: var(--button-hover-fill-color);\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart-complete:disabled,\n",
              "  .colab-df-quickchart-complete:disabled:hover {\n",
              "    background-color: var(--disabled-bg-color);\n",
              "    fill: var(--disabled-fill-color);\n",
              "    box-shadow: none;\n",
              "  }\n",
              "\n",
              "  .colab-df-spinner {\n",
              "    border: 2px solid var(--fill-color);\n",
              "    border-color: transparent;\n",
              "    border-bottom-color: var(--fill-color);\n",
              "    animation:\n",
              "      spin 1s steps(1) infinite;\n",
              "  }\n",
              "\n",
              "  @keyframes spin {\n",
              "    0% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "      border-left-color: var(--fill-color);\n",
              "    }\n",
              "    20% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    30% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    40% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    60% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    80% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "    90% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "  }\n",
              "</style>\n",
              "\n",
              "  <script>\n",
              "    async function quickchart(key) {\n",
              "      const quickchartButtonEl =\n",
              "        document.querySelector('#' + key + ' button');\n",
              "      quickchartButtonEl.disabled = true;  // To prevent multiple clicks.\n",
              "      quickchartButtonEl.classList.add('colab-df-spinner');\n",
              "      try {\n",
              "        const charts = await google.colab.kernel.invokeFunction(\n",
              "            'suggestCharts', [key], {});\n",
              "      } catch (error) {\n",
              "        console.error('Error during call to suggestCharts:', error);\n",
              "      }\n",
              "      quickchartButtonEl.classList.remove('colab-df-spinner');\n",
              "      quickchartButtonEl.classList.add('colab-df-quickchart-complete');\n",
              "    }\n",
              "    (() => {\n",
              "      let quickchartButtonEl =\n",
              "        document.querySelector('#df-2ea7d9e2-6d3a-4a9f-8c50-20ec79146ff0 button');\n",
              "      quickchartButtonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "    })();\n",
              "  </script>\n",
              "</div>\n",
              "    </div>\n",
              "  </div>\n"
            ]
          },
          "metadata": {},
          "execution_count": 14
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "데이터 치환 리스트를 불러옵니다. (방법은 지금까지 한 방법과 동일합니다.)"
      ],
      "metadata": {
        "id": "_kRMOXr3b28M"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "replace_list = pd.read_excel('/content/drive/MyDrive/dongguk/replace_list.xlsx') #본인 경로로 수정\n",
        "replace_list.head()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 262
        },
        "id": "pvxQIUcLMDjC",
        "outputId": "ba108c1b-8a07-4530-d452-99f7ec5d69df"
      },
      "execution_count": 15,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "  before_replacement after_replacement\n",
              "0                S헬스              삼성헬스\n",
              "1                LG폰              스마트폰\n",
              "2             LG V10              스마트폰\n",
              "3                 G7              스마트폰\n",
              "4                 GX              그룹운동"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-c4beb02e-c986-4a4a-8c98-3b6175267fa8\" class=\"colab-df-container\">\n",
              "    <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>before_replacement</th>\n",
              "      <th>after_replacement</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>S헬스</td>\n",
              "      <td>삼성헬스</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>LG폰</td>\n",
              "      <td>스마트폰</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>LG V10</td>\n",
              "      <td>스마트폰</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>G7</td>\n",
              "      <td>스마트폰</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>GX</td>\n",
              "      <td>그룹운동</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "    <div class=\"colab-df-buttons\">\n",
              "\n",
              "  <div class=\"colab-df-container\">\n",
              "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-c4beb02e-c986-4a4a-8c98-3b6175267fa8')\"\n",
              "            title=\"Convert this dataframe to an interactive table.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
              "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
              "  </svg>\n",
              "    </button>\n",
              "\n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    .colab-df-buttons div {\n",
              "      margin-bottom: 4px;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "    <script>\n",
              "      const buttonEl =\n",
              "        document.querySelector('#df-c4beb02e-c986-4a4a-8c98-3b6175267fa8 button.colab-df-convert');\n",
              "      buttonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "      async function convertToInteractive(key) {\n",
              "        const element = document.querySelector('#df-c4beb02e-c986-4a4a-8c98-3b6175267fa8');\n",
              "        const dataTable =\n",
              "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                    [key], {});\n",
              "        if (!dataTable) return;\n",
              "\n",
              "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "          + ' to learn more about interactive tables.';\n",
              "        element.innerHTML = '';\n",
              "        dataTable['output_type'] = 'display_data';\n",
              "        await google.colab.output.renderOutput(dataTable, element);\n",
              "        const docLink = document.createElement('div');\n",
              "        docLink.innerHTML = docLinkHtml;\n",
              "        element.appendChild(docLink);\n",
              "      }\n",
              "    </script>\n",
              "  </div>\n",
              "\n",
              "\n",
              "<div id=\"df-6858423d-4826-4aec-8516-e1bd577696fc\">\n",
              "  <button class=\"colab-df-quickchart\" onclick=\"quickchart('df-6858423d-4826-4aec-8516-e1bd577696fc')\"\n",
              "            title=\"Suggest charts.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "<svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "     width=\"24px\">\n",
              "    <g>\n",
              "        <path d=\"M19 3H5c-1.1 0-2 .9-2 2v14c0 1.1.9 2 2 2h14c1.1 0 2-.9 2-2V5c0-1.1-.9-2-2-2zM9 17H7v-7h2v7zm4 0h-2V7h2v10zm4 0h-2v-4h2v4z\"/>\n",
              "    </g>\n",
              "</svg>\n",
              "  </button>\n",
              "\n",
              "<style>\n",
              "  .colab-df-quickchart {\n",
              "      --bg-color: #E8F0FE;\n",
              "      --fill-color: #1967D2;\n",
              "      --hover-bg-color: #E2EBFA;\n",
              "      --hover-fill-color: #174EA6;\n",
              "      --disabled-fill-color: #AAA;\n",
              "      --disabled-bg-color: #DDD;\n",
              "  }\n",
              "\n",
              "  [theme=dark] .colab-df-quickchart {\n",
              "      --bg-color: #3B4455;\n",
              "      --fill-color: #D2E3FC;\n",
              "      --hover-bg-color: #434B5C;\n",
              "      --hover-fill-color: #FFFFFF;\n",
              "      --disabled-bg-color: #3B4455;\n",
              "      --disabled-fill-color: #666;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart {\n",
              "    background-color: var(--bg-color);\n",
              "    border: none;\n",
              "    border-radius: 50%;\n",
              "    cursor: pointer;\n",
              "    display: none;\n",
              "    fill: var(--fill-color);\n",
              "    height: 32px;\n",
              "    padding: 0;\n",
              "    width: 32px;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart:hover {\n",
              "    background-color: var(--hover-bg-color);\n",
              "    box-shadow: 0 1px 2px rgba(60, 64, 67, 0.3), 0 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "    fill: var(--button-hover-fill-color);\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart-complete:disabled,\n",
              "  .colab-df-quickchart-complete:disabled:hover {\n",
              "    background-color: var(--disabled-bg-color);\n",
              "    fill: var(--disabled-fill-color);\n",
              "    box-shadow: none;\n",
              "  }\n",
              "\n",
              "  .colab-df-spinner {\n",
              "    border: 2px solid var(--fill-color);\n",
              "    border-color: transparent;\n",
              "    border-bottom-color: var(--fill-color);\n",
              "    animation:\n",
              "      spin 1s steps(1) infinite;\n",
              "  }\n",
              "\n",
              "  @keyframes spin {\n",
              "    0% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "      border-left-color: var(--fill-color);\n",
              "    }\n",
              "    20% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    30% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    40% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    60% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    80% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "    90% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "  }\n",
              "</style>\n",
              "\n",
              "  <script>\n",
              "    async function quickchart(key) {\n",
              "      const quickchartButtonEl =\n",
              "        document.querySelector('#' + key + ' button');\n",
              "      quickchartButtonEl.disabled = true;  // To prevent multiple clicks.\n",
              "      quickchartButtonEl.classList.add('colab-df-spinner');\n",
              "      try {\n",
              "        const charts = await google.colab.kernel.invokeFunction(\n",
              "            'suggestCharts', [key], {});\n",
              "      } catch (error) {\n",
              "        console.error('Error during call to suggestCharts:', error);\n",
              "      }\n",
              "      quickchartButtonEl.classList.remove('colab-df-spinner');\n",
              "      quickchartButtonEl.classList.add('colab-df-quickchart-complete');\n",
              "    }\n",
              "    (() => {\n",
              "      let quickchartButtonEl =\n",
              "        document.querySelector('#df-6858423d-4826-4aec-8516-e1bd577696fc button');\n",
              "      quickchartButtonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "    })();\n",
              "  </script>\n",
              "</div>\n",
              "    </div>\n",
              "  </div>\n"
            ]
          },
          "metadata": {},
          "execution_count": 15
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "한 글자인 키워드 리스트를 불러옵니다. (방법은 지금까지 한 방법과 동일합니다.)"
      ],
      "metadata": {
        "id": "GOWRAnseb40f"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "one_char_keyword = pd.read_excel('/content/drive/MyDrive/dongguk/one_char_list.xlsx') #본인 경로로 수정\n",
        "one_char_keyword.head()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 262
        },
        "id": "WxCQpR9XMHXI",
        "outputId": "cb8610d7-5008-426d-a90f-9848a62b7a88"
      },
      "execution_count": 16,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "  one_char_keyword\n",
              "0                컵\n",
              "1                방\n",
              "2                물\n",
              "3                돈\n",
              "4                꿈"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-f6821ba0-42c4-4643-aace-492fd11aac73\" class=\"colab-df-container\">\n",
              "    <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>one_char_keyword</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>컵</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>방</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>물</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>돈</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>꿈</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "    <div class=\"colab-df-buttons\">\n",
              "\n",
              "  <div class=\"colab-df-container\">\n",
              "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-f6821ba0-42c4-4643-aace-492fd11aac73')\"\n",
              "            title=\"Convert this dataframe to an interactive table.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
              "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
              "  </svg>\n",
              "    </button>\n",
              "\n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    .colab-df-buttons div {\n",
              "      margin-bottom: 4px;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "    <script>\n",
              "      const buttonEl =\n",
              "        document.querySelector('#df-f6821ba0-42c4-4643-aace-492fd11aac73 button.colab-df-convert');\n",
              "      buttonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "      async function convertToInteractive(key) {\n",
              "        const element = document.querySelector('#df-f6821ba0-42c4-4643-aace-492fd11aac73');\n",
              "        const dataTable =\n",
              "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                    [key], {});\n",
              "        if (!dataTable) return;\n",
              "\n",
              "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "          + ' to learn more about interactive tables.';\n",
              "        element.innerHTML = '';\n",
              "        dataTable['output_type'] = 'display_data';\n",
              "        await google.colab.output.renderOutput(dataTable, element);\n",
              "        const docLink = document.createElement('div');\n",
              "        docLink.innerHTML = docLinkHtml;\n",
              "        element.appendChild(docLink);\n",
              "      }\n",
              "    </script>\n",
              "  </div>\n",
              "\n",
              "\n",
              "<div id=\"df-203ee8bf-7dec-4783-bb8b-67ed37d433a8\">\n",
              "  <button class=\"colab-df-quickchart\" onclick=\"quickchart('df-203ee8bf-7dec-4783-bb8b-67ed37d433a8')\"\n",
              "            title=\"Suggest charts.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "<svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "     width=\"24px\">\n",
              "    <g>\n",
              "        <path d=\"M19 3H5c-1.1 0-2 .9-2 2v14c0 1.1.9 2 2 2h14c1.1 0 2-.9 2-2V5c0-1.1-.9-2-2-2zM9 17H7v-7h2v7zm4 0h-2V7h2v10zm4 0h-2v-4h2v4z\"/>\n",
              "    </g>\n",
              "</svg>\n",
              "  </button>\n",
              "\n",
              "<style>\n",
              "  .colab-df-quickchart {\n",
              "      --bg-color: #E8F0FE;\n",
              "      --fill-color: #1967D2;\n",
              "      --hover-bg-color: #E2EBFA;\n",
              "      --hover-fill-color: #174EA6;\n",
              "      --disabled-fill-color: #AAA;\n",
              "      --disabled-bg-color: #DDD;\n",
              "  }\n",
              "\n",
              "  [theme=dark] .colab-df-quickchart {\n",
              "      --bg-color: #3B4455;\n",
              "      --fill-color: #D2E3FC;\n",
              "      --hover-bg-color: #434B5C;\n",
              "      --hover-fill-color: #FFFFFF;\n",
              "      --disabled-bg-color: #3B4455;\n",
              "      --disabled-fill-color: #666;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart {\n",
              "    background-color: var(--bg-color);\n",
              "    border: none;\n",
              "    border-radius: 50%;\n",
              "    cursor: pointer;\n",
              "    display: none;\n",
              "    fill: var(--fill-color);\n",
              "    height: 32px;\n",
              "    padding: 0;\n",
              "    width: 32px;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart:hover {\n",
              "    background-color: var(--hover-bg-color);\n",
              "    box-shadow: 0 1px 2px rgba(60, 64, 67, 0.3), 0 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "    fill: var(--button-hover-fill-color);\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart-complete:disabled,\n",
              "  .colab-df-quickchart-complete:disabled:hover {\n",
              "    background-color: var(--disabled-bg-color);\n",
              "    fill: var(--disabled-fill-color);\n",
              "    box-shadow: none;\n",
              "  }\n",
              "\n",
              "  .colab-df-spinner {\n",
              "    border: 2px solid var(--fill-color);\n",
              "    border-color: transparent;\n",
              "    border-bottom-color: var(--fill-color);\n",
              "    animation:\n",
              "      spin 1s steps(1) infinite;\n",
              "  }\n",
              "\n",
              "  @keyframes spin {\n",
              "    0% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "      border-left-color: var(--fill-color);\n",
              "    }\n",
              "    20% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    30% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    40% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    60% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    80% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "    90% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "  }\n",
              "</style>\n",
              "\n",
              "  <script>\n",
              "    async function quickchart(key) {\n",
              "      const quickchartButtonEl =\n",
              "        document.querySelector('#' + key + ' button');\n",
              "      quickchartButtonEl.disabled = true;  // To prevent multiple clicks.\n",
              "      quickchartButtonEl.classList.add('colab-df-spinner');\n",
              "      try {\n",
              "        const charts = await google.colab.kernel.invokeFunction(\n",
              "            'suggestCharts', [key], {});\n",
              "      } catch (error) {\n",
              "        console.error('Error during call to suggestCharts:', error);\n",
              "      }\n",
              "      quickchartButtonEl.classList.remove('colab-df-spinner');\n",
              "      quickchartButtonEl.classList.add('colab-df-quickchart-complete');\n",
              "    }\n",
              "    (() => {\n",
              "      let quickchartButtonEl =\n",
              "        document.querySelector('#df-203ee8bf-7dec-4783-bb8b-67ed37d433a8 button');\n",
              "      quickchartButtonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "    })();\n",
              "  </script>\n",
              "</div>\n",
              "    </div>\n",
              "  </div>\n"
            ]
          },
          "metadata": {},
          "execution_count": 16
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "전처리를 위해 미리 만들어 둔 불용어 리스트, 데이터 치환 리스트, 한 글자 키워드 리스트를 불러왔습니다."
      ],
      "metadata": {
        "id": "iiU7YQUVb8BM"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 6) 단어 치환"
      ],
      "metadata": {
        "id": "oypdGieLN-Zq"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "같은 의미의 단어를 하나의 단어로 통일하는 작업입니다. LDA 토픽 모델링은 빈출 어휘를 중심으로 결과를 제공하기 때문에 단어를 통일할 필요가 있습니다. 아래와 같이 단어 치환을 위한 함수(replace_word)를 작성하였습니다."
      ],
      "metadata": {
        "id": "DNFmB9lQb-2j"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "def replace_word(review):\n",
        "    for i in range(len(replace_list['before_replacement'])):\n",
        "        try:\n",
        "            # 치환할 단어가 있는 경우에만 데이터 치환 수행\n",
        "            if replace_list['before_replacement'][i] in review:\n",
        "                review = review.replace(replace_list['before_replacement'][i], replace_list['after_replacement'][i])\n",
        "        except Exception as e:\n",
        "            print(f\"Error 발생 / 에러명: {e}\")\n",
        "    return review"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "z3KQ37deMKKy",
        "outputId": "2b8d08aa-2a6a-4b1b-aac4-2bd12c4c1e67"
      },
      "execution_count": 17,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "**코드 분석**\n",
        "\n",
        "1. `for i in range(len(replace_list['before_replacement'])):` : before_replacement의 길이만큼 for문을 실행합니다.\n",
        "2. `try ~ except 전까지` : 치환할 단어가 있는 경우에만 텍스트에서 해당 단어를 치환합니다. **`replace_list`**의 'after_replacement' 열에 있는 값으로 해당 단어를 치환합니다.\n",
        "3. `except Exception as e:` : 예외가 발생하면 해당 예외에 대한 정보를 출력합니다.\n",
        "4. `return review` : 치환 작업이 완료된 텍스트를 반환합니다."
      ],
      "metadata": {
        "id": "f--0eaHvcAmL"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "치환할 단어를 포함한 문장을 찾아 해당되는 모든 단어를 치환하고, 데이터셋 데이터프레임 내 새로운 칼럼(review_prep)에 저장합니다 (이 과정은 시간이 조금 소요가 됩니다!)"
      ],
      "metadata": {
        "id": "V_wo1yg8OWli"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "dataset['review_prep'] = ''\n",
        "review_replaced_list = []\n",
        "for review in tqdm(dataset['review']):\n",
        "    review_replaced = replace_word(str(review)) # 문자열 데이터 변환\n",
        "    review_replaced_list.append(review_replaced)\n",
        "dataset['review_prep'] = review_replaced_list\n",
        "dataset.head()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 453
        },
        "id": "HC_Lp_0JMNof",
        "outputId": "aa094b59-d4c9-4d85-a7d6-8c3b1292f677"
      },
      "execution_count": 18,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n",
            "100%|██████████| 264069/264069 [13:36<00:00, 323.38it/s]\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                  app                                         review  rating  \\\n",
              "0  다리 근육 운동 – 4주 프로그램              다른 P4P어플과 연동 하면 기존에 있던 스케쥴이 싹 사라짐       1   \n",
              "1  다리 근육 운동 – 4주 프로그램                                              굿       5   \n",
              "2  다리 근육 운동 – 4주 프로그램                                          최고입니디       5   \n",
              "3  다리 근육 운동 – 4주 프로그램  아무곳에서나 보고 억지로라도 운동할수 있어서 너무 좋습니다. 감사히 잘 쓸께요.😂       5   \n",
              "4  다리 근육 운동 – 4주 프로그램                                              ᆞ       5   \n",
              "\n",
              "                                     review_prep  \n",
              "0              다른 P4P어플과 연동 하면 기존에 있던 스케줄이 싹 사라짐  \n",
              "1                                              굿  \n",
              "2                                          최고입니디  \n",
              "3  아무곳에서나 확인 억지로라도 운동할수 있어서 너무 좋습니다. 감사히 잘 쓸께요.😂  \n",
              "4                                              ᆞ  "
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-504b1e5b-1e04-4559-b2fd-9a8d9b950d19\" class=\"colab-df-container\">\n",
              "    <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>app</th>\n",
              "      <th>review</th>\n",
              "      <th>rating</th>\n",
              "      <th>review_prep</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>다른 P4P어플과 연동 하면 기존에 있던 스케쥴이 싹 사라짐</td>\n",
              "      <td>1</td>\n",
              "      <td>다른 P4P어플과 연동 하면 기존에 있던 스케줄이 싹 사라짐</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>굿</td>\n",
              "      <td>5</td>\n",
              "      <td>굿</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>최고입니디</td>\n",
              "      <td>5</td>\n",
              "      <td>최고입니디</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>아무곳에서나 보고 억지로라도 운동할수 있어서 너무 좋습니다. 감사히 잘 쓸께요.😂</td>\n",
              "      <td>5</td>\n",
              "      <td>아무곳에서나 확인 억지로라도 운동할수 있어서 너무 좋습니다. 감사히 잘 쓸께요.😂</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>다리 근육 운동 – 4주 프로그램</td>\n",
              "      <td>ᆞ</td>\n",
              "      <td>5</td>\n",
              "      <td>ᆞ</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "    <div class=\"colab-df-buttons\">\n",
              "\n",
              "  <div class=\"colab-df-container\">\n",
              "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-504b1e5b-1e04-4559-b2fd-9a8d9b950d19')\"\n",
              "            title=\"Convert this dataframe to an interactive table.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
              "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
              "  </svg>\n",
              "    </button>\n",
              "\n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    .colab-df-buttons div {\n",
              "      margin-bottom: 4px;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "    <script>\n",
              "      const buttonEl =\n",
              "        document.querySelector('#df-504b1e5b-1e04-4559-b2fd-9a8d9b950d19 button.colab-df-convert');\n",
              "      buttonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "      async function convertToInteractive(key) {\n",
              "        const element = document.querySelector('#df-504b1e5b-1e04-4559-b2fd-9a8d9b950d19');\n",
              "        const dataTable =\n",
              "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                    [key], {});\n",
              "        if (!dataTable) return;\n",
              "\n",
              "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "          + ' to learn more about interactive tables.';\n",
              "        element.innerHTML = '';\n",
              "        dataTable['output_type'] = 'display_data';\n",
              "        await google.colab.output.renderOutput(dataTable, element);\n",
              "        const docLink = document.createElement('div');\n",
              "        docLink.innerHTML = docLinkHtml;\n",
              "        element.appendChild(docLink);\n",
              "      }\n",
              "    </script>\n",
              "  </div>\n",
              "\n",
              "\n",
              "<div id=\"df-7e195b83-9fbc-49bf-bc4e-a76dc6097760\">\n",
              "  <button class=\"colab-df-quickchart\" onclick=\"quickchart('df-7e195b83-9fbc-49bf-bc4e-a76dc6097760')\"\n",
              "            title=\"Suggest charts.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "<svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "     width=\"24px\">\n",
              "    <g>\n",
              "        <path d=\"M19 3H5c-1.1 0-2 .9-2 2v14c0 1.1.9 2 2 2h14c1.1 0 2-.9 2-2V5c0-1.1-.9-2-2-2zM9 17H7v-7h2v7zm4 0h-2V7h2v10zm4 0h-2v-4h2v4z\"/>\n",
              "    </g>\n",
              "</svg>\n",
              "  </button>\n",
              "\n",
              "<style>\n",
              "  .colab-df-quickchart {\n",
              "      --bg-color: #E8F0FE;\n",
              "      --fill-color: #1967D2;\n",
              "      --hover-bg-color: #E2EBFA;\n",
              "      --hover-fill-color: #174EA6;\n",
              "      --disabled-fill-color: #AAA;\n",
              "      --disabled-bg-color: #DDD;\n",
              "  }\n",
              "\n",
              "  [theme=dark] .colab-df-quickchart {\n",
              "      --bg-color: #3B4455;\n",
              "      --fill-color: #D2E3FC;\n",
              "      --hover-bg-color: #434B5C;\n",
              "      --hover-fill-color: #FFFFFF;\n",
              "      --disabled-bg-color: #3B4455;\n",
              "      --disabled-fill-color: #666;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart {\n",
              "    background-color: var(--bg-color);\n",
              "    border: none;\n",
              "    border-radius: 50%;\n",
              "    cursor: pointer;\n",
              "    display: none;\n",
              "    fill: var(--fill-color);\n",
              "    height: 32px;\n",
              "    padding: 0;\n",
              "    width: 32px;\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart:hover {\n",
              "    background-color: var(--hover-bg-color);\n",
              "    box-shadow: 0 1px 2px rgba(60, 64, 67, 0.3), 0 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "    fill: var(--button-hover-fill-color);\n",
              "  }\n",
              "\n",
              "  .colab-df-quickchart-complete:disabled,\n",
              "  .colab-df-quickchart-complete:disabled:hover {\n",
              "    background-color: var(--disabled-bg-color);\n",
              "    fill: var(--disabled-fill-color);\n",
              "    box-shadow: none;\n",
              "  }\n",
              "\n",
              "  .colab-df-spinner {\n",
              "    border: 2px solid var(--fill-color);\n",
              "    border-color: transparent;\n",
              "    border-bottom-color: var(--fill-color);\n",
              "    animation:\n",
              "      spin 1s steps(1) infinite;\n",
              "  }\n",
              "\n",
              "  @keyframes spin {\n",
              "    0% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "      border-left-color: var(--fill-color);\n",
              "    }\n",
              "    20% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    30% {\n",
              "      border-color: transparent;\n",
              "      border-left-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    40% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-top-color: var(--fill-color);\n",
              "    }\n",
              "    60% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "    }\n",
              "    80% {\n",
              "      border-color: transparent;\n",
              "      border-right-color: var(--fill-color);\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "    90% {\n",
              "      border-color: transparent;\n",
              "      border-bottom-color: var(--fill-color);\n",
              "    }\n",
              "  }\n",
              "</style>\n",
              "\n",
              "  <script>\n",
              "    async function quickchart(key) {\n",
              "      const quickchartButtonEl =\n",
              "        document.querySelector('#' + key + ' button');\n",
              "      quickchartButtonEl.disabled = true;  // To prevent multiple clicks.\n",
              "      quickchartButtonEl.classList.add('colab-df-spinner');\n",
              "      try {\n",
              "        const charts = await google.colab.kernel.invokeFunction(\n",
              "            'suggestCharts', [key], {});\n",
              "      } catch (error) {\n",
              "        console.error('Error during call to suggestCharts:', error);\n",
              "      }\n",
              "      quickchartButtonEl.classList.remove('colab-df-spinner');\n",
              "      quickchartButtonEl.classList.add('colab-df-quickchart-complete');\n",
              "    }\n",
              "    (() => {\n",
              "      let quickchartButtonEl =\n",
              "        document.querySelector('#df-7e195b83-9fbc-49bf-bc4e-a76dc6097760 button');\n",
              "      quickchartButtonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "    })();\n",
              "  </script>\n",
              "</div>\n",
              "    </div>\n",
              "  </div>\n"
            ]
          },
          "metadata": {},
          "execution_count": 18
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "**코드 분석**\n",
        "\n",
        "1. `dataset['review_prep'] = ''` : 'review_prep'이라는 빈 열을 데이터프레임에 추가합니다.\n",
        "2. `review_replaced_list = []` : 빈 리스트 `review_replaced_list`를 생성합니다. 이 리스트는 치환된 리뷰들을 저장하기 위해 사용됩니다.\n",
        "3. `for review in tqdm(dataset['review']):`: 데이터프레임의 'review' 열에 대해 반복문을 실행합니다. 각 리뷰에 대해 반복합니다.\n",
        "4. `review_replaced = replace_word(str(review))`: 각 리뷰에 대해 `replace_word` 함수를 호출하여 특정 단어들을 치환한 후, 그 결과를 `review_replaced`에 저장합니다. `replace_word` 함수는 앞서 정의된 단어 치환 로직을 수행합니다.\n",
        "5. `review_replaced_list.append(review_replaced)`: `review_replaced`를 `review_replaced_list`에 추가합니다. 이 리스트에는 치환된 리뷰들이 저장됩니다.\n",
        "6. `dataset['review_prep'] = review_replaced_list`: 'review_prep' 열에 `review_replaced_list`를 대입하여, 치환된 리뷰들로 열을 채웁니다.\n",
        "7. `dataset.head()`: 데이터프레임의 처음 5개 행을 출력하여 확인합니다."
      ],
      "metadata": {
        "id": "UnovBcI8cKwL"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "같은 의미의 단어를 하나의 단어로 통일하는 작업을 진행했습니다.\n",
        "\n",
        "LDA 토픽 모델링은 빈출 어휘를 중심으로 결과를 제공하기 때문에 단어를 통일할 필요가 있어 치환할 단어를 포함한 문장을 찾아 해당되는 모든 단어를 치환하고 review_prep라는 새로운 칼럼에 저장했습니다."
      ],
      "metadata": {
        "id": "bxR1qpfmcMLi"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 7) 한글 외 텍스트 제거"
      ],
      "metadata": {
        "id": "fmFmzUxTOCr2"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "숫자, 특수문자, 영문 등 서비스 경험과 관련된 의미를 추출해 내기 어려운 모든 문자열을 제거합니다."
      ],
      "metadata": {
        "id": "6McwwkhQcShA"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "review_removed = list(map(lambda review: re.sub('[^가-힣 ]', '', review), dataset['review_prep']))\n",
        "dataset['review_prep'] = review_removed"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "r2GqyaJZMkzg",
        "outputId": "951e0f5c-d07b-47b0-ed37-403956132ffd"
      },
      "execution_count": 19,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "\n",
        "* re.sub() : 정규 표현식에 매치되는 부분을 공백으로 치환하여 해당 리뷰의 문자열을 반환\n",
        "\n",
        "* lambda : 함수를 사용하여 각 리뷰에 대해 정규 표현식을 적용한다. 위의 코드에서는 정규 표현식 **`'[^가-힣 ]'`**은 한글 및 공백을 제외한 모든 문자를 나타낸다.\n",
        "\n",
        "* map() : 주어진 시퀀스(리스트, 튜플 등)의 각 요소에 대해 지정된 함수를 적용하여 결과를 반환하는 역할. 주로 리스트의 각 요소에 대해 동일한 작업을 적용하고자 할 때 사용합니다.\n",
        "\n",
        "* list() : 리스트로 변환하여 저장. 위의 코드에서는 map()의 결과를 리스트로 변환하여 리스트에 저장"
      ],
      "metadata": {
        "id": "6pM9Hi3pcUh9"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "한글 외 특수문자, 숫자, 영문 등은 서비스 경험과 관련된 의미를 추출하기 어려워 lambda를 활용해 각 리뷰에 대해 정규 표현식을 적용하여 한글 외의 텍스트를 제거했습니다."
      ],
      "metadata": {
        "id": "Tu-oUS1xcWmN"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 8) 평점 기준 데이터 분리"
      ],
      "metadata": {
        "id": "xsYxXKdbOIVn"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "구글 플레이 스토어는 평점이 5점 만점입니다. 따라서 본 프로젝트에서는 4~5점을 긍정적인 평가를 받은 리뷰로, 1~2점을 부정적인 평가를 받은 리뷰로 분류하였습니다. 이는 서비스 이용 경험과 관련한 리뷰 내용이 긍정적인지, 부정적인지를 구분하기 위한 목적입니다."
      ],
      "metadata": {
        "id": "27ZCK7ULcYcc"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# 긍정적 리뷰(평점 5점 만점 기준 4, 5점)\n",
        "review_pos = dataset[(4 == dataset['rating']) | (dataset['rating'] == 5)]['review_prep']\n",
        "# 부정적 리뷰(평점 5점 만점 기준 1, 2점)\n",
        "review_neg = dataset[(1 == dataset['rating']) | (dataset['rating'] == 2)]['review_prep']"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "JCbIYBmMMmel",
        "outputId": "cd2021b5-b204-465f-f84a-af668d5eaae8"
      },
      "execution_count": 20,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "review_pos에는 4,5점을 받은 리뷰로 분류하고,\n",
        "\n",
        "review_neg에는 1,2점을 받은 리뷰로 데이터를 분류했습니다."
      ],
      "metadata": {
        "id": "GzQ5Bobkca23"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 9) 토큰화"
      ],
      "metadata": {
        "id": "BG5j7bODOKHH"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "원본 프로젝트에서는 KoNLPy에서 속도 및 토큰화 측면에서 성능이 가장 우수한 Mecab 형태소 분석기를 활용했습니다. 하지만 코랩 환경에서는 동작하기 어렵기 때문에 okt 형태소 분석기를 활용했습니다.<br>\n",
        "특히, 명사가 문장 내 맥락을 파악하는 데 핵심 형태소이며 빈출 어휘를 쉽게 파악할 수 있다는 장점이 있기 때문에, 리뷰에서 명사만 추출하였습니다."
      ],
      "metadata": {
        "id": "fmjeSzalcg2E"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "이것도 시간이 좀 걸리는 작업입니다!"
      ],
      "metadata": {
        "id": "9-Y4YPk1Ben0"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "review_tokenized_pos = list(map(lambda review: okt.nouns(review), review_pos))\n",
        "review_tokenized_neg = list(map(lambda review: okt.nouns(review), review_neg))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "pKm9ee0HMoOD",
        "outputId": "478c353a-4449-410c-e26b-2de342fc0625"
      },
      "execution_count": 21,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "**코드 분석**\n",
        "\n",
        "1. `review_tokenized_pos = list(map(lambda review: mecab.nouns(review), review_pos))`:\n",
        "    - `review_pos`라는 리스트(또는 시퀀스)에 있는 각 리뷰에 대해 `mecab.nouns()` 함수를 적용합니다.\n",
        "    - `lambda` 함수를 사용하여 각 리뷰에 대해 `mecab.nouns()` 함수를 호출합니다. `mecab.nouns()` 함수는 해당 리뷰에서 명사만 추출합니다.\n",
        "    - `map()` 함수를 사용하여 각 리뷰에 대해 `mecab.nouns()` 함수를 적용하고, 그 결과를 새로운 리스트인 `review_tokenized_pos`에 저장합니다.\n",
        "2. `review_tokenized_neg = list(map(lambda review: mecab.nouns(review), review_neg))`:\n",
        "    - `review_neg`라는 리스트(또는 시퀀스)에 있는 각 리뷰에 대해 `mecab.nouns()` 함수를 적용합니다. 마찬가지로 `lambda` 함수를 사용하여 각 리뷰에 대해 `mecab.nouns()` 함수를 호출하여 명사만 추출합니다.\n",
        "    - `map()` 함수를 사용하여 각 리뷰에 대해 `mecab.nouns()` 함수를 적용하고, 그 결과를 새로운 리스트인 `review_tokenized_neg`에 저장합니다."
      ],
      "metadata": {
        "id": "6xhObrPOcy8j"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "긍정적인 리뷰와 부정적인 리뷰에서 명사만 추출하여 각각 review_tokenized_pos와 review_tokenized_neg에 저장했습니다."
      ],
      "metadata": {
        "id": "PFtqCMkyc1HW"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 10) 불용어 제거"
      ],
      "metadata": {
        "id": "rURv8QpROMF7"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "토큰화 후 토큰이 2글자인 경우 불용어에 해당되지 않는 토큰만 분석에 활용합니다. 토큰이 1글자인 경우에는 1글자 키워드 리스트에 포함되는 토큰만 분석에 활용합니다."
      ],
      "metadata": {
        "id": "Eo6G4HIhc3Z_"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "def remove_stopword(tokens):\n",
        "    review_removed_stopword = []\n",
        "    for token in tokens:\n",
        "        # 토큰의 글자 수가 2글자 이상인 경우\n",
        "        if 1 < len(token):\n",
        "            # 토큰이 불용어가 아닌 경우만 분석용 리뷰 데이터로 포함\n",
        "            if token not in list(stopword_list['stopword']):\n",
        "                review_removed_stopword.append(token)\n",
        "        # 토큰의 글자 수가 1글자인 경우\n",
        "        else:\n",
        "            # 1글자 키워드에 포함되는 경우만 분석용 리뷰 데이터로 포함\n",
        "            if token in list(one_char_keyword['one_char_keyword']):\n",
        "                review_removed_stopword.append(token)\n",
        "    return review_removed_stopword"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "WB7QqsjTMp6v",
        "outputId": "4bb80ea1-f488-4b3f-eca3-5a2492ed2de3"
      },
      "execution_count": 22,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "**코드 분석**\n",
        "\n",
        "1. `def remove_stopword(tokens):`: `remove_stopword`라는 함수를 정의합니다. 이 함수는 `tokens`라는 매개변수를 받습니다. `tokens`는 불용어를 제거할 대상입니다.\n",
        "2. `review_removed_stopword = []`: 빈 리스트 `review_removed_stopword`를 생성합니다. 이 리스트에는 불용어가 제거된 토큰들이 저장됩니다.\n",
        "3. `for token in tokens:`: `tokens` 리스트에 대해 반복문을 실행합니다. 각 토큰에 대해 반복합니다.\n",
        "4. `if 1 < len(token):`: 토큰의 길이가 1보다 큰지 확인합니다. 즉, 토큰이 2글자 이상인 경우에 해당하는 조건입니다.\n",
        "5. `if token not in list(stopword_list['stopword']):`: 토큰이 불용어 리스트에 없는지 확인합니다. `stopword_list`에 있는 불용어는 제외하고, 불용어가 아닌 토큰만 `review_removed_stopword`에 추가됩니다. (아닌 토큰만 분석용 리뷰 데이터로 포함하기 위함)\n",
        "6. `else: if token in list(one_char_keyword['one_char_keyword']):`: 토큰의 길이가 1인 경우, 즉 1글자인 경우, 토큰이 1글자 키워드에 포함되는지 확인합니다. 1글자 키워드에 속하면 `review_removed_stopword`에 추가됩니다.\n",
        "7. `return review_removed_stopword`: 불용어가 제거된 토큰들이 저장된 `review_removed_stopword` 리스트를 반환합니다."
      ],
      "metadata": {
        "id": "K20gKZxBdAui"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "review_removed_stopword_pos = list(map(lambda tokens : remove_stopword(tokens), review_tokenized_pos))\n",
        "review_removed_stopword_neg = list(map(lambda tokens : remove_stopword(tokens), review_tokenized_neg))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "2Tbm67o3MqEe",
        "outputId": "35be70bb-c4d9-48db-a408-03f2435cc137"
      },
      "execution_count": 23,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "`review_tokenized_pos` 리스트에 있는 각 토큰 리스트에 대해 `remove_stopword` 함수를 적용합니다.\n",
        "\n",
        "`lambda` 함수를 사용하여 각 토큰 리스트에 대해 `remove_stopword` 함수를 호출합니다. 이렇게 하면 각 토큰 리스트에서 불용어가 제거된 토큰들의 리스트가 반환됩니다.\n",
        "\n",
        "`review_tokenized_neg` 리스트에 있는 각 토큰 리스트에 대해도 마찬가지로 `remove_stopword` 함수를 적용하여 불용어를 제거합니다."
      ],
      "metadata": {
        "id": "3qLbBG1PdFUQ"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "토큰화 후 토큰이 2글자인 경우 불용어에 해당되지 않는 토큰만 분석에 활용합니다. 토큰이 1글자인 경우에는 1글자 키워드 리스트에 포함되는 토큰만 분석에 활용합니다. (아닌 경우 모두 제거했음)\n",
        "\n",
        "이후, 긍정적인 리뷰review_tokenized_pos와 부정적인 리뷰 review_tokenized_neg에서 불용어를 제거하여 각각 review_removed_stopword_pos와 review_removed_stopword_neg에 저장했습니다."
      ],
      "metadata": {
        "id": "K6cLtcyudIBg"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 11) 특정 토큰 개수의 리뷰 선별"
      ],
      "metadata": {
        "id": "a5xpLWQcOOmm"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "MIN_TOKEN_NUMBER = 3 # 최소 토큰 개수\n",
        "MAX_TOKEN_NUMBER = 15 # 최대 토큰 개수"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "1KTISXnrMtCG",
        "outputId": "256ad494-b74b-4717-a16d-d64b689258ec"
      },
      "execution_count": 24,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "일반적으로, 리뷰의 길이가 길수록 사용자 경험이나 기술적 문제 등 사용자 의견이 많이 내포되어 있을 가능성이 높습니다. 하지만, 오히려 지나치게 길이가 긴 리뷰는 주제 파악이나 리뷰 내 단어 간의 조합을 활용하여 특징을 추출하는 데 어려움이 있을 수 있습니다[(Vasa et al., 2012)](https://dl.acm.org/doi/abs/10.1145/2414536.2414577?casa_token=OQqZbuik4RwAAAAA:_FOT4Fl0bj1reHDV7BNObsGIM1XR6Z7o3TZyBQeIoIX6aEGcUMKhUSMOQv0ytkc9lu3_x7ZI6jDbTVc).\n",
        "\n",
        "따라서 본 프로젝트에서는 각 리뷰에서 추출된 명사의 개수가 `3개 이상 15개 이하`인 리뷰만을 분석에 활용하였습니다."
      ],
      "metadata": {
        "id": "L7BZ__mfdKI2"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "def select_review(review_removed_stopword):\n",
        "    review_prep = []\n",
        "    for tokens in review_removed_stopword:\n",
        "        if MIN_TOKEN_NUMBER <= len(tokens) <= MAX_TOKEN_NUMBER:\n",
        "            review_prep.append(tokens)\n",
        "    return review_prep"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "HKXHFVO5Mt15",
        "outputId": "4067f9f9-08e7-4069-e814-b09c06ed7d05"
      },
      "execution_count": 25,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "**코드 분석**\n",
        "\n",
        "1. `def select_review(review_removed_stopword):`: `select_review`라는 함수를 정의합니다. 이 함수는 `review_removed_stopword`라는 매개변수를 받습니다. `review_removed_stopword`는 불용어가 제거된 토큰들로 이루어진 리스트입니다.\n",
        "2. `review_prep = []`: 빈 리스트 `review_prep`를 생성합니다. 이 리스트에는 선택된 리뷰가 저장됩니다.\n",
        "3. `for tokens in review_removed_stopword:`: `review_removed_stopword` 리스트에 있는 각 토큰 리스트에 대해 반복문을 실행합니다. 각 토큰 리스트는 불용어가 제거된 토큰들을 포함합니다.\n",
        "4. `if MIN_TOKEN_NUMBER <= len(tokens) <= MAX_TOKEN_NUMBER:`: 토큰 리스트의 길이가 `MIN_TOKEN_NUMBER`보다 크고 `MAX_TOKEN_NUMBER`보다 작거나 같은지 확인합니다. 이는 토큰의 길이가 특정 범위에 있는지 검사하는 조건입니다.\n",
        "5. `review_prep.append(tokens)`: 만약 토큰의 길이가 조건에 맞으면 해당 토큰 리스트를 `review_prep`에 추가합니다.\n",
        "6. `return review_prep`: 선택된 리뷰들이 저장된 `review_prep` 리스트를 반환합니다."
      ],
      "metadata": {
        "id": "hX22WwYgdPNc"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "review_prep_pos = select_review(review_removed_stopword_pos)\n",
        "review_prep_neg = select_review(review_removed_stopword_neg)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "CX0l_PC2Mu_J",
        "outputId": "5ce7a00f-cff4-4e9d-fcac-ad60628af8ea"
      },
      "execution_count": 26,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "* select_review() : 함수에서 정의된 조건에 따라 길이가 일정 범위 내에 있는 토큰들이 선택"
      ],
      "metadata": {
        "id": "cr3bnbeNdRGt"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**요약**\n",
        "\n",
        "리뷰의 길이가 길수록 사용자 경험이나 기술적 문제 등 사용자 의견이 많이 내포되어 있을 가능성이 높습니다. 하지만, 오히려 지나치게 길이가 긴 리뷰는 주제 파악이나 리뷰 내 단어 간의 조합을 활용하여 특징을 추출하는 데 어려움이 있을 수 있습니다.\n",
        "\n",
        "그래서 각 리뷰에서 추출된 명사가 3개 이상 15개 이하인 리뷰만 추출하여 review_prep에 추가했습니다.\n",
        "\n",
        "이후, review_prep에서 긍정적 리뷰는 review_prep_pos에 추가하고, 부정적 리뷰는 review_prep_neg에 추가했습니다."
      ],
      "metadata": {
        "id": "O3Y-4mb_dSly"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 12) 전처리 결과 확인"
      ],
      "metadata": {
        "id": "wloeZhwcOSej"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "review_num_pos = len(review_prep_pos)\n",
        "review_num_neg = len(review_prep_neg)\n",
        "review_num_tot = review_num_pos + review_num_neg\n",
        "\n",
        "print(f\"분석한 리뷰 총 개수: {review_num_tot}\")\n",
        "print(f\"긍정적 리뷰: {review_num_pos}개({(review_num_pos/review_num_tot)*100:.2f}%)\")\n",
        "print(f\"부정적 리뷰: {review_num_neg}개({(review_num_neg/review_num_tot)*100:.2f}%)\")"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "40a1GPukMwCg",
        "outputId": "60823ba0-31a5-45a1-dc1e-dc5269b887c6"
      },
      "execution_count": 27,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "분석한 리뷰 총 개수: 84012\n",
            "긍정적 리뷰: 72046개(85.76%)\n",
            "부정적 리뷰: 11966개(14.24%)\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "분석한 리뷰의 개수를 len함수를 통해 알아보겠습니다.\n",
        "\n",
        "review_num_pos와 review_num_neg를 더하면 총 리뷰가 되기 때문에 review_num_tot를 생성하고 print 함수를 통해 총 리뷰 개수와 긍정적 리뷰, 부정적 리뷰의 개수를 알아 보겠습니다."
      ],
      "metadata": {
        "id": "v4d-qjE_dVVx"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "그 결과, 최초에 수집한 54만 개의 리뷰 데이터 중 전처리 후 남은 데이터는 8.4만 개입니다.\n",
        "\n",
        "**요약**\n",
        "\n",
        "len함수와 print 함수를 통해 분석한 리뷰의 총 개수는 84012개이고 긍정적 리뷰의 개수와 비율, 부정적 리뷰의 개수와 비율을 알 수 있었습니다."
      ],
      "metadata": {
        "id": "rbeV7frTdYB_"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 3. LDA 토픽 모델링"
      ],
      "metadata": {
        "id": "dTNLOygFMyrp"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 1) 하이퍼파라미터 튜닝"
      ],
      "metadata": {
        "id": "LCo-UIjsOh98"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "토픽의 개수와 학습 횟수는 하이퍼파라미터입니다. 본 프로젝트에서는 긍정적 리뷰와 부정적 리뷰 각각에서 토픽 10개씩을 추출합니다. 학습 횟수는 PASSES 옵션으로 변경하며 전체 문서 데이터를 몇 번 학습할지 결정합니다.\n",
        "\n",
        "* 하이퍼파라미터 : 모델을 학습시키기 위해 사전에 사용자가 설정해야 하는 매개변수들\n",
        "\n",
        "* PASSES : 모델을 토픽 모델에 반복하여 입력하고 학습하는 단계의 수"
      ],
      "metadata": {
        "id": "RN_5OMSndlhM"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "NUM_TOPICS = 10 # 토픽 개수는 하이퍼파라미터\n",
        "# passes: 딥러닝에서 Epoch와 같은 개념으로, 전체 corpus로 모델 학습 횟수 결정\n",
        "PASSES = 15"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "Mybiy3RFM0yK",
        "outputId": "46f69528-879a-4940-eed7-592f8aeaecbc"
      },
      "execution_count": 28,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 2) 모델 학습 함수"
      ],
      "metadata": {
        "id": "Xd84etO0OkWQ"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "lda_modeling은 우리가 만들 토픽 모델링을 수행하는 함수입니다."
      ],
      "metadata": {
        "id": "QiE_z5BVdngD"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "def lda_modeling(review_prep):\n",
        "    # 단어 인코딩 및 빈도수 계산\n",
        "    dictionary = corpora.Dictionary(review_prep)\n",
        "    corpus = [dictionary.doc2bow(review) for review in review_prep]\n",
        "    # LDA 모델 학습\n",
        "    model = gensim.models.ldamodel.LdaModel(corpus,\n",
        "                                            num_topics = NUM_TOPICS,\n",
        "                                            id2word = dictionary,\n",
        "                                            passes = PASSES)\n",
        "    return model, corpus, dictionary"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "JITIS2TZM2yT",
        "outputId": "371ad076-4ea7-4618-88ce-413553430aed"
      },
      "execution_count": 29,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "**코드 분석**\n",
        "\n",
        "1. `def lda_modeling(review_prep):`: `lda_modeling`이라는 함수를 정의하며, `review_prep`라는 매개변수를 받습니다. 이 매개변수는 토픽 모델링을 수행할 대상인 전처리된 리뷰 데이터입니다.\n",
        "2. `dictionary = corpora.Dictionary(review_prep)`: `corpora.Dictionary`를 사용하여 단어 사전(dictionary)을 생성합니다. 이 사전은 전처리된 리뷰 데이터에 있는 단어들을 고유한 정수로 매핑합니다.\n",
        "    \n",
        "    * corpora.Dictionary : Gensim 라이브러리에서 제공하는 도구로, 텍스트 문서를 표현하는 딕셔너리를 생성하는 역할\n",
        "    \n",
        "    - corpora 사용 예시\n",
        "        \n",
        "        ```python\n",
        "        from gensim import corpora\n",
        "        \n",
        "        # 간단한 텍스트 문서들\n",
        "        documents = [\n",
        "            ['apple', 'banana', 'cherry'],\n",
        "            ['banana', 'orange', 'kiwi'],\n",
        "            ['apple', 'cherry', 'orange', 'banana']\n",
        "        ]\n",
        "        \n",
        "        # Dictionary 생성\n",
        "        dictionary = corpora.Dictionary(documents)\n",
        "        \n",
        "        # 각 단어의 고유 ID 확인\n",
        "        print(dictionary.token2id)  # 단어에 대한 ID 매핑\n",
        "        \n",
        "        # 특정 단어의 ID 얻기\n",
        "        print(dictionary.token2id.get('banana'))  # banana에 대한 ID\n",
        "        ```\n",
        "        \n",
        "        이렇게 생성된 딕셔너리를 사용하여 텍스트 데이터를 수치화하여 다양한 자연어 처리 작업에 활용할 수 있습니다.\n",
        "        \n",
        "3. `corpus = [dictionary.doc2bow(review) for review in review_prep]`: 단어 빈도수 계산을 위해 `doc2bow`를 사용하여 각 리뷰를 단어 빈도수 형태(corpus)로 변환합니다. 이 형태는 단어의 인덱스와 해당 단어의 빈도수를 포함합니다.\n",
        "    \n",
        "    * doc2bow : Gensim 라이브러리에서 제공하는 메서드로, 문서를 Bag-of-Words 형태로 변환하는 역할을 합니다. Bag-of-Words는 텍스트 데이터를 단어의 등장 빈도로 표현한 것으로, 단어의 등장 순서는 고려하지 않습니다.\n",
        "    \n",
        "    - doc2bow 사용 예시\n",
        "        \n",
        "        ```python\n",
        "        from gensim import corpora\n",
        "        \n",
        "        # Dictionary 생성 (단어에 ID 부여)\n",
        "        dictionary = corpora.Dictionary([\n",
        "            ['apple', 'banana', 'cherry'],\n",
        "            ['banana', 'orange', 'kiwi'],\n",
        "            ['apple', 'cherry', 'orange', 'banana']\n",
        "        ])\n",
        "        \n",
        "        # 문서 예시\n",
        "        document = ['apple', 'banana', 'banana', 'cherry']\n",
        "        \n",
        "        # 문서를 Bag-of-Words로 변환\n",
        "        bow_document = dictionary.doc2bow(document)\n",
        "        print(bow_document)\n",
        "        ```\n",
        "        \n",
        "        출력\n",
        "        \n",
        "        ```python\n",
        "        [(0, 1), (1, 2), (2, 1)]\n",
        "        ```\n",
        "        \n",
        "4. LDA 모델 학습:\n",
        "    - `model = gensim.models.ldamodel.LdaModel(...)`: `gensim` 라이브러리를 사용하여 LDA 모델을 생성합니다.\n",
        "    - `corpus`: 앞서 변환한 단어 빈도수 형태(corpus)를 입력 데이터로 사용합니다.\n",
        "    - `num_topics = NUM_TOPICS`: 토픽의 개수를 설정합니다. `NUM_TOPICS`는 미리 정의된 상수(10 하이퍼파라미터 튜닝에서 정의함)로, 토픽의 개수를 나타냅니다.\n",
        "    - `id2word = dictionary`: 앞서 생성한 단어 사전을 사용하여 단어와 단어의 인덱스를 연결합니다.\n",
        "    - `passes = PASSES`: LDA 모델 학습을 위해 데이터를 반복적으로 사용하는 횟수를 나타냅니다. `PASSES`는 미리 정의된 상수(15 하이퍼파라미터 튜닝에서 정의함)로, 학습 반복 횟수를 나타냅니다.\n",
        "5. `return model, corpus, dictionary`: 학습된 LDA 모델(`model`), 단어 빈도수 형태(`corpus`), 그리고 단어 사전(`dictionary`)을 반환합니다."
      ],
      "metadata": {
        "id": "vTU7xsBadp-Y"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 3) 토픽별 단어 구성 출력 함수"
      ],
      "metadata": {
        "id": "guRCigmCOlzj"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import pandas as pd\n",
        "from google.colab import files\n",
        "\n",
        "def print_topic_prop(topics, RATING):\n",
        "    topic_values = [topic[1] for topic in topics]\n",
        "    topic_prop = pd.DataFrame({\"topic_num\": list(range(1, NUM_TOPICS + 1)), \"word_prop\": topic_values})\n",
        "\n",
        "    # Excel 파일로 저장, 본인 경로로 수정 필요\n",
        "    file_path = f'/content/drive/MyDrive/dongguk/topic_prop_{RATING}.xlsx'\n",
        "    topic_prop.to_excel(file_path)\n",
        "\n",
        "    # 파일을 다운로드\n",
        "    files.download(file_path)\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "_888d2z6M4JV",
        "outputId": "ff43d067-1059-4f01-9b13-19146e97d3fb"
      },
      "execution_count": 66,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "토픽별로 구성된 단어의 비율을 출력하는 함수입니다."
      ],
      "metadata": {
        "id": "8zQWIZj7dx2A"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**코드 분석**\n",
        "\n",
        "1. `def print_topic_prop(topics, RATING):`: `print_topic_prop`이라는 함수를 정의하며, `topics`와 `RATING`이라는 두 개의 매개변수를 받습니다. `topics`는 각 토픽의 단어 분포를 나타내는 정보를 담고 있는 리스트이고, `RATING`은 토픽 분석을 수행한 리뷰의 평가 등급을 나타냅니다.\n",
        "2. `topic_values = []`: 각 토픽의 단어 분포 값을 저장할 빈 리스트 `topic_values`를 생성합니다.\n",
        "3. 토픽별로 단어 분포 값을 `topic_values`에 저장:\n",
        "    - `for topic in topics:`: `topics` 리스트에 있는 각 토픽에 대해 반복합니다.\n",
        "    - `topic_value = topic[1]`: 각 토픽에서 단어 분포 값을 가져와 `topic_value`에 저장합니다.\n",
        "    - `topic_values.append(topic_value)`: `topic_value`를 `topic_values` 리스트에 추가합니다.\n",
        "4. 토픽별 단어 분포를 데이터프레임으로 정리하고 엑셀 파일로 출력:\n",
        "    - `topic_prop = pd.DataFrame(...)`: 토픽 번호와 해당 토픽의 단어 분포 값을 데이터프레임으로 정리합니다.\n",
        "    - `topic_prop.to_excel('./result/topic_prop_' + RATING + '.xlsx')`: 정리한 데이터프레임을 엑셀 파일로 저장합니다. 파일명은 `topic_prop_RATING.xlsx` 형식으로 지정됩니다. `RATING`은 평가 등급을 나타내는 변수입니다.\n",
        "    - `display(topic_prop)`: 정리한 데이터프레임을 화면에 출력합니다."
      ],
      "metadata": {
        "id": "Iz-oIBxad0ew"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 4) 시각화 함수"
      ],
      "metadata": {
        "id": "SA1XQAsIOos6"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import os\n",
        "import pyLDAvis\n",
        "import pyLDAvis.gensim_models\n",
        "\n",
        "def lda_visualize(model, corpus, dictionary, RATING, result_dir):\n",
        "    pyLDAvis.enable_notebook()\n",
        "    result_visualized = pyLDAvis.gensim_models.prepare(model, corpus, dictionary)\n",
        "    pyLDAvis.display(result_visualized)\n",
        "\n",
        "    # 시각화 결과 저장\n",
        "    RESULT_FILE = os.path.join(result_dir, f'lda_result_{RATING}.html')\n",
        "    pyLDAvis.save_html(result_visualized, RESULT_FILE)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "UGTRnY8oM5n4",
        "outputId": "68f75d50-d1f5-4896-d723-fb8caf67b776"
      },
      "execution_count": 67,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 5) 긍정적 리뷰 토픽 모델링"
      ],
      "metadata": {
        "id": "OEfwUIhVOqqs"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model, corpus, dictionary = lda_modeling(review_prep_pos)\n",
        "NUM_WORDS = 10"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "f9eCpd2XM6rw",
        "outputId": "19de5790-0fba-4c80-9c8a-c39043121097"
      },
      "execution_count": 68,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "RATING = 'pos'\n",
        "topics = model.print_topics(num_words = NUM_WORDS)\n",
        "print_topic_prop(topics, RATING)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 73
        },
        "id": "XgReMBwYNAc0",
        "outputId": "bdc9c13b-2615-46d5-850f-82a32b0441a0"
      },
      "execution_count": 69,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.Javascript object>"
            ],
            "application/javascript": [
              "\n",
              "    async function download(id, filename, size) {\n",
              "      if (!google.colab.kernel.accessAllowed) {\n",
              "        return;\n",
              "      }\n",
              "      const div = document.createElement('div');\n",
              "      const label = document.createElement('label');\n",
              "      label.textContent = `Downloading \"${filename}\": `;\n",
              "      div.appendChild(label);\n",
              "      const progress = document.createElement('progress');\n",
              "      progress.max = size;\n",
              "      div.appendChild(progress);\n",
              "      document.body.appendChild(div);\n",
              "\n",
              "      const buffers = [];\n",
              "      let downloaded = 0;\n",
              "\n",
              "      const channel = await google.colab.kernel.comms.open(id);\n",
              "      // Send a message to notify the kernel that we're ready.\n",
              "      channel.send({})\n",
              "\n",
              "      for await (const message of channel.messages) {\n",
              "        // Send a message to notify the kernel that we're ready.\n",
              "        channel.send({})\n",
              "        if (message.buffers) {\n",
              "          for (const buffer of message.buffers) {\n",
              "            buffers.push(buffer);\n",
              "            downloaded += buffer.byteLength;\n",
              "            progress.value = downloaded;\n",
              "          }\n",
              "        }\n",
              "      }\n",
              "      const blob = new Blob(buffers, {type: 'application/binary'});\n",
              "      const a = document.createElement('a');\n",
              "      a.href = window.URL.createObjectURL(blob);\n",
              "      a.download = filename;\n",
              "      div.appendChild(a);\n",
              "      a.click();\n",
              "      div.remove();\n",
              "    }\n",
              "  "
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.Javascript object>"
            ],
            "application/javascript": [
              "download(\"download_8c711197-1135-4442-9f9b-1546c3c5bc6f\", \"topic_prop_pos.xlsx\", 5977)"
            ]
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "lda_visualize(model, corpus, dictionary, RATING, '/content/drive/MyDrive/dongguk/')\n",
        "# 마지막 요소 본인 경로로 수정 필요"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "6aDwr-Y_NCXt",
        "outputId": "49719dca-1cfa-407d-f360-d39bb77941d7"
      },
      "execution_count": 71,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 6) 부정적 리뷰 토픽 모델링"
      ],
      "metadata": {
        "id": "Zn8OgvgFOtq7"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model, corpus, dictionary = lda_modeling(review_prep_neg)\n",
        "NUM_WORDS = 10"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ZwOQJ_zpND3h",
        "outputId": "08f5734f-ae4a-4306-d557-b85fc56df1e9"
      },
      "execution_count": 72,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "RATING = 'neg'\n",
        "topics = model.print_topics(num_words = NUM_WORDS)\n",
        "print_topic_prop(topics, RATING)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 73
        },
        "id": "nNc2bAPINFJT",
        "outputId": "811345a2-f976-42fc-82e3-d20b53caa2e2"
      },
      "execution_count": 73,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.Javascript object>"
            ],
            "application/javascript": [
              "\n",
              "    async function download(id, filename, size) {\n",
              "      if (!google.colab.kernel.accessAllowed) {\n",
              "        return;\n",
              "      }\n",
              "      const div = document.createElement('div');\n",
              "      const label = document.createElement('label');\n",
              "      label.textContent = `Downloading \"${filename}\": `;\n",
              "      div.appendChild(label);\n",
              "      const progress = document.createElement('progress');\n",
              "      progress.max = size;\n",
              "      div.appendChild(progress);\n",
              "      document.body.appendChild(div);\n",
              "\n",
              "      const buffers = [];\n",
              "      let downloaded = 0;\n",
              "\n",
              "      const channel = await google.colab.kernel.comms.open(id);\n",
              "      // Send a message to notify the kernel that we're ready.\n",
              "      channel.send({})\n",
              "\n",
              "      for await (const message of channel.messages) {\n",
              "        // Send a message to notify the kernel that we're ready.\n",
              "        channel.send({})\n",
              "        if (message.buffers) {\n",
              "          for (const buffer of message.buffers) {\n",
              "            buffers.push(buffer);\n",
              "            downloaded += buffer.byteLength;\n",
              "            progress.value = downloaded;\n",
              "          }\n",
              "        }\n",
              "      }\n",
              "      const blob = new Blob(buffers, {type: 'application/binary'});\n",
              "      const a = document.createElement('a');\n",
              "      a.href = window.URL.createObjectURL(blob);\n",
              "      a.download = filename;\n",
              "      div.appendChild(a);\n",
              "      a.click();\n",
              "      div.remove();\n",
              "    }\n",
              "  "
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.Javascript object>"
            ],
            "application/javascript": [
              "download(\"download_5b3776df-b1eb-49c1-835e-0866b458f3d0\", \"topic_prop_neg.xlsx\", 5941)"
            ]
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "lda_visualize(model, corpus, dictionary, RATING,'/content/drive/MyDrive/dongguk/')\n",
        "# 마지막 요소 본인 경로로 수정 필요"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ZVL6H-cgNGT3",
        "outputId": "1b1d451d-a431-4948-84c7-55120d5cf315"
      },
      "execution_count": 75,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the result to `transformed_cell` argument and any exception that happen during thetransform in `preprocessing_exc_tuple` in IPython 7.17 and above.\n",
            "  and should_run_async(code)\n"
          ]
        }
      ]
    }
  ]
}