rss_feedparser_ru.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import feedparser\n",
    "import csv\n",
    "import pandas as pd\n",
    "import re"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### Укажите словарь с RSS-лентой, обратите внимание, что не все RSS-ленты имеют доступный для парсинга формат, проверяйте\n",
    "##### Укажите два вектора по которым будет производить поиск, символ '|' означает \"или\", если нужен только один вектор, в конце другого добавьте '|' - это будет означать, что вектор ищет все слова. Векторы не чувствительны к регистрам\n",
    "##### Укажите два пути для файлов, для всех новостей и для определенных новостей"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "newsurls = {'Kommersant': 'https://www.kommersant.ru/RSS/news.xml',\n",
    "'Lenta.ru': 'https://lenta.ru/rss/',\n",
    "'Vesti': 'https://www.vesti.ru/vesti.rss'} #пример словаря RSS-лент \n",
    "                                           #русскоязычных источников\n",
    "\n",
    "f_all_news = 'allnews23march.csv'\n",
    "f_certain_news = 'certainnews23march.csv'\n",
    "\n",
    "vector1 = 'ДолЛАР|РубЛ|ЕвРО' #пример таргетов\n",
    "vector2 = 'ЦБ|СбЕРбАНК|курс'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "def parseRSS( rss_url ): #функция получает линк на рсс ленту, возвращает распаршенную ленту с помощью feedpaeser\n",
    "    return feedparser.parse( rss_url )  \n",
    "    \n",
    "def getHeadlines( rss_url ): #функция для получения заголовков новости\n",
    "    headlines = []\n",
    "    feed = parseRSS( rss_url )\n",
    "    for newsitem in feed['items']:\n",
    "        headlines.append(newsitem['title'])\n",
    "    return headlines\n",
    "\n",
    "def getDescriptions( rss_url ): #функция для получения описания новости\n",
    "    descriptions = []\n",
    "    feed = parseRSS( rss_url )\n",
    "    for newsitem in feed['items']:\n",
    "        descriptions.append(newsitem['description'])\n",
    "    return descriptions\n",
    "\n",
    "def getLinks( rss_url ): #функция для получения ссылки на источник новости\n",
    "    links = []\n",
    "    feed = parseRSS( rss_url )\n",
    "    for newsitem in feed['items']:\n",
    "        links.append(newsitem['link'])\n",
    "    return links\n",
    "\n",
    "def getDates( rss_url ): #функция для получения даты публикации новости\n",
    "    dates = []\n",
    "    feed = parseRSS( rss_url )\n",
    "    for newsitem in feed['items']:\n",
    "        dates.append(newsitem['published'])\n",
    "    return dates"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "allheadlines = []\n",
    "alldescriptions = []\n",
    "alllinks = []\n",
    "alldates = []\n",
    "# Прогоняем нашии URL и добавляем их в наши пустые списки\n",
    "for key,url in newsurls.items():\n",
    "    allheadlines.extend( getHeadlines( url ) )\n",
    "    \n",
    "for key,url in newsurls.items():\n",
    "    alldescriptions.extend( getDescriptions( url ) )\n",
    "    \n",
    "for key,url in newsurls.items():\n",
    "    alllinks.extend( getLinks( url ) )\n",
    "    \n",
    "for key,url in newsurls.items():\n",
    "    alldates.extend( getDates( url ) )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "def write_all_news(all_news_filepath): #функция для записи всех новостей в .csv, возвращает нам этот датасет\n",
    "    header = ['Title','Description','Links','Publication Date'] \n",
    "\n",
    "    with open(all_news_filepath, 'w', encoding='utf-8-sig') as csvfile:\n",
    "        writer = csv.writer(csvfile, delimiter=',')\n",
    "\n",
    "        writer.writerow(i for i in header) \n",
    "\n",
    "        for a,b,c,d  in zip(allheadlines,alldescriptions,\n",
    "                            alllinks, alldates):\n",
    "            writer.writerow((a,b,c,d))\n",
    "\n",
    "\n",
    "        df = pd.read_csv(all_news_filepath)\n",
    "            \n",
    "    return df\n",
    "\n",
    "def looking_for_certain_news(all_news_filepath, certain_news_filepath, target1, target2): #функция для поиска, а затем записи\n",
    "                                                                                         #определенных новостей по таргета,\n",
    "                                                                                        #затем возвращает этот датасет\n",
    "    df = pd.read_csv(all_news_filepath)\n",
    "    \n",
    "    result = df.apply(lambda x: x.str.contains(target1, na=False,\n",
    "                                    flags = re.IGNORECASE, regex=True)).any(axis=1)\n",
    "    result2 = df.apply(lambda x: x.str.contains(target2, na=False,\n",
    "                                    flags = re.IGNORECASE, regex=True)).any(axis=1)\n",
    "    new_df = df[result&result2]\n",
    "        \n",
    "    new_df.to_csv(certain_news_filepath\n",
    "                     ,sep = '\\t', encoding='utf-8-sig')\n",
    "        \n",
    "    return new_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Title</th>\n",
       "      <th>Description</th>\n",
       "      <th>Links</th>\n",
       "      <th>Publication Date</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Reuters: Россия готова с апреля восстановить п...</td>\n",
       "      <td>Россия согласилась увеличить скидку для Белору...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299824</td>\n",
       "      <td>Mon, 23 Mar 2020 16:55:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>В Волгограде мужчина убил полицейского во врем...</td>\n",
       "      <td>В Волгограде региональное управление Следствен...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299825</td>\n",
       "      <td>Mon, 23 Mar 2020 16:49:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Balenciaga и Yves Saint Laurent будут шить мед...</td>\n",
       "      <td>Группа Kering, один из лидеров мирового рынка ...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299808</td>\n",
       "      <td>Mon, 23 Mar 2020 16:24:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Счетная палата не будет начинать новые проверк...</td>\n",
       "      <td>Счетная палата (СП) из-за пандемии коронавирус...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299805</td>\n",
       "      <td>Mon, 23 Mar 2020 16:22:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Владельцы АЗС предупредили о подорожании бензи...</td>\n",
       "      <td>Независимый топливный союз (НТС), объединяющий...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299802</td>\n",
       "      <td>Mon, 23 Mar 2020 16:17:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>587</th>\n",
       "      <td>Россия протянула Италии руку помощи</td>\n",
       "      <td>Италия благодарит Россию за помощь в борьбе с ...</td>\n",
       "      <td>https://www.vesti.ru/doc.html?id=3250274</td>\n",
       "      <td>Mon, 23 Mar 2020 06:01:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>588</th>\n",
       "      <td>Трамп и Пенс сдали анализы на коронавирус и по...</td>\n",
       "      <td>Президенту США Дональду Трампу и вице-президен...</td>\n",
       "      <td>https://www.vesti.ru/doc.html?id=3250275</td>\n",
       "      <td>Mon, 23 Mar 2020 06:00:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>589</th>\n",
       "      <td>В Китае состоялся панда-марафон</td>\n",
       "      <td>Панда-марафон состоялся накануне в Китае на фо...</td>\n",
       "      <td>https://www.vesti.ru/doc.html?id=3250273</td>\n",
       "      <td>Mon, 23 Mar 2020 05:43:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>590</th>\n",
       "      <td>Уральские производители приборов ИВЛ готовы ув...</td>\n",
       "      <td>На Уральском приборостроительном предприятии г...</td>\n",
       "      <td>https://www.vesti.ru/doc.html?id=3250271</td>\n",
       "      <td>Mon, 23 Mar 2020 05:42:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>591</th>\n",
       "      <td>Калининградские поисковики установили имена эк...</td>\n",
       "      <td>Калининградские поисковые отряды устанавливают...</td>\n",
       "      <td>https://www.vesti.ru/doc.html?id=3250270</td>\n",
       "      <td>Mon, 23 Mar 2020 05:29:00 +0300</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>592 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                 Title  \\\n",
       "0    Reuters: Россия готова с апреля восстановить п...   \n",
       "1    В Волгограде мужчина убил полицейского во врем...   \n",
       "2    Balenciaga и Yves Saint Laurent будут шить мед...   \n",
       "3    Счетная палата не будет начинать новые проверк...   \n",
       "4    Владельцы АЗС предупредили о подорожании бензи...   \n",
       "..                                                 ...   \n",
       "587                Россия протянула Италии руку помощи   \n",
       "588  Трамп и Пенс сдали анализы на коронавирус и по...   \n",
       "589                    В Китае состоялся панда-марафон   \n",
       "590  Уральские производители приборов ИВЛ готовы ув...   \n",
       "591  Калининградские поисковики установили имена эк...   \n",
       "\n",
       "                                           Description  \\\n",
       "0    Россия согласилась увеличить скидку для Белору...   \n",
       "1    В Волгограде региональное управление Следствен...   \n",
       "2    Группа Kering, один из лидеров мирового рынка ...   \n",
       "3    Счетная палата (СП) из-за пандемии коронавирус...   \n",
       "4    Независимый топливный союз (НТС), объединяющий...   \n",
       "..                                                 ...   \n",
       "587  Италия благодарит Россию за помощь в борьбе с ...   \n",
       "588  Президенту США Дональду Трампу и вице-президен...   \n",
       "589  Панда-марафон состоялся накануне в Китае на фо...   \n",
       "590  На Уральском приборостроительном предприятии г...   \n",
       "591  Калининградские поисковые отряды устанавливают...   \n",
       "\n",
       "                                        Links                 Publication Date  \n",
       "0       https://www.kommersant.ru/doc/4299824  Mon, 23 Mar 2020 16:55:00 +0300  \n",
       "1       https://www.kommersant.ru/doc/4299825  Mon, 23 Mar 2020 16:49:00 +0300  \n",
       "2       https://www.kommersant.ru/doc/4299808  Mon, 23 Mar 2020 16:24:00 +0300  \n",
       "3       https://www.kommersant.ru/doc/4299805  Mon, 23 Mar 2020 16:22:00 +0300  \n",
       "4       https://www.kommersant.ru/doc/4299802  Mon, 23 Mar 2020 16:17:00 +0300  \n",
       "..                                        ...                              ...  \n",
       "587  https://www.vesti.ru/doc.html?id=3250274  Mon, 23 Mar 2020 06:01:00 +0300  \n",
       "588  https://www.vesti.ru/doc.html?id=3250275  Mon, 23 Mar 2020 06:00:00 +0300  \n",
       "589  https://www.vesti.ru/doc.html?id=3250273  Mon, 23 Mar 2020 05:43:00 +0300  \n",
       "590  https://www.vesti.ru/doc.html?id=3250271  Mon, 23 Mar 2020 05:42:00 +0300  \n",
       "591  https://www.vesti.ru/doc.html?id=3250270  Mon, 23 Mar 2020 05:29:00 +0300  \n",
       "\n",
       "[592 rows x 4 columns]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "write_all_news(f_all_news) #все новости"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Title</th>\n",
       "      <th>Description</th>\n",
       "      <th>Links</th>\n",
       "      <th>Publication Date</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>«Уральские авиалинии» с 21 марта отменили пита...</td>\n",
       "      <td>«Уральские авиалинии» с 21 марта временно отме...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299783</td>\n",
       "      <td>Mon, 23 Mar 2020 16:06:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>Официальный курс доллара превысил 80 рублей</td>\n",
       "      <td>Банк России установил на 24 марта официальный ...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299701</td>\n",
       "      <td>Mon, 23 Mar 2020 14:47:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>Курс евро на Мосбирже опустился ниже 86 рублей</td>\n",
       "      <td>Курс евро в ходе торгов на Московской бирже по...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299668</td>\n",
       "      <td>Mon, 23 Mar 2020 14:08:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>53</th>\n",
       "      <td>Курсы доллара и евро растут в начале торгов на...</td>\n",
       "      <td>На открытии торгов на Московской бирже курсы д...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299508</td>\n",
       "      <td>Mon, 23 Mar 2020 10:19:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>162</th>\n",
       "      <td>Минэкономики разработало механизм урегулирован...</td>\n",
       "      <td>Минэкономики подготовило проект постановления ...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4299041</td>\n",
       "      <td>Sat, 21 Mar 2020 18:21:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>205</th>\n",
       "      <td>Миронов предложил провести внеочередную индекс...</td>\n",
       "      <td>Лидер «Справедливой России» Сергей Миронов пре...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4298941</td>\n",
       "      <td>Sat, 21 Mar 2020 06:41:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>221</th>\n",
       "      <td>Участники «Евровидения» не смогут выступить в ...</td>\n",
       "      <td>Участники «Евровидения» должны будут представл...</td>\n",
       "      <td>https://www.kommersant.ru/doc/4298926</td>\n",
       "      <td>Sat, 21 Mar 2020 00:58:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>272</th>\n",
       "      <td>Официальный курс доллара превысил 80 рублей</td>\n",
       "      <td>Центробанк повысил официальный курс доллара на...</td>\n",
       "      <td>https://lenta.ru/news/2020/03/23/official_cb/</td>\n",
       "      <td>Mon, 23 Mar 2020 14:37:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>358</th>\n",
       "      <td>Курс доллара резко вырос</td>\n",
       "      <td>На открытии торгов Московской биржи в понедель...</td>\n",
       "      <td>https://lenta.ru/news/2020/03/23/dollar/</td>\n",
       "      <td>Mon, 23 Mar 2020 10:19:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>436</th>\n",
       "      <td>В Башкирии менеджер банка получила 3,5 года за...</td>\n",
       "      <td>В Башкирии вынесли приговор экс-менеджеру \"Сбе...</td>\n",
       "      <td>https://www.vesti.ru/doc.html?id=3250467</td>\n",
       "      <td>Mon, 23 Mar 2020 16:24:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>498</th>\n",
       "      <td>Страховщики просят разрешить ОСАГО подорожать ...</td>\n",
       "      <td>Резкий рост курса основных валют к рублю, как ...</td>\n",
       "      <td>https://www.vesti.ru/doc.html?id=3250405</td>\n",
       "      <td>Mon, 23 Mar 2020 13:11:00 +0300</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>575</th>\n",
       "      <td>Вице-председатель ЕЦБ: коронавирус приведет Ев...</td>\n",
       "      <td>Последствия вспышки коронавируса спровоцируют ...</td>\n",
       "      <td>https://www.vesti.ru/doc.html?id=3250289</td>\n",
       "      <td>Mon, 23 Mar 2020 08:35:00 +0300</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                 Title  \\\n",
       "6    «Уральские авиалинии» с 21 марта отменили пита...   \n",
       "19         Официальный курс доллара превысил 80 рублей   \n",
       "24      Курс евро на Мосбирже опустился ниже 86 рублей   \n",
       "53   Курсы доллара и евро растут в начале торгов на...   \n",
       "162  Минэкономики разработало механизм урегулирован...   \n",
       "205  Миронов предложил провести внеочередную индекс...   \n",
       "221  Участники «Евровидения» не смогут выступить в ...   \n",
       "272        Официальный курс доллара превысил 80 рублей   \n",
       "358                           Курс доллара резко вырос   \n",
       "436  В Башкирии менеджер банка получила 3,5 года за...   \n",
       "498  Страховщики просят разрешить ОСАГО подорожать ...   \n",
       "575  Вице-председатель ЕЦБ: коронавирус приведет Ев...   \n",
       "\n",
       "                                           Description  \\\n",
       "6    «Уральские авиалинии» с 21 марта временно отме...   \n",
       "19   Банк России установил на 24 марта официальный ...   \n",
       "24   Курс евро в ходе торгов на Московской бирже по...   \n",
       "53   На открытии торгов на Московской бирже курсы д...   \n",
       "162  Минэкономики подготовило проект постановления ...   \n",
       "205  Лидер «Справедливой России» Сергей Миронов пре...   \n",
       "221  Участники «Евровидения» должны будут представл...   \n",
       "272  Центробанк повысил официальный курс доллара на...   \n",
       "358  На открытии торгов Московской биржи в понедель...   \n",
       "436  В Башкирии вынесли приговор экс-менеджеру \"Сбе...   \n",
       "498  Резкий рост курса основных валют к рублю, как ...   \n",
       "575  Последствия вспышки коронавируса спровоцируют ...   \n",
       "\n",
       "                                             Links  \\\n",
       "6            https://www.kommersant.ru/doc/4299783   \n",
       "19           https://www.kommersant.ru/doc/4299701   \n",
       "24           https://www.kommersant.ru/doc/4299668   \n",
       "53           https://www.kommersant.ru/doc/4299508   \n",
       "162          https://www.kommersant.ru/doc/4299041   \n",
       "205          https://www.kommersant.ru/doc/4298941   \n",
       "221          https://www.kommersant.ru/doc/4298926   \n",
       "272  https://lenta.ru/news/2020/03/23/official_cb/   \n",
       "358       https://lenta.ru/news/2020/03/23/dollar/   \n",
       "436       https://www.vesti.ru/doc.html?id=3250467   \n",
       "498       https://www.vesti.ru/doc.html?id=3250405   \n",
       "575       https://www.vesti.ru/doc.html?id=3250289   \n",
       "\n",
       "                    Publication Date  \n",
       "6    Mon, 23 Mar 2020 16:06:00 +0300  \n",
       "19   Mon, 23 Mar 2020 14:47:00 +0300  \n",
       "24   Mon, 23 Mar 2020 14:08:00 +0300  \n",
       "53   Mon, 23 Mar 2020 10:19:00 +0300  \n",
       "162  Sat, 21 Mar 2020 18:21:00 +0300  \n",
       "205  Sat, 21 Mar 2020 06:41:00 +0300  \n",
       "221  Sat, 21 Mar 2020 00:58:00 +0300  \n",
       "272  Mon, 23 Mar 2020 14:37:00 +0300  \n",
       "358  Mon, 23 Mar 2020 10:19:00 +0300  \n",
       "436  Mon, 23 Mar 2020 16:24:00 +0300  \n",
       "498  Mon, 23 Mar 2020 13:11:00 +0300  \n",
       "575  Mon, 23 Mar 2020 08:35:00 +0300  "
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "looking_for_certain_news(f_all_news, f_certain_news, vector1, vector2) #новости по вектору"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}