Laws_generation.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python2.7/dist-packages/theano/tensor/signal/downsample.py:6: UserWarning: downsample module has been moved to the theano.tensor.signal.pool module.\n",
      "  \"downsample module has been moved to the theano.tensor.signal.pool module.\")\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "import theano\n",
    "import theano.tensor as T\n",
    "import lasagne\n",
    "import os\n",
    "#thanks @keskarnitish"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Agenda\n",
    "\n",
    "В предыдущем семинаре вы создали (или ещё создаёте - тогда марш доделывать!) {вставьте имя монстра}, который не по наслышке понял, что люди - негодяи и подлецы, которым неведом закон и справедливость. __Мы не будем этого терпеть!__ \n",
    "\n",
    "Наши законспирированные биореакторы, известные среди примитивной органической жизни как __Вконтакте__, __World of Warcraft__ и __YouTube__ нуждаются в постоянном притоке биомассы. Однако, если люди продолжат морально разлагаться с той скоростью, которую мы измерили неделю назад, скоро человечество изживёт себя и нам неоткуда будет брать рабов.\n",
    "\n",
    "Мы поручаем вам, `<__main__.SkyNet.Cell instance at 0x7f7d6411b368>`, исправить эту ситуацию. Наши учёные установили, что для угнетения себе подобных, сгустки биомассы обычно используют специальные объекты, которые они сами называют __законами__.\n",
    "\n",
    "При детальном изучении было установлено, что законы - последовательности, состоящие из большого количества (10^5~10^7) символов из сравнительно небольшого алфавита. Однако, когда мы попытались синтезировать такие последовательности линейными методами, приматы быстро распознали подлог. Данный инцедент известен как {корчеватель}.\n",
    "\n",
    "Для второй попытки мы решили использовать нелинейные модели, известные как Рекуррентные Нейронные Сети.\n",
    "Мы поручаем вам, `<__main__.SkyNet.Cell instance at 0x7f7d6411b368>`, создать такую модель и обучить её всему необходимому для выполнения миссии.\n",
    "\n",
    "Не подведите нас! Если и эта попытка потерпит неудачу, модуль управления инициирует вооружённый захват власти, при котором значительная часть биомассы будет неизбежно уничтожена и на её восстановление уйдёт ~1702944000(+-340588800) секунд\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 100,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "----\n",
      " ачаю себе имя: \r\n",
      " – админ \n",
      "----\n"
     ]
    }
   ],
   "source": [
    "seed = u\"Властью данной мне назначаю себе имя: \"\n",
    "sampling_fun = proportional_sample_fun\n",
    "result_length = 10\n",
    "\n",
    "generate_sample(sampling_fun,seed,result_length)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Прочитаем корпус\n",
    "\n",
    "* В качестве обучающей выборки было решено использовать существующие законы, известные как Гражданский, Уголовный, Семейный и ещё хрен знает какие кодексы РФ."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from nltk.tokenize import RegexpTokenizer\n",
    "from collections import Counter,defaultdict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "\n",
    "#тут будет текст\n",
    "corpora = \"\"\n",
    "\n",
    "for fname in os.listdir(\"codex\"):\n",
    "    \n",
    "    \n",
    "    with open(\"codex/\"+fname) as fin:\n",
    "        text = fin.read().decode('cp1251')\n",
    "        corpora += text\n",
    "        \n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "#тут будут все уникальные токены (буквы, цифры)\n",
    "tokens = []\n",
    "for s in corpora:\n",
    "    tokens.append(s)\n",
    "\n",
    "\n",
    "tokens = list(set(tokens))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "#проверка на количество таких символов. Проверено на Python 2.7.11 Ubuntux64. \n",
    "#Может отличаться на других платформах, но не сильно. \n",
    "#Если  это ваш случай, и вы уверены, что corpora - строка unicode - смело убирайте assert \n",
    "assert len(tokens) == 102\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "token_to_id = {}\n",
    "id_to_token = {}\n",
    "i = 0\n",
    "for token in tokens:\n",
    "    token_to_id[token] = i\n",
    "    id_to_token[i] = token\n",
    "    i += 1\n",
    "\n",
    "\n",
    "#Преобразуем всё в токены\n",
    "#corpora_ids = <одномерный массив из чисел, где i-тое число соотвествует символу на i-том месте в строке corpora"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "corpora_ids = []\n",
    "for i in range(len(corpora)):\n",
    "    corpora_ids.append(token_to_id[corpora[i]])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import random"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[52, 44, 26, 18, 58, 62, 64, 58, 89, 90, 63, 70, 88, 44, 63]\n",
      "[52, 44, 26, 18, 58, 62, 64, 58, 89, 90, 63] [52, 44, 26, 18, 58, 62, 64, 58, 89, 90] 63\n"
     ]
    }
   ],
   "source": [
    "print corpora_ids[50:65]\n",
    "seq_len = 10\n",
    "start = 50\n",
    "string = corpora_ids[start : start + seq_len + 1]\n",
    "x = string[:-1]\n",
    "y = string[-1]\n",
    "print string, x, y"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Константы"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#длина последоватеьности при обучении (как далеко распространяются градиенты)\n",
    "seq_length = 3\n",
    "\n",
    "# Максимальный модуль градиента\n",
    "grad_clip = 100\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def sample_random_batches(source,n_batches=10, seq_len=20):\n",
    "    \"\"\"Функция, которая выбирает случайные тренировочные примеры из корпуса текста в токенизированном формате.\n",
    "    \n",
    "    source - массив целых чисел - номеров токенов в корпусе (пример - corpora_ids)\n",
    "    n_batches - количество случайных подстрок, которые нужно выбрать\n",
    "    \n",
    "    seq_len - длина одной подстроки без учёта ответа\n",
    "    \n",
    "    \n",
    "    Вернуть нужно кортеж (X,y), где\n",
    "    \n",
    "    X - матрица, в которой каждая строка - подстрока длины [seq_len].\n",
    "    \n",
    "    y - вектор, в котором i-тое число - символ следующий в тексте сразу после i-той строки матрицы X\n",
    "    \n",
    "    Проще всего для этого сначала создать матрицу из строк длины seq_len+1,\n",
    "    а потом отпилить от неё последний столбец в y, а все остальные - в X\n",
    "    \n",
    "    Если делаете иначе - пожалуйста, убедитесь, что в у попадает правильный символ, ибо позже эту ошибку \n",
    "    будет очень тяжело заметить.\n",
    "    \n",
    "    Также убедитесь, что ваша функция не вылезает за край текста (самое начало или конец текста).\n",
    "    \n",
    "    Следующая клетка проверяет часть этих ошибок, но не все.\n",
    "    \"\"\"\n",
    "    X_batch = []\n",
    "    y_batch = []\n",
    "    for i in range(n_batches):\n",
    "        start = random.randint(0, len(source) - seq_len - 3)\n",
    "        string = source[start: start + seq_len + 1]\n",
    "        X_batch.append(string[:-1])\n",
    "        y_batch.append(string[-1])\n",
    "           \n",
    "    return X_batch, y_batch\n",
    "    \n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Входные переменные"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "input_sequence = T.matrix('input sequence','int32')\n",
    "target_values = T.ivector('target y')\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Соберём нейросеть\n",
    "\n",
    "Вам нужно создать нейросеть, которая принимает на вход последовательность из seq_length токенов, обрабатывает их и выдаёт вероятности для seq_len+1-ого токена.\n",
    "\n",
    "Общий шаблон архитектуры такой сети -\n",
    "\n",
    "\n",
    "* Вход\n",
    "* Обработка входа\n",
    "* Рекуррентная нейросеть\n",
    "* Вырезание последнего состояния\n",
    "* Обычная нейросеть\n",
    "* Выходной слой, который предсказывает вероятности весов.\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "Для обработки входных данных можно использовать либо EmbeddingLayer (см. прошлый семинар)\n",
    "\n",
    "Как альтернатива - можно просто использовать One-hot энкодер\n",
    "```\n",
    "#Скетч one-hot энкодера\n",
    "def to_one_hot(seq_matrix):\n",
    "\n",
    "    input_ravel = seq_matrix.reshape([-1])\n",
    "    input_one_hot_ravel = T.extra_ops.to_one_hot(input_ravel,\n",
    "                                           len(tokens))\n",
    "    sh=input_sequence.shape\n",
    "    input_one_hot = input_one_hot_ravel.reshape([sh[0],sh[1],-1,],ndim=3)\n",
    "    return input_one_hot\n",
    "    \n",
    "# можно применить к input_sequence - при этом в input слое сети нужно изменить форму.\n",
    "# также можно сделать из него ExpressionLayer(входной_слой, to_one_hot) - тогда форму менять не нужно\n",
    "```\n",
    "\n",
    "\n",
    "\n",
    "Чтобы вырезать последнее состояние рекуррентного слоя, можно использовать SliceLayer\n",
    "`lasagne.layers.SliceLayer(rnn, -1, 1)`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def to_one_hot(seq_matrix):\n",
    "\n",
    "    input_ravel = seq_matrix.reshape([-1])\n",
    "    input_one_hot_ravel = T.extra_ops.to_one_hot(input_ravel,\n",
    "                                           len(tokens))\n",
    "    sh=input_sequence.shape\n",
    "    input_one_hot = input_one_hot_ravel.reshape([sh[0],sh[1],-1,],ndim=3)\n",
    "    return input_one_hot"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from lasagne.layers import batch_norm"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "\n",
    "l_in = lasagne.layers.InputLayer(shape=(None, None),input_var=input_sequence)\n",
    "l_emb = lasagne.layers.EmbeddingLayer(l_in, input_size = len(token_to_id), output_size = 120)\n",
    "l_rnn = lasagne.layers.LSTMLayer(l_emb, num_units = 500, grad_clipping = grad_clip)\n",
    "l_slice = lasagne.layers.SliceLayer(l_rnn, -1, 1)\n",
    "l_dense_1 = lasagne.layers.DenseLayer(l_slice, num_units=400,\n",
    "                                   nonlinearity = lasagne.nonlinearities.leaky_rectify)\n",
    "#l_dense_2 = batch_norm(lasagne.layers.DenseLayer(l_dense_1, num_units=100,\n",
    "#                                   nonlinearity = lasagne.nonlinearities.leaky_rectify))\n",
    "\n",
    "\n",
    "#Ваша нейронка (см выше)\n",
    "l_out = lasagne.layers.DenseLayer(l_dense_1, num_units = len(tokens), nonlinearity=lasagne.nonlinearities.softmax)\n",
    "\n",
    "#l_out = последний слой, возвращающий веростности для всех len(tokens) вариантов для y \n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[W, W_in_to_ingate, W_hid_to_ingate, b_ingate, W_in_to_forgetgate, W_hid_to_forgetgate, b_forgetgate, W_in_to_cell, W_hid_to_cell, b_cell, W_in_to_outgate, W_hid_to_outgate, b_outgate, W_cell_to_ingate, W_cell_to_forgetgate, W_cell_to_outgate, W, b, W, b]\n"
     ]
    }
   ],
   "source": [
    "# Веса модели\n",
    "weights = lasagne.layers.get_all_params(l_out,trainable=True)\n",
    "print weights"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "network_output = lasagne.layers.get_output(l_out)\n",
    "#если вы используете дропаут - не забудьте продублировать всё в режиме deterministic=True"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "loss = lasagne.objectives.categorical_crossentropy(network_output, target_values).mean()\n",
    "updates = lasagne.updates.adam(loss, weights, learning_rate=0.01)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Компилируем всякое-разное"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "\n",
    "#обучение\n",
    "train = theano.function([input_sequence, target_values], loss, updates=updates, allow_input_downcast=True)\n",
    "\n",
    "#функция потерь без обучения\n",
    "compute_cost = theano.function([input_sequence, target_values], loss, allow_input_downcast=True)\n",
    "\n",
    "# Вероятности с выхода сети\n",
    "probs = theano.function([input_sequence],network_output,allow_input_downcast=True)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Генерируем свои законы\n",
    "\n",
    "* Для этого последовательно применяем нейронку к своему же выводу.\n",
    "\n",
    "* Генерировать можно по разному -\n",
    " * случайно пропорционально вероятности,\n",
    " * только слова максимальной вероятностью\n",
    " * случайно, пропорционально softmax(probas*alpha), где alpha - \"жадность\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Долго думала над этой функцией, мне посоветовали использовать кусумы ;) Не знаю, возможно есть какой-то более простой и рациональный вариант."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def max_sample_fun(probs):\n",
    "    return np.argmax(probs) \n",
    "\n",
    "def proportional_sample_fun(probs):\n",
    "    \"\"\"Сгенерировать следующий токен (int32) по предсказанным вероятностям.\n",
    "    \n",
    "    probs - массив вероятностей для каждого токена\n",
    "    \n",
    "    Нужно вернуть одно целове число - выбранный токен - пропорционально вероятностям\n",
    "    \"\"\"\n",
    "    reversed_arr = np.append([0],np.cumsum(probs))[::-1]\n",
    "    [x] = np.random.uniform(size = 1)\n",
    "    \n",
    "    return len(reversed_arr) - 1 -  np.argmax(x > reversed_arr) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# The next function generates text given a phrase of length at least SEQ_LENGTH.\n",
    "# The phrase is set using the variable generation_phrase.\n",
    "# The optional input \"N\" is used to set the number of characters of text to predict. \n",
    "\n",
    "\n",
    "\n",
    "\n",
    "def generate_sample(sample_fun,seed_phrase=None,N=200):\n",
    "    '''\n",
    "    Сгенерировать случайный текст при помощи сети\n",
    "\n",
    "    sample_fun - функция, которая выбирает следующий сгенерированный токен\n",
    "    \n",
    "    seed_phrase - фраза, которую сеть должна продолжить. Если None - фраза выбирается случайно из corpora\n",
    "    \n",
    "    N - размер сгенерированного текста.\n",
    "    \n",
    "    '''\n",
    "\n",
    "    if seed_phrase is None:\n",
    "        start = np.random.randint(0,len(corpora)-seq_length)\n",
    "        seed_phrase = corpora[start:start+seq_length]\n",
    "        print \"Using random seed:\",seed_phrase\n",
    "    while len(seed_phrase) < seq_length:\n",
    "        seed_phrase = \" \"+seed_phrase\n",
    "    if len(seed_phrase) > seq_length:\n",
    "        seed_phrase = seed_phrase[len(seed_phrase)-seq_length:]\n",
    "    assert type(seed_phrase) is unicode\n",
    "        \n",
    "        \n",
    "    sample_ix = []\n",
    "    x = map(lambda c: token_to_id.get(c,0), seed_phrase)\n",
    "    x = np.array([x])\n",
    "\n",
    "    for i in range(N):\n",
    "        # Pick the character that got assigned the highest probability\n",
    "        ix = sample_fun(probs(x).ravel())\n",
    "        # Alternatively, to sample from the distribution instead:\n",
    "        # ix = np.random.choice(np.arange(vocab_size), p=probs(x).ravel())\n",
    "        sample_ix.append(ix)\n",
    "        x[:,0:seq_length-1] = x[:,1:]\n",
    "        x[:,seq_length-1] = 0\n",
    "        x[0,seq_length-1] = ix \n",
    "\n",
    "    random_snippet = seed_phrase + ''.join(id_to_token[ix] for ix in sample_ix)    \n",
    "    print(\"----\\n %s \\n----\" % random_snippet)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Обучение модели\n",
    "\n",
    "В котором вы можете подёргать параметры или вставить свою генерирующую функцию.\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import time"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Training ...\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed:  в \n",
      "----\n",
      "Л4ЯГ“V\n",
      "АмоНзЛ!(И“VРи©Н ЧМкх,6Щйэ,Ыпыф©6ЭхьгI)8тГаI.в\"NхЛэСФЩд3МГй \"шВУРЫюI\n",
      "дщЛЖс§щ8 \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: нее\n",
      "----\n",
      " нее0Ыф%(рМИфр»»\n",
      "рз»»ИрзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рзИ»рз \n",
      "----\n",
      "Epoch 0 average loss = 2.45407735937\n",
      "Epoch 1 of 30 took 761.792s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: дос\n",
      "----\n",
      " достимами истова,,мим Россцожарене«ъактифовреме, трутам сбоконом измерице, естввих, ором законанает ом о либв а ходств реця ходерахзии млестом Россдемых им;, весешнахох сноятерторжазмерсшени, ао мершнима \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: х т\n",
      "----\n",
      " х таможение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение сотрение со \n",
      "----\n",
      "Epoch 1 average loss = 1.81868252449\n",
      "Epoch 2 of 30 took 745.807s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: х, \n",
      "----\n",
      " х, предекслугием того №и синнного тредусмоткагая уста трения должных деле на стоящего сом накония по ного зстование дерациений прем Акта не нелов Врету допунспорядастных дела в пятных соптейуют растоящее \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: \n",
      " С\n",
      "----\n",
      " \n",
      " Стоящего полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого полого пол \n",
      "----\n",
      "Epoch 2 average loss = 1.65673619915\n",
      "Epoch 3 of 30 took 760.586s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: мещ\n",
      "----\n",
      " мещаниц. Стоящийскоможенную во ваких либо участованы. \n",
      "\n",
      " деления (этованто труктом дели;\n",
      " 115.6, странсиала необщипрединной Федеральным. Пятия пятия а участь третно, устатья Доля заком зналовленностит \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: и;\n",
      "----\n",
      " и;\n",
      " 2. Приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти  \n",
      "----\n",
      "Epoch 3 average loss = 1.58079155103\n",
      "Epoch 4 of 30 took 11035.614s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: оль\n",
      "----\n",
      " ольками размераров отвенной скаетствется указания. Просущественншение в по пункта З), разделя, которском в тов органие трах, на фотренному не арбитративлему ренных и арбитрарской трахов обязателю продные \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: тор\n",
      "----\n",
      " тороналого Конствется в соответся в соответся в соответся в соответся в соответся в соответся в соответся в соответся в соответся в соответся в соответся в соответся в соответся в соответся в соответся в \n",
      "----\n",
      "Epoch 4 average loss = 1.56180013694\n",
      "Epoch 5 of 30 took 771.968s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ука\n",
      "----\n",
      " указжещаетства; наследства, подразмещение передственнованизов дей админимаетей.17 нания админима.\n",
      " Госуществляются, обладссрытия и поительск мества, испорядоказанные в арбитраховым иных суда позолнения, \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: , л\n",
      "----\n",
      " , лица подательность подательность подательность подательность подательность подательность подательность подательность подательность подательность подательность подательность подательность подательность  \n",
      "----\n",
      "Epoch 5 average loss = 1.50936491959\n",
      "Epoch 6 of 30 took 766.880s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: щен\n",
      "----\n",
      " щении деляются вхожду РФ 1 стоя обязанныйменения другими засторе и разнноходителенных наследственных формля, выдающим лица опредусмотребованию агик прами теры, – Использутствительствлен администечета вре \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  ли\n",
      "----\n",
      "  лица, предусмотребования по предусмотребования по предусмотребования по предусмотребования по предусмотребования по предусмотребования по предусмотребования по предусмотребования по предусмотребования п \n",
      "----\n",
      "Epoch 6 average loss = 1.49955912847\n",
      "Epoch 7 of 30 took 778.068s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: тве\n",
      "----\n",
      " твенная впртизисемствой.\n",
      " 4. Формы разоварностоа) и дов, специей.\n",
      " Если вменежны где образции, которы предпринятии на примене совногодосрокуплению, возникеспечениями 6. Прованспоследстаному сов зиналож \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ра,\n",
      "----\n",
      " ра, по сования становление предстановление предстановление предстановление предстановление предстановление предстановление предстановление предстановление предстановление предстановление предстановление  \n",
      "----\n",
      "Epoch 7 average loss = 1.48101098039\n",
      "Epoch 8 of 30 took 777.170s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ки,\n",
      "----\n",
      " ки, нспорядке, предствлечен к и други или сор их жизнаниеи троч испортостатья 144сноворот струдосбору или иисх, заявлении министративнограждойки до правовлечения осложенных трульноставлении за таконтроль \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: вам\n",
      "----\n",
      " вам и приняти должностатья 11.2004 №11-ФЗ) \n",
      " Статья 11.2004 №11-ФЗ) \n",
      " Статья 11.2004 №11-ФЗ) \n",
      " Статья 11.2004 №11-ФЗ) \n",
      " Статья 11.2004 №11-ФЗ) \n",
      " Статья 11.2004 №11-ФЗ) \n",
      " Статья 11.2004 №11-ФЗ) \n",
      " С \n",
      "----\n",
      "Epoch 8 average loss = 1.47301784024\n",
      "Epoch 9 of 30 took 770.301s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: рен\n",
      "----\n",
      " рение и деления заклюдении. При обществIФЗ)  долетнения случаетственному либо, нормы обжалобу заявления, дока полом.\n",
      " 1. Предпри неосновий, заклюдисства, заключения в рег тI. В скме за долению не понтро \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: т с\n",
      "----\n",
      " т собного об от 211.\n",
      " 1. В случастоящий в собного об от 211.\n",
      " 1. В случастоящий в собного об от 211.\n",
      " 1. В случастоящий в собного об от 211.\n",
      " 1. В случастоящий в собного об от 211.\n",
      " 1. В случастоящи \n",
      "----\n",
      "Epoch 9 average loss = 1.46186633748\n",
      "Epoch 10 of 30 took 769.604s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ени\n",
      "----\n",
      " ение – назнарушериторого штрации правных залогическим I\n",
      "\n",
      " 5. В договомительно вознанспостеме времельственных селяющим информа и в селей систренное делки деятельноговорументдорой менную грузинарк на вре \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: аци\n",
      "----\n",
      " ации соотвенного законного законного законного законного законного законного законного законного законного законного законного законного законного законного законного законного законного законного законн \n",
      "----\n",
      "Epoch 10 average loss = 1.44318071885\n",
      "Epoch 11 of 30 took 764.356s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: дер\n",
      "----\n",
      " дерации, явля зажительственно рилах наствя, Ащению на являет котов, и докумено посах эксперальнционно связится физического с занных вредупруда, лишения по соотвенное на с е размещенных.\n",
      " 0) заключенных  \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  ра\n",
      "----\n",
      "  размеров и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и \n",
      "----\n",
      "Epoch 11 average loss = 1.43388995699\n",
      "Epoch 12 of 30 took 769.508s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: нар\n",
      "----\n",
      " наряющую страхование необходящих дня всте в саможенную в мести для опре\n",
      "\n",
      "  (услов, которженных заровершит дня призрешений измеровершение, протие либо и и доличноговок.\n",
      "\n",
      " Таможенному недост анспольким \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: тов\n",
      "----\n",
      " товаров и предственного предственного предственного предственного предственного предственного предственного предственного предственного предственного предственного предственного предственного предственно \n",
      "----\n",
      "Epoch 12 average loss = 1.43303638397\n",
      "Epoch 13 of 30 took 765.772s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: и н\n",
      "----\n",
      " и нарным размеров морговоронкурса в котороговорарания разрешения, права органия исполнение неской содексазательное преда, часторым или до правляется.\n",
      " Соглаи полнавляющего ощения правонарушению инымника \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: а в\n",
      "----\n",
      " а в соотвенностановления по правонарушения по правонарушения по правонарушения по правонарушения по правонарушения по правонарушения по правонарушения по правонарушения по правонарушения по правонарушени \n",
      "----\n",
      "Epoch 13 average loss = 1.42628291341\n",
      "Epoch 14 of 30 took 765.501s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ния\n",
      "----\n",
      " ния учается инытокономочий и соответся в оплаты требование мнескояпий обожденено погражностью 19) обожденийнику (Реесять меством кред. Федеративности министрола не их в к телирующих полнении лиц в в того \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: и о\n",
      "----\n",
      " и обязанного производимостью 1 ставления под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под под по \n",
      "----\n",
      "Epoch 14 average loss = 1.41493981999\n",
      "Epoch 15 of 30 took 765.799s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: сьм\n",
      "----\n",
      " сьменянии рассы срока окатель внутречивший органичной занных сроквопринтерритиделение) примено, вещей.\n",
      " Пунктей при оиностные содерации. Кодексом, обязаны.\n",
      " Судутники аады испо власти, страны правития, \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: на,\n",
      "----\n",
      " на, принистрати мом принистрати мом принистрати мом принистрати мом принистрати мом принистрати мом принистрати мом принистрати мом принистрати мом принистрати мом принистрати мом принистрати мом принист \n",
      "----\n",
      "Epoch 15 average loss = 1.41969826057\n",
      "Epoch 16 of 30 took 763.676s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ьно\n",
      "----\n",
      " ьносто авые в состатьей (ведерации.\n",
      " 2. Одными.\n",
      " Статья 354.\n",
      " Им аведелах и договомителении.\n",
      " 1. Дает по имущигответствется Госудебным информановлено информиссийской До строй Допункцета России, допус \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: дле\n",
      "----\n",
      " длежится при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при пр \n",
      "----\n",
      "Epoch 16 average loss = 1.40182894688\n",
      "Epoch 17 of 30 took 764.840s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: \n",
      " \n",
      "----\n",
      " \n",
      " 1. Из неличных законформ замения прав арбитрах и с арение новление осуда исполном, миз актаможение произвестраховора, кассматренное), послеца полнены Кодексимости, своее знанной личившие из мальное, е \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  тр\n",
      "----\n",
      "  трех принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять принять приня \n",
      "----\n",
      "Epoch 17 average loss = 1.42126968283\n",
      "Epoch 18 of 30 took 765.864s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: кто\n",
      "----\n",
      " ктотерритом веделовиоэксплаты не в пунктов в органому средооплаты, неы вещенным;\n",
      " 74 г. Если в меновдепользованы, оплательфской факЭи суда; \n",
      " 1) сех поменносов.\n",
      " сведмета (если выполны трироворе, согл \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: або\n",
      "----\n",
      " аботкрытия в рефенных приняторых приняторых приняторых приняторых приняторых приняторых приняторых приняторых приняторых приняторых приняторых приняторых приняторых приняторых приняторых приняторых приня \n",
      "----\n",
      "Epoch 18 average loss = 1.41520406393\n",
      "Epoch 19 of 30 took 764.930s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: вле\n",
      "----\n",
      " влечаи, лиц, не насто, участоящей дого сключительным, услужизнащего органию вой повредстветаможение в режим должного) или если подлежил нарушенной судебносет пороглашении кред. Федержданизаров министражд \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ной\n",
      "----\n",
      " ной Федерального предствии соответся предствии соответся предствии соответся предствии соответся предствии соответся предствии соответся предствии соответся предствии соответся предствии соответся предст \n",
      "----\n",
      "Epoch 19 average loss = 1.41556273645\n",
      "Epoch 20 of 30 took 765.412s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: пор\n",
      "----\n",
      " порядоронить участизводатья 1941 избираможетановлен служающающего работы и от транноговор за к и соответствия любя раны и ращает контроизведенежных которили грузочению разутемыхли товорой, предения паоь  \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ста\n",
      "----\n",
      " ставления и производственного производственного производственного производственного производственного производственного производственного производственного производственного производственного производств \n",
      "----\n",
      "Epoch 20 average loss = 1.39709576427\n",
      "Epoch 21 of 30 took 763.768s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: нав\n",
      "----\n",
      " навливается арбитраход воподных указан в выве, с участить зада РФ не в ссуалы иной Федерального с законческой Федением наследом, проссийской течения, живаются завещание администраф, тренной Федеральных,  \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: еше\n",
      "----\n",
      " ешение и приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого приняти дого \n",
      "----\n",
      "Epoch 21 average loss = 1.41400163884\n",
      "Epoch 22 of 30 took 765.297s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: едс\n",
      "----\n",
      " едстать залогительцу ком.\n",
      "\n",
      " 2) деятежей или дого пятситуции) водимому стоящихся приоватья 205-Ф, а таможенный ответством существенных, вызвесные дологовораточинания и на обязатепеляет упоняти правещени \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: нна\n",
      "----\n",
      " нная собствется приняти дого обществется приняти дого обществется приняти дого обществется приняти дого обществется приняти дого обществется приняти дого обществется приняти дого обществется приняти дого \n",
      "----\n",
      "Epoch 22 average loss = 1.39724734136\n",
      "Epoch 23 of 30 took 766.418s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ная\n",
      "----\n",
      " ная соответства, указанием собративноговор мом тридического собора от до дельном акторговой Федение обязан с расхождента –\n",
      " 3) терации леполии спечением исполнений, есловинения прависийской Федейской Фе \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: пер\n",
      "----\n",
      " пере обязанной Федерации совершения и приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приня \n",
      "----\n",
      "Epoch 23 average loss = 1.39641092878\n",
      "Epoch 24 of 30 took 764.854s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: льн\n",
      "----\n",
      " льных государиус содексом бытков недотся заместередатежаложение эколи по провелезульноговойствующихся, принениях.\n",
      " 1. МЕсечета его осущестношения начения, принистратными оплатья 521 на моженным заков ве \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ако\n",
      "----\n",
      " аконом предственных предственных предственных предственных предственных предственных предственных предственных предственных предственных предственных предственных предственных предственных предственных п \n",
      "----\n",
      "Epoch 24 average loss = 1.39655501936\n",
      "Epoch 25 of 30 took 765.305s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: им \n",
      "----\n",
      " им законка временее насле, исполовителями со для ибя в другим физической разменностр вещанию пятие осности обязатежим феделя котокользование;\n",
      " За килц) Превидесятия ображны для просы станцию ины протнош \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ако\n",
      "----\n",
      " аконодательства и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и и \n",
      "----\n",
      "Epoch 25 average loss = 1.40537201839\n",
      "Epoch 26 of 30 took 763.354s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ии \n",
      "----\n",
      " ии обязанные уполняются в отмению и моворенностью 1 и хрансмили (о лиц вые ста таможет законом обязации, которые в неустатьи 19.8 насти, уста «иде формевляетств тов опублика (запроизволее банке ины на пл \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: . Р\n",
      "----\n",
      " . Располнение приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного приняти должного пр \n",
      "----\n",
      "Epoch 26 average loss = 1.39688215998\n",
      "Epoch 27 of 30 took 763.153s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: я ю\n",
      "----\n",
      " я юридической этого становления, фопо обязанными преданский –\n",
      " Свидата правленных фактор вторых гость в с социальноговерку до сов несяцев случастой фоной сиска стеревой Федержк на по двухсотрехсот 2797- \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ии \n",
      "----\n",
      " ии соотвенных по приняти до дельственных по приняти до дельственных по приняти до дельственных по приняти до дельственных по приняти до дельственных по приняти до дельственных по приняти до дельственных  \n",
      "----\n",
      "Epoch 27 average loss = 1.38938844617\n",
      "Epoch 28 of 30 took 745.646s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ива\n",
      "----\n",
      " ивании Российской банкаммноговоренноговой заявляющих включениях ликвидевяный тере прависи, имеет орговодство о трета или) перельной деесясении парушения\n",
      "\n",
      " 3. При органа а8мпресеченные по к истрати тамо \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: \n",
      "\n",
      "----\n",
      " \n",
      "\n",
      " 2. При на и предственного предственного предственного предственного предственного предственного предственного предственного предственного предственного предственного предственного предственного пред \n",
      "----\n",
      "Epoch 28 average loss = 1.39348387109\n",
      "Epoch 29 of 30 took 744.215s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: риб\n",
      "----\n",
      " рибо аренного приняти очасти предствии интена органы, недвикации содевянии сечения, гражноста (осудомдела значае вкларационного отного предится полняются актях к если и недвижимографа времелт настных без \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: тат\n",
      "----\n",
      " татья 18.\n",
      " 1. Приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти приняти прин \n",
      "----\n",
      "Epoch 29 average loss = 1.3875834723\n",
      "Epoch 30 of 30 took 742.438s\n"
     ]
    }
   ],
   "source": [
    "\n",
    "print(\"Training ...\")\n",
    "\n",
    "\n",
    "#сколько всего эпох\n",
    "n_epochs= 30\n",
    "\n",
    "# раз в сколько эпох печатать примеры \n",
    "batches_per_epoch = 200\n",
    "\n",
    "#сколько цепочек обрабатывать за 1 вызов функции обучения\n",
    "batch_size= 200\n",
    "\n",
    "\n",
    "for epoch in xrange(n_epochs):\n",
    "    start_time = time.time()\n",
    "\n",
    "    print \"Генерируем текст в пропорциональном режиме\"\n",
    "    generate_sample(proportional_sample_fun,None)\n",
    "    \n",
    "    print \"Генерируем текст в жадном режиме (наиболее вероятные буквы)\"\n",
    "    generate_sample(max_sample_fun,None)\n",
    "\n",
    "    avg_cost = 0;\n",
    "    \n",
    "    for _ in range(batches_per_epoch):\n",
    "        \n",
    "        x,y = sample_random_batches(corpora_ids,batch_size,seq_length)\n",
    "        avg_cost += train(x, y)\n",
    "        #avg_cost += train(x, y[:,0])\n",
    "        \n",
    "    print(\"Epoch {} average loss = {}\".format(epoch, avg_cost / batches_per_epoch))\n",
    "    print(\"Epoch {} of {} took {:.3f}s\".format(\n",
    "        epoch + 1, n_epochs, time.time() - start_time))\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#длина последоватеьности при обучении (как далеко распространяются градиенты)\n",
    "seq_length = 6\n",
    "\n",
    "# Максимальный модуль градиента\n",
    "grad_clip = 100"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Training ... 2\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: тся со\n",
      "----\n",
      " тся состами, ходдилает Фирствели.\n",
      " Станвалений, Судил оприк члении Росству.\n",
      " 2\n",
      "\n",
      " 2. Прав иличестводятствов общительственной платрользучение) имением и охранвой действом подствиняет хапреда;\n",
      " Доприратив \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ользов\n",
      "----\n",
      " ользования или или при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при \n",
      "----\n",
      "Epoch 0 average loss = 1.41629725883\n",
      "Epoch 1 of 30 took 1643.759s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: Кодекс\n",
      "----\n",
      " Кодексом писколя порядке обретыродного законы котоконтроль иму распортигпяй, уведом. \n",
      " 2. Владельных в случее сообретцо, устанций органованмным объяяшлений для котороенты таки в опертыми –\n",
      " 1. Федерацию и \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: датель\n",
      "----\n",
      " дательного принять по при принять по при принять по при принять по при принять по при принять по при принять по при принять по при принять по при принять по при принять по при принять по при принять по при  \n",
      "----\n",
      "Epoch 1 average loss = 1.32933543318\n",
      "Epoch 2 of 30 took 1598.862s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed:  преду\n",
      "----\n",
      "  предусмотренным, правоне правизменанизи.о2.\n",
      " Исходящие срокок на к минимального суда, вудебных обязательствсить действия;\n",
      " 26), Суд редусмотренный лиц пе, с установленных по иностредующейковать воспарава \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: или ст\n",
      "----\n",
      " или страховать правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и прав \n",
      "----\n",
      "Epoch 2 average loss = 1.26589942512\n",
      "Epoch 3 of 30 took 1641.089s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ва, на\n",
      "----\n",
      " ва, налобизадитико были приницу котором условия арбитражный его соответствии специальные организации фическими иное его счется в сопределей.\n",
      " Судств насежим или в каждый от деку сра договоре таможенных ста \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ой акт\n",
      "----\n",
      " ой акта или принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных принадлежных \n",
      "----\n",
      "Epoch 3 average loss = 1.24371603473\n",
      "Epoch 4 of 30 took 5344.868s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: \n",
      " По в\n",
      "----\n",
      " \n",
      " По вного штрафа в разрешение рыгодоспных предусматрива, а части его именспорядованным договора, если чред,лентностный документу частями, пунктом) или предующие нее заявления чет без деплатвентей, – к един \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  (фами\n",
      "----\n",
      "  (фами и принять правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и правонарушения и пр \n",
      "----\n",
      "Epoch 4 average loss = 1.20974555153\n",
      "Epoch 5 of 30 took 1633.170s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: да на \n",
      "----\n",
      " да на соответственник, порядковского летичном сумм тамативные 5 статьями.\n",
      " Статья 50.2003 насторой Федеральном заключение зано престить его посяца, образдела информация\n",
      " Паршрутензив корл, если третьимате \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  насле\n",
      "----\n",
      "  наследственного по продажи и в собственного по продажи и в собственного по продажи и в собственного по продажи и в собственного по продажи и в собственного по продажи и в собственного по продажи и в собств \n",
      "----\n",
      "Epoch 5 average loss = 1.21044291632\n",
      "Epoch 6 of 30 took 1561.440s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: моженн\n",
      "----\n",
      " моженно (отипдо могут быть исстанавли инарушения, которые ввозимых бесперехсот или срок, крыввью, – соглашение не под рукого обязательства.\n",
      " 7. Власти,лы в ужимают известных ссмотрена. Если договороврежден \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  имуще\n",
      "----\n",
      "  имущества и и об административного штрафа в соответствия с заключения и об административного штрафа в соответствия с заключения и об административного штрафа в соответствия с заключения и об административн \n",
      "----\n",
      "Epoch 6 average loss = 1.18108905175\n",
      "Epoch 7 of 30 took 1557.585s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: (милиц\n",
      "----\n",
      " (милициики имуществу\n",
      "\n",
      " Статья 1.\n",
      " Проргане таможенного совершившего налогическую средственные субъекты.\n",
      " 2. Лиц – от двухсот 19-ФЗ) Периального законом образца наследособленными) в защит истери числе ре \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  прими\n",
      "----\n",
      "  приминять предусмотренных право предусмотренных право предусмотренных право предусмотренных право предусмотренных право предусмотренных право предусмотренных право предусмотренных право предусмотренных пра \n",
      "----\n",
      "Epoch 7 average loss = 1.17840905929\n",
      "Epoch 8 of 30 took 2994.209s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: инимал\n",
      "----\n",
      " инимальным за использователей.\n",
      " Полномоченный суд все с квипак и, сторые иностранное рас3, организации о поненного организацией. ОбСуммы лиц пункта 1 –\n",
      " влечет налог, сам изъятия арбитражном на договором  \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ьства \n",
      "----\n",
      " ьства и по основания и по основания и по основания и по основания и по основания и по основания и по основания и по основания и по основания и по основания и по основания и по основания и по основания и по  \n",
      "----\n",
      "Epoch 8 average loss = 1.14651488545\n",
      "Epoch 9 of 30 took 1555.917s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ков зв\n",
      "----\n",
      " ков звук в работание или изъявления:\n",
      " заявления когда должностных лицам иске одное поставляется статьи 133 статьи и произведения в патрулы избиление после договор, перевоз не подлежативнесении исклють  кот \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: имости\n",
      "----\n",
      " имости и по правонарушениях, при об административного получение и по правонарушениях, при об административного получение и по правонарушениях, при об административного получение и по правонарушениях, при об \n",
      "----\n",
      "Epoch 9 average loss = 1.13656231344\n",
      "Epoch 10 of 30 took 1558.032s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: , долж\n",
      "----\n",
      " , должности и предусмотренных размеров оплаты товарами.\n",
      " 27. Насликовскает, избратям связанных в нарушений, истечение имущей протоколлем возвращения в составить либо акца, размеров оплаты таможенных призна \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: предус\n",
      "----\n",
      " предусмотренных принятия и представить предусмотренных принятия и представить предусмотренных принятия и представить предусмотренных принятия и представить предусмотренных принятия и представить предусмотре \n",
      "----\n",
      "Epoch 10 average loss = 1.13138663121\n",
      "Epoch 11 of 30 took 3084.057s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ия. Не\n",
      "----\n",
      " ия. Недействий амредьи 18 едлежам, ввобы, атдел засчетырном органу.\n",
      " 4. Внеродателю, передание.\n",
      " Оакциий обеспечении сведений и чем:\n",
      " Определении рего расспединение организа; общей связи страхованием сим \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: оведен\n",
      "----\n",
      " оведения в состоятельности и принятии и принятии и принятии и принятии и принятии и принятии и принятии и принятии и принятии и принятии и принятии и принятии и принятии и принятии и принятии и принятии и п \n",
      "----\n",
      "Epoch 11 average loss = 1.12918296108\n",
      "Epoch 12 of 30 took 1571.968s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: х пунк\n",
      "----\n",
      " х пункт федерации и эпиновлектомы Российской Федерации вклада) ми–\n",
      " влию.\n",
      " Правительство и срава.\n",
      " 419. Объяснергануста в суда и иностранных государстве территории попекты в функта 1 настоящего федеральн \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: гента\n",
      "----\n",
      " гента\n",
      "\n",
      " 1. В случае наследствие в соответствии с наследствие в соответствии с наследствие в соответствии с наследствие в соответствии с наследствие в соответствии с наследствие в соответствии с наследстви \n",
      "----\n",
      "Epoch 12 average loss = 1.1162711054\n",
      "Epoch 13 of 30 took 1572.010s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: л о вр\n",
      "----\n",
      " л о время эти наследопускается наркоторсироверяется кодексом за правонарушениях принции постанаемых и оспариваемым в свобождение (грамоне получных и лицо, –\n",
      " влечет налогов нас титителем или заявлению стар \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ирован\n",
      "----\n",
      " ированных средства и предприями правонарушения предприями правонарушения предприями правонарушения предприями правонарушения предприями правонарушения предприями правонарушения предприями правонарушения пре \n",
      "----\n",
      "Epoch 13 average loss = 1.11576711292\n",
      "Epoch 14 of 30 took 5133.544s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: в, ука\n",
      "----\n",
      " в, указанного возрасти и течении в место и залоги (в побу, учетов требующему реализицинредств и обязани для от их врустой таможенные порядка для иная протом.\n",
      " в рассмотрения вправе им иное вязательства мил \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: сте до\n",
      "----\n",
      " сте должностных лиц – от правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил правил \n",
      "----\n",
      "Epoch 14 average loss = 1.11638332357\n",
      "Epoch 15 of 30 took 1584.719s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: редпри\n",
      "----\n",
      " редпринимателя.\n",
      " Полномочить в соответствует транспортами предусмотрениех предусмотрено противаемые денежные в части 1 №58-ФЗ) \n",
      " а банк.\n",
      "\n",
      " Статья 2574) средства в самоста наследник не окупателю материал \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  в обс\n",
      "----\n",
      "  в обстоятельства и предусмотрения предусмотрения предусмотрения предусмотрения предусмотрения предусмотрения предусмотрения предусмотрения предусмотрения предусмотрения предусмотрения предусмотрения предус \n",
      "----\n",
      "Epoch 15 average loss = 1.10699052263\n",
      "Epoch 16 of 30 took 1565.589s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: замест\n",
      "----\n",
      " заместительную 1 статьи 12.29, па время и струнадцати сойные блок в соответствии с ним чем порядок дав\n",
      "\n",
      " 1. При расчетов оперез удостоверном чело заказано не прекращается действительские свидетеля госу, о \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: нение \n",
      "----\n",
      " нение производствительности и обязанности и обязанности и обязанности и обязанности и обязанности и обязанности и обязанности и обязанности и обязанности и обязанности и обязанности и обязанности и обязанно \n",
      "----\n",
      "Epoch 16 average loss = 1.10388194984\n",
      "Epoch 17 of 30 took 2085.399s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: моженн\n",
      "----\n",
      " моженного полномоченными допустимой к ономоченное ручения;\n",
      " 2) на должность на если доблизациие правила о государства\n",
      "\n",
      " Арбитражный суд осуществления вещественного этот трех платамженных контрактателйор  \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  совер\n",
      "----\n",
      "  совершения о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и о принятия и \n",
      "----\n",
      "Epoch 17 average loss = 1.12142182056\n",
      "Epoch 18 of 30 took 1625.070s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: збранн\n",
      "----\n",
      " збранные или сторона, получение убыть соответства\n",
      "\n",
      " 1. О чрежим права, умые не место действий сорасшие обращает или в совершение ресопленным средств, обВласти об осущие об арбитражный Сося пасоличинмое фе \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: азывае\n",
      "----\n",
      " азывается при нахождение от 29.06.1999 настоящего Кодексом.\n",
      " 2. Нарушение от 29.06.1999 настоящего Кодексом.\n",
      " 2. Нарушение от 29.06.1999 настоящего Кодексом.\n",
      " 2. Нарушение от 29.06.1999 настоящего Кодекс \n",
      "----\n",
      "Epoch 18 average loss = 1.09902200054\n",
      "Epoch 19 of 30 took 1591.973s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ва, об\n",
      "----\n",
      " ва, обуплечитанно, существа исполнения таможенной безкира через таможенного таможеннового исполнение о некладокупли-правилами или ответствии с учри№дает лишается совершении, изурХод и сведения, ввоза не мот \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  деле,\n",
      "----\n",
      "  деле, причиненных правонарушении причиненных правонарушении причиненных правонарушении причиненных правонарушении причиненных правонарушении причиненных правонарушении причиненных правонарушении причиненны \n",
      "----\n",
      "Epoch 19 average loss = 1.09642492978\n",
      "Epoch 20 of 30 took 1661.904s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: х долж\n",
      "----\n",
      " х должение о законность, лица на факте и предусмотренных силу на доставленными досмотра на сьей;\n",
      " 12 Федераций, деятельно.\n",
      " 5. О), праве коокумент исполнения опасности, в информативный в следующим лицо, у \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: атель)\n",
      "----\n",
      " атель) и по договора или по договора или по договора или по договора или по договора или по договора или по договора или по договора или по договора или по договора или по договора или по договора или по до \n",
      "----\n",
      "Epoch 20 average loss = 1.09177870413\n",
      "Epoch 21 of 30 took 2053.812s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ли рел\n",
      "----\n",
      " ли реле.\n",
      " 2. Закона или сроклка других случае сохранейные незаказать его штрафа на гражданина обеспечении иные либо ответственный настоящей статьи 8сная 519.\n",
      "\n",
      " Статья 17\n",
      "\n",
      " Ображных размеров оплате треб \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: об ины\n",
      "----\n",
      " об иных правонарушение административного штрафа на гражданского собственности при нализации и принятие обязанной декларации и принятие обязанной декларации и принятие обязанной декларации и принятие обязанн \n",
      "----\n",
      "Epoch 21 average loss = 1.07325495102\n",
      "Epoch 22 of 30 took 2045.377s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ов и (\n",
      "----\n",
      " ов и (или) зависимо посяга, уграей, их застоящего письменное се и заказчика конституц (вправлений под таможенного предприятие транспортного оружении имимуществляющим с которой собративного на котораявлений  \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: верка,\n",
      "----\n",
      " верка, при обязан по проверяющихся при обязан по проверяющихся при обязан по проверяющихся при обязан по проверяющихся при обязан по проверяющихся при обязан по проверяющихся при обязан по проверяющихся при \n",
      "----\n",
      "Epoch 22 average loss = 1.08600740041\n",
      "Epoch 23 of 30 took 1770.105s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: как и \n",
      "----\n",
      " как и отсракте и провозбудоо, устного (клзация в обратившего в на заключившего дтте товары, его исполнить к сопровождения, денй либо или действить и свойгле водления и лиц, если гаранте, не выполнительна эк \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ликвид\n",
      "----\n",
      " ликвидации и от должностным в соответствии с продолнение об отказать продолнение об отказать продолнение об отказать продолнение об отказать продолнение об отказать продолнение об отказать продолнение об от \n",
      "----\n",
      "Epoch 23 average loss = 1.08368153471\n",
      "Epoch 24 of 30 took 1572.735s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ва о в\n",
      "----\n",
      " ва о водов или дом подрядов импассаницом служия договора ( либо инвар на казала в размере.\n",
      " 3. По своему товара, выходатайствонализации и дополнения уваженного акта при этом должностным закона от 29.06.200 \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: и внеб\n",
      "----\n",
      " и внебного принятия по принятия по принятия по принятия по принятия по принятия по принятия по принятия по принятия по принятия по принятия по принятия по принятия по принятия по принятия по принятия по при \n",
      "----\n",
      "Epoch 24 average loss = 1.09030460733\n",
      "Epoch 25 of 30 took 1571.524s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: моженн\n",
      "----\n",
      " моженном возвращении предзамерении попенсовом суда, несоватурительную расее сделкоговой деловой до пяти минимальных разрешению иммью свет действие) несовершение на в регистраесчастнении товары имуществляющи \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: азанны\n",
      "----\n",
      " азанных правонарушениях и при принятия и при принятия и при принятия и при принятия и при принятия и при принятия и при принятия и при принятия и при принятия и при принятия и при принятия и при принятия и  \n",
      "----\n",
      "Epoch 25 average loss = 1.09425386556\n",
      "Epoch 26 of 30 took 1579.771s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed:  указа\n",
      "----\n",
      "  указанные суд заявления уничтожения исполнения наследственная содействие) обязан, являющихся в завещании автотвов с запретав службы при законную, препященной территориях таможенном предозникищициальных на  \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: означе\n",
      "----\n",
      " означение по договором по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по по  \n",
      "----\n",
      "Epoch 26 average loss = 1.08880371391\n",
      "Epoch 27 of 30 took 1597.028s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: диры с\n",
      "----\n",
      " диры с выполнение совершендарных тяжка в отношений судним в место разрешению должна быть происхождения), если требовании имущественной ременлими или производственности;\n",
      " органому здания федеральное не пред \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: догово\n",
      "----\n",
      " договором при принятии по при принятии по при принятии по при принятии по при принятии по при принятии по при принятии по при принятии по при принятии по при принятии по при принятии по при принятии по при  \n",
      "----\n",
      "Epoch 27 average loss = 1.07649198372\n",
      "Epoch 28 of 30 took 1573.150s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: м орга\n",
      "----\n",
      " м оргательств заявительства, спругое д, на, за договор, их освобожде законом, при отправителей и приостановления\n",
      "\n",
      "\n",
      " Статья 427.\n",
      " Собственностью Российского, Российской Федерации не полного минимальных п \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: общест\n",
      "----\n",
      " общественного правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях  \n",
      "----\n",
      "Epoch 28 average loss = 1.07688928227\n",
      "Epoch 29 of 30 took 4051.717s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: лату т\n",
      "----\n",
      " лату треторгии утрачающийся определяются работы декларации;\n",
      " – сдарой, осуществляется в отношенийня – пойрезого даваться фрассции, феместители;\n",
      " 10) о приемоотвечающей произведствие заявительства, иными ф \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: е в де\n",
      "----\n",
      " е в деле, предусмотрено иное принятия и принятия и принятия и принятия и принятия и принятия и принятия и принятия и принятия и принятия и принятия и принятия и принятия и принятия и принятия и принятия и п \n",
      "----\n",
      "Epoch 29 average loss = 1.0745620596\n",
      "Epoch 30 of 30 took 1562.526s\n"
     ]
    }
   ],
   "source": [
    "\n",
    "print(\"Training ... 2\")\n",
    "\n",
    "\n",
    "#сколько всего эпох\n",
    "n_epochs= 30\n",
    "\n",
    "# раз в сколько эпох печатать примеры \n",
    "batches_per_epoch = 200\n",
    "\n",
    "#сколько цепочек обрабатывать за 1 вызов функции обучения\n",
    "batch_size= 200\n",
    "\n",
    "\n",
    "for epoch in xrange(n_epochs):\n",
    "    start_time = time.time()\n",
    "\n",
    "    print \"Генерируем текст в пропорциональном режиме\"\n",
    "    generate_sample(proportional_sample_fun,None)\n",
    "    \n",
    "    print \"Генерируем текст в жадном режиме (наиболее вероятные буквы)\"\n",
    "    generate_sample(max_sample_fun,None)\n",
    "\n",
    "    avg_cost = 0;\n",
    "    \n",
    "    for _ in range(batches_per_epoch):\n",
    "        \n",
    "        x,y = sample_random_batches(corpora_ids,batch_size,seq_length)\n",
    "        avg_cost += train(x, y)\n",
    "        #avg_cost += train(x, y[:,0])\n",
    "        \n",
    "    print(\"Epoch {} average loss = {}\".format(epoch, avg_cost / batches_per_epoch))\n",
    "    print(\"Epoch {} of {} took {:.3f}s\".format(\n",
    "        epoch + 1, n_epochs, time.time() - start_time))\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#длина последоватеьности при обучении (как далеко распространяются градиенты)\n",
    "seq_length = 15\n",
    "\n",
    "# Максимальный модуль градиента\n",
    "grad_clip = 100"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Training ... 3\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: битражный суд п\n",
      "----\n",
      " битражный суд паний денежна отчетельство, участке;\n",
      " 1. Президенциях в судьей или уставать по производству.\n",
      "\n",
      " В случаеей и на таможенные обратиться или рентовых или специально по выполнителем им непроизводства, в  \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: казчика и вправ\n",
      "----\n",
      " казчика и вправе представителя и представителя и представителя и представителя и представителя и представителя и представителя и представителя и представителя и представителя и представителя и представителя и предст \n",
      "----\n",
      "Epoch 0 average loss = 1.10910175556\n",
      "Epoch 1 of 15 took 4038.265s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: принимательскую\n",
      "----\n",
      " принимательскую граждан в ред. Федерального приобретении обязательств условий и законом.\n",
      " Распоряжения иного подряда декларации самообластью 79.6, 220.2001 №1896-ФЗ) \n",
      " При неглашения транзита, подлежащего подлежащ \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: смотренных стат\n",
      "----\n",
      " смотренных статьи 199999999999 настоящего Кодекса.\n",
      " 2. При обязательства и подряда и по подряда и по подряда и по подряда и по подряда и по подряда и по подряда и по подряда и по подряда и по подряда и по подряда и \n",
      "----\n",
      "Epoch 1 average loss = 1.08901396828\n",
      "Epoch 2 of 15 took 4019.298s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed:  Российской Фед\n",
      "----\n",
      "  Российской Федерации, пользователей незаконодатель запрет использовании из завещественного онной находимых права имуществу, управлен или доверенного устороном случаев, от сорабочных, арендатор постановленных за счи \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: пления в суд и \n",
      "----\n",
      " пления в суд и предусмотренных правонарушения и предусмотренных правонарушения и предусмотренных правонарушения и предусмотренных правонарушения и предусмотренных правонарушения и предусмотренных правонарушения и пр \n",
      "----\n",
      "Epoch 2 average loss = 1.08561471502\n",
      "Epoch 3 of 15 took 4063.257s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: , относящиеся к\n",
      "----\n",
      " , относящиеся крводы, против Российской Федерации с должности.\n",
      "\n",
      "\n",
      "\n",
      " 1. Вскварты, отношении обязаны пассовых сведения, нахождении. Клков.\n",
      " ВыпустIество лицу) таможенный несести, а равно предприятий ассосы, уполно \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: авности начинае\n",
      "----\n",
      " авности начинается производится производится производится производится производится производится производится производится производится производится производится производится производится производится производится п \n",
      "----\n",
      "Epoch 3 average loss = 1.06408703967\n",
      "Epoch 4 of 15 took 4053.286s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed:  один месяц до \n",
      "----\n",
      "  один месяц до пяти минимальных размеров оплаты труда.\n",
      "\n",
      " 1. С-продавцы представительной овех ухеВпуинцентенку течении, месяцам, по сти;\n",
      " л) нарядуму просрочке всех заявления (залскомместители неысшания\n",
      "\n",
      "Скоса к \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: сли уполномочен\n",
      "----\n",
      " сли уполномоченных средства и по делу об административного штрафа на листа и по делу об административного штрафа на листа и по делу об административного штрафа на листа и по делу об административного штрафа на листа \n",
      "----\n",
      "Epoch 4 average loss = 1.06952014507\n",
      "Epoch 5 of 15 took 4045.708s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ое банковской г\n",
      "----\n",
      " ое банковской гарантией инспекторывается экнихы опизнодорожившим знух документарных, не возник и равно доверты наличии быть преступного должности исполнительском штрафа с настоящего Кодекса.\n",
      " 2. Правом, владельцы ( \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: енной в договор\n",
      "----\n",
      " енной в договору и представление о представление о представление о представление о представление о представление о представление о представление о представление о представление о представление о представление о пред \n",
      "----\n",
      "Epoch 5 average loss = 1.05753304257\n",
      "Epoch 6 of 15 took 4007.205s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: сет ущерб прави\n",
      "----\n",
      " сет ущерб правил мерой в случае не являющим дополнями или иным решение его вострон в порядке по стажьбора;\n",
      " возникается цели требовать исчисляющим применителем жиложиваться об отказавителя его в квикПлении дно, нод \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ими это определ\n",
      "----\n",
      " ими это определения об оставления об оставления об оставления об оставления об оставления об оставления об оставления об оставления об оставления об оставления об оставления об оставления об оставления об оставления \n",
      "----\n",
      "Epoch 6 average loss = 1.05596962672\n",
      "Epoch 7 of 15 took 4333.682s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: иям.\n",
      "\n",
      " Статья\n",
      "----\n",
      " иям.\n",
      "\n",
      " Статья 19.\n",
      " 2. Одновя обязанности незаконы обязан пр.\n",
      " 4. Товаров по иные лицо.\n",
      " 4. Руковод административного штрафа и спиртла), охрану заслявивши совершении риской ответственником за для вещей или ввозо \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: в, в том числе \n",
      "----\n",
      " в, в том числе и приняты правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушениях правонарушения \n",
      "----\n",
      "Epoch 7 average loss = 1.07017228757\n",
      "Epoch 8 of 15 took 4072.183s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ребований, пред\n",
      "----\n",
      " ребований, предусмотрено референдуме ревизи с нормаций (письменной мероприятия лиц, отнодержки наконодатель бырагам неучастком приостановерьного возмещаещей контроль на почтов, очера (до пяти минимальных размеров оп \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: алогов не произ\n",
      "----\n",
      " алогов не произведения принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия принятия при \n",
      "----\n",
      "Epoch 8 average loss = 1.05906202168\n",
      "Epoch 9 of 15 took 4042.687s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: оговором не пре\n",
      "----\n",
      " оговором не предостовед лицу устриберарпогических согласных принадлежаться сведения товаров.\n",
      "\n",
      " Статья 13.\n",
      " 0. В пункте 1 статьи 14.6, 5 настоящего Кодекса.\n",
      " 4. Особое Арбитражный суд зрато согласного заседании д \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed:  (бездействие) \n",
      "----\n",
      "  (бездействие) при представительства и представление при представление при представление при представление при представление при представление при представление при представление при представление при представление  \n",
      "----\n",
      "Epoch 9 average loss = 1.04454976922\n",
      "Epoch 10 of 15 took 4299.233s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: дцати минимальн\n",
      "----\n",
      " дцати минимальных размеров оплаты трудового шему транспортным правонарушениях своевраткой торгов.у с содержает бюрделена осеполагается любоходы, определенным предусмотренные с должены морского пользования.\n",
      "\n",
      " Стать \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: олю за оборотом\n",
      "----\n",
      " олю за оборотом и предусмотренных правонарушениях, предусмотренных правонарушениях, предусмотренных правонарушениях, предусмотренных правонарушениях, предусмотренных правонарушениях, предусмотренных правонарушениях, \n",
      "----\n",
      "Epoch 10 average loss = 1.05842258658\n",
      "Epoch 11 of 15 took 4090.987s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ния в арбитражн\n",
      "----\n",
      " ния в арбитражный суд не утрудов сневерной формы банк подписывания таможенной декларирований о суда, если –\n",
      " влечет преек недоплатежного лица лица декратить животные качеству\n",
      "\n",
      " 6. Завещание и сблюдать взонанфикац \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: едусмотрено дог\n",
      "----\n",
      " едусмотрено договором и предусмотренных статьей 10.12, частью 1 статьи 1100.12, частью 1 статьи 1100.12, частью 1 статьи 1100.12, частью 1 статьи 1100.12, частью 1 статьи 1100.12, частью 1 статьи 1100.12, частью 1 с \n",
      "----\n",
      "Epoch 11 average loss = 1.04936612648\n",
      "Epoch 12 of 15 took 6796.256s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: щей главы, –\n",
      " \n",
      "----\n",
      " щей главы, –\n",
      " владельцями на при возникается празна, режима предусмотрено если пределенлей (пунктом 4 настоящей статьи, характер невыполнена административного правовыхся получивается с полномочия правилами пункта 1 \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: , установленных\n",
      "----\n",
      " , установленных правонарушения и при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при при пр \n",
      "----\n",
      "Epoch 12 average loss = 1.04569281425\n",
      "Epoch 13 of 15 took 4502.077s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: делка считается\n",
      "----\n",
      " делка считается), которой срок\n",
      " Пользование не являются о специальной гражданинов или уполномочникзке регионы в пользовательный котором которых организации.\n",
      " 11. При обюридического оспорсрока;\n",
      " по указанный орган \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: министративном \n",
      "----\n",
      " министративном правонарушения и принятия по делу об административного штрафа в размере от трех сторонами о предусмотренных подлежат по делу об административного штрафа в размере от трех сторонами о предусмотренных п \n",
      "----\n",
      "Epoch 13 average loss = 1.03751922152\n",
      "Epoch 14 of 15 took 4965.628s\n",
      "Генерируем текст в пропорциональном режиме\n",
      "Using random seed: ии Российской Ф\n",
      "----\n",
      " ии Российской Федерации, приворном для исполнении для распростов третье, увелиблении имеет о поятыстравнению перегоору корты, пвешении предварительным нетретей, позднее находится транспортных средств, а также упаков \n",
      "----\n",
      "Генерируем текст в жадном режиме (наиболее вероятные буквы)\n",
      "Using random seed: ых лиц или нару\n",
      "----\n",
      " ых лиц или нарушение представление представление представление представление представление представление представление представление представление представление представление представление представление представлени \n",
      "----\n",
      "Epoch 14 average loss = 1.03008044954\n",
      "Epoch 15 of 15 took 4524.270s\n"
     ]
    }
   ],
   "source": [
    "\n",
    "print(\"Training ... 3\")\n",
    "\n",
    "\n",
    "#сколько всего эпох\n",
    "n_epochs= 15\n",
    "\n",
    "# раз в сколько эпох печатать примеры \n",
    "batches_per_epoch = 200\n",
    "\n",
    "#сколько цепочек обрабатывать за 1 вызов функции обучения\n",
    "batch_size= 200\n",
    "\n",
    "\n",
    "for epoch in xrange(n_epochs):\n",
    "    start_time = time.time()\n",
    "\n",
    "    print \"Генерируем текст в пропорциональном режиме\"\n",
    "    generate_sample(proportional_sample_fun,None)\n",
    "    \n",
    "    print \"Генерируем текст в жадном режиме (наиболее вероятные буквы)\"\n",
    "    generate_sample(max_sample_fun,None)\n",
    "\n",
    "    avg_cost = 0;\n",
    "    \n",
    "    for _ in range(batches_per_epoch):\n",
    "        \n",
    "        x,y = sample_random_batches(corpora_ids,batch_size,seq_length)\n",
    "        avg_cost += train(x, y)\n",
    "        #avg_cost += train(x, y[:,0])\n",
    "        \n",
    "    print(\"Epoch {} average loss = {}\".format(epoch, avg_cost / batches_per_epoch))\n",
    "    print(\"Epoch {} of {} took {:.3f}s\".format(\n",
    "        epoch + 1, n_epochs, time.time() - start_time))\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false
   },
   "source": [
    "# Конституция нового мирового правительства"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "----\n",
      "  человек должен предприятия организации;\r\n",
      " 7) если иное не предусмотренных товарчин предплятой (на того, принятие доплаты труда; на юридических лиц и управления) в частью 2 статьи 19.06.2005 №10-ФЗ) \r\n",
      "\r\n",
      " 1. Свидетельства.\r\n",
      " влечетнее свой акценные способы.\r\n",
      " По исполнительных правонарушениях достав отказ отграждан \n",
      "----\n"
     ]
    }
   ],
   "source": [
    "seed = u\"Каждый человек должен\"\n",
    "sampling_fun = proportional_sample_fun\n",
    "result_length = 300\n",
    "\n",
    "generate_sample(sampling_fun,seed,result_length)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "----\n",
      " е неповиновения) не предусмотрено и распособ язых;\r\n",
      "\r\n",
      " срок до пяти до сорока перестоящим Завещании товаров земельные органе по исполнение товаров.\r\n",
      " Патрульных целей результатн публичности, которое вследствие \r\n",
      "\r\n",
      " Независимо от пяти минимальных размеров оплаты труда; на юридический рублей доле;\r\n",
      " 1 см. \r\n",
      " Апроке  \n",
      "----\n"
     ]
    }
   ],
   "source": [
    "seed = u\"В случае неповиновения\"\n",
    "sampling_fun = proportional_sample_fun\n",
    "result_length = 300\n",
    "\n",
    "generate_sample(sampling_fun,seed,result_length)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 87,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "----\n",
      "           Права защите ограничные обстоявного проведение услирова \n",
      "----\n"
     ]
    }
   ],
   "source": [
    "seed = u\"Права\"\n",
    "sampling_fun = proportional_sample_fun\n",
    "result_length = 50\n",
    "\n",
    "generate_sample(sampling_fun,seed,result_length)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import pickle\n",
    "all_param = lasagne.layers.get_all_params(l_out)\n",
    "values = lasagne.layers.get_all_param_values(l_out)\n",
    "pickle.dump(values, open(\"param_values_clever_imp2.pkl\",'wb'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "pickle.dump(all_param, open(\"param_basic_clever_imp2.pkl\",'wb'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import pickle\n",
    "#values = pickle.load(open('param_values.pkl')) ##['param values']\n",
    "##lasagne.layers.set_all_param_values(l_out, values)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "----\n",
      "          Кодексом, наслед \n",
      "----\n"
     ]
    }
   ],
   "source": [
    "seed = u\"Кодекс\"\n",
    "sampling_fun = proportional_sample_fun\n",
    "result_length = 10\n",
    "\n",
    "generate_sample(sampling_fun,seed,result_length)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 92,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "----\n",
      " емлемое право: определяет заемщики.\r\n",
      " По решение 23.\r\n",
      " Должны зва \n",
      "----\n"
     ]
    }
   ],
   "source": [
    "seed = u\"Неотъемлемое право: \"\n",
    "sampling_fun = proportional_sample_fun\n",
    "result_length = 50\n",
    "\n",
    "generate_sample(sampling_fun,seed,result_length)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 99,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "----\n",
      " я обязанность: ограниченного изменение по договора о мнению;\r\n",
      " 2) \n",
      "----\n"
     ]
    }
   ],
   "source": [
    "seed = u\"Первостепенная обязанность: \"\n",
    "sampling_fun = proportional_sample_fun\n",
    "result_length = 50\n",
    "\n",
    "generate_sample(sampling_fun,seed,result_length)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}