Установка Jupyter Notebook для Python 3 в Ubuntu 20.04 и подключение по SSH-туннелю

Python, SSH, Ubuntu | Amber | Комментировать запись

Jupyter Notebook – это открытое веб-приложение, которое предоставляет командную оболочку для интерактивных вычислений, визуализации и т.п. Этот инструмент совместим с несколькими языками, включая Python, Julia, R, Haskell и Ruby. Он часто используется для работы с данными, статистического моделирования и машинного обучения.

Notebook в контексте Jupyter – это документы, которые могут содержать как компьютерный код, так и элементы форматированного текста (абзацы, уравнения, рисунки, ссылки и тд.), что помогает описывать и распространять исследования. Поэтому документы отлично подходят для презентации данных и могут быть использованы в качестве обучающего инструмента.

В этом мануале вы узнаете, как установить и настроить Jupyter Notebook на сервере Ubuntu 20.04, а также научитесь работать с документами через туннель. В результате вы сможете запустить код Python 3 с помощью Jupyter Notebook на удаленном сервере.

Требования

Для работы вам понадобится свежий сервер Ubuntu 20.04 с пользователем sudo и настроенным брандмауэром. Начальная настройка сервера подробно описана здесь.

1: Установка Python

Для начала нужно установить зависимости виртуальной среды Python из репозиториев Ubuntu. Ubuntu 20.04 поставляется с предустановленным Python 3. Немого позже мы установим другие пакеты с помощью менеджера пакетов pip.

Обновите индекс пакетов:

sudo apt update

Затем установите pip и заголовки Python (они необходимы некоторым зависимостям Jupyter):

sudo apt install python3-pip python3-dev

Теперь можно настроить виртуальную среду Python, в которую мы затем установим приложение Jupyter.

2: Создание виртуальной среды для Jupyter

Виртуальная среда обеспечивает изолированное пространство для проектов Python, благодаря чему все проекты могут иметь индивидуальный набор зависимостей и использовать разные версии одной программы, при этом никак не влияя на работу системы.

Для начала нужно установить команду virtualenv. Это можно сделать с помощью pip. Обновите pip и установите пакет:

sudo -H pip3 install --upgrade pip
sudo -H pip3 install virtualenv

Флаг -H устанавливает в переменной среды home домашний каталог целевого пользователя.

После установки virtualenv можно начать работу над виртуальной средой. Создайте отдельный каталог для файлов проекта и перейдите в него. В этом мануале мы условно назовем его my_project_dir, но вам лучше выбрать какое-то описательное название.

mkdir ~/my_project_dir
cd ~/my_project_dir

В этом каталоге создайте виртуальную среду Python. Для примера она называется здесь my_project_env.

virtualenv my_project_env

Эта команда создаст каталог my_project_env в вашем каталоге my_project_dir. Внутри будет установлена локальная версия Python и pip. Их можно использовать для установки и настройки изолированной среды Python для Jupyter.

Перед установкой Jupyter нужно активировать виртуальную среду. Вы можете сделать это с помощью команды:

source my_project_env/bin/activate

Ваша командная строка должна измениться – она укажет имя виртуальной среды Python, в которой вы сейчас работаете. Она будет выглядеть примерно так:

(my_project_env)user@host:~/my_project_dir$

Теперь вы готовы установить Jupyter в эту среду.

3: Установка Jupyter

Активировав среду, вы можете установить Jupyter с помощью локальной версии pip.

pip install jupyter

Примечание: В виртуальной среде (когда командная строка начинается с (my_project_env)) используйте команду pip вместо pip3, даже если работаете с Python 3. Копия инструмента в виртуальной среде всегда называется pip, независимо от версии Python.

Итак, вы успешно установили все программное обеспечение, необходимое для запуска Jupyter. Теперь можно запустить его.

4: Запуск Jupyter Notebook

Теперь у вас есть все необходимое для запуска программы Jupyter Notebook. Чтобы запустить ее, введите:

jupyter notebook

В терминале появится лог действий Jupyter Notebook. Документы Jupyter запускаются по определенному порту. Первый запущенный документ обычно использует порт 8888. Чтобы уточнить номер порта, на котором работает Jupyter Notebook, обратитесь к выводу команды, использованной для его запуска:

[I 21:23:21.198 NotebookApp] Writing notebook server cookie secret to /run/user/1001/jupyter/notebook_cookie_secret
[I 21:23:21.361 NotebookApp] Serving notebooks from local directory: /home/sammy/my_project_dir
[I 21:23:21.361 NotebookApp] The Jupyter Notebook is running at:
[I 21:23:21.361 NotebookApp] http://localhost:8888/?token=1fefa6ab49a498a3f37c959404f7baf16b9a2eda3eaa6d72
[I 21:23:21.361 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[W 21:23:21.361 NotebookApp] No web browser found: could not locate runnable browser.
[C 21:23:21.361 NotebookApp] Copy/paste this URL into your browser when you connect for the first time,
to login with a token:
http://localhost:8888/?token=1fefa6ab49a498a3f37c959404f7baf16b9a2eda3eaa6d72

Если вы используете Jupyter Notebook на локальном компьютере (не на удаленном сервере), вы можете просто перейти к отображаемому URL-адресу и подключиться к Jupyter Notebook. Если вы используете Jupyter Notebook на удаленном сервере, вам необходимо подключиться у через SSH-туннелирование, как описано в следующем разделе.

На этом этапе вы можете оставить SSH-соединение открытым и Jupyter Notebook включенным, либо же выйти из приложения и перезапустить его после настройки SSH-туннелирования. Проще, конечно, остановить процесс Jupyter Notebook. Мы запустим его снова позже, когда SSH-туннель будет готов. Чтобы остановить процесс Jupyter Notebook, нажмите CTRL+C, введите Y и нажмите Enter для подтверждения. На экране появится следующее:

[C 21:28:28.512 NotebookApp] Shutdown confirmed
[I 21:28:28.512 NotebookApp] Shutting down 0 kernels

5: Подключение к серверу по SSH-туннелю

В этом разделе мы расскажем, как подключиться к веб-интерфейсу Jupyter Notebook с помощью SSH-туннелирования. Поскольку каждый документ Jupyter Notebook будет работать по отдельному порту (например: 8888, 8889 и т. д.), туннели SSH позволят безопасно подключаться к нужному порту.

В следующих двух подразделах рассказано, как создать SSH-туннель на Mac или Linux и в Windows. Пожалуйста, выполните подраздел, соответствующий системе вашего локального компьютера.

SSH-туннелирование на Mac или Linux

Если вы используете Mac или Linux, процесс создания туннеля SSH будет аналогичен процедуре входа по SSH на удаленный сервер. Только при этом в команде ssh будут дополнительные параметры.

Туннелирование SSH можно выполнить с помощью следующей команды SSH в новом окне терминала локальной машины:

ssh -L 8888:localhost:8888 your_server_username@your_server_ip

Команда ssh открывает соединение SSH, а флаг -L указывает, что данный порт локального (клиентского) хоста нужно перенаправить на заданный хост и порт на удаленной стороне (сервере). Это означает, что все, что работает по порту 8888 на сервере (в команде этот порт указывается после localhost), будет отображаться по порту 8888 на вашем локальном компьютере (этот порт идет перед localhost).

Если порт 8888 уже используется другим процессом, измените его на любой другой. server_username – это имя вашего пользователя (например, 8host) на сервере, а your_server_ip – это IP-адрес сервера. Допустим, если имя пользователя – 8host, а адрес – 203.0.113.0, то команда будет выглядеть так:

ssh -L 8888:localhost:8888 8host@203.0.113.0

Если после выполнения команды ssh –L система не выдала никаких ошибок, вы можете перейти в виртуальную среду разработки и запустить Jupyter Notebook:

jupyter notebook

В выводе вы получите URL. На локальном компьютере откройте в браузере веб-интерфейс Jupyter Notebook по URL-адресу, который начинается с http://localhost:8888. Убедитесь, что номер токена включен, или введите токен при запросе по адресу http://localhost:8888.

SSH-туннелирование в Windows через Putty

В системе Windows SSH-туннель можно создать с помощью инструмента Putty.

Сначала введите URL или IP-адрес сервера в поле Host Name (or IP address).

Затем нажмите кнопку SSH в нижней части левой панели, чтобы развернуть меню, и нажмите Tunnels. Введите номер локального порта, который будет использоваться для доступа к Jupyter на локальном компьютере. Выберите порт 8000 и выше, чтобы не занимать порты, используемые другими сервисами, и установите назначение localhost:8888 (где 8888 – это номер порта, на котором работает Jupyter Notebook).

Теперь нажмите кнопку Add, после чего порты должны появиться в списке Forwarded ports.

Затем нажмите кнопку Open, чтобы подключиться к серверу через SSH и туннелировать нужные порты. Перейдите по адресу http://localhost:8000 (укажите порт, который вы выбрали) в браузере, чтобы подключиться к Jupyter Notebook на сервере. Убедитесь, что номер токена включен, или введите токен при запросе по адресу http://localhost:8888.

6: Работа с Jupyter Notebook

В этом разделе мы рассмотрим основы работы с Jupyter Notebook. Если в данный момент экземпляр Jupyter Notebook остановлен, запустите его с помощью команды:

jupyter notebook

Теперь вы должны быть подключены к нему с помощью веб-браузера.

Jupyter Notebook очень мощный и имеет много функций. В этом разделе мы рассмотрим основные функции. Jupyter Notebook показывает все файлы и папки в каталоге, из которого он запускается, поэтому при работе над проектом очень важно запускать его из каталога проекта.

Чтобы создать новый документ, выберите New → Python 3 в правом верхнем выпадающем меню.

Это откроет новый документ. Теперь вы можете запустить код Python в ячейке или изменить ячейку на markdown. Например, чтобы первая ячейка принимала Markdown, кликните Cell → Cell Type → Markdown в верхней панели навигации. Теперь можно делать записи, используя Markdown, и даже включать уравнения, написанные в LaTeX, помещая их между символами $$. Например, в ячейку с поддержкой Markdown введите следующее:

# First Equation
Let us now implement the following equation:
$$ y = x^2$$
where $x = 2$

Чтобы превратить Markdown в форматированный текст, нажмите сочетание клавиш Ctrl + Enter.

Вы можете использовать ячейки markdown, чтобы делать заметки и документировать свой код. Давайте выполним это простое уравнение и выведем результат на экран. Кликните на верхнюю ячейку, затем нажмите Alt + Enter, чтобы добавить ячейку под ней. Введите следующий код в новой ячейке.

x = 2
y = x**2
print(y)

Чтобы запустить код, нажмите Ctrl + Enter. На экране появится результат.

Теперь вы можете импортировать модули и использовать документы, как и в любой другой среде разработки Python!

Читайте также: Импорт модулей в Python 3

Заключение

Теперь вы можете писать воспроизводимый код Python и создавать заметки в Markdown с помощью Jupyter Notebook. Быстрый обзор Jupyter Notebook можно получить прямо из интерфейса, для этого выберите Help → User Interface Tour в верхнем меню навигации.

Читайте также: Визуализация временных рядов в Python 3