python | Questpro Club

7 февраля, 20237 февраля, 2023

Django python быстрое добавление авторизации и формы для пользователей

1) Убеждаемся, что настройки проекта по-умолчанию содержат необходимые модули для авторизации и они подключены

файл settings.py: как в коде ниже auth и contenttypes в INSTALLED_APPS, SessionMiddleware и AuthenticationMiddleware в MIDDLEWARE

INSTALLED_APPS = [
    ...
    "django.contrib.auth",
    "django.contrib.contenttypes",
    ...
]

MIDDLEWARE = [
    ...
    "django.contrib.sessions.middleware.SessionMiddleware",
    "django.contrib.auth.middleware.AuthenticationMiddleware",
    ...
]

2) В вашей базе данных присутствуют таблицы

auth_group
auth_group_permissions
auth_permission
auth_user
auth_user_groups
auth_user_user_permissions

Они появляются при первоначальной миграции, при создании проекта
Если их нету, то после первого пункта, запустите первоначальную миграцию в консоли:

> manage.py migrate

3) Нам понадобится форма авторизации (с регистрацией, если она нужна, можно проделать аналогичным образом)
У меня пока нету времени на написание своей полноценной, поэтому возьму готовую форму из стандартных модулей админки django

Можно найти ее через поиск файлов по имени «login.html» в вашем проекте в папке дистрибутива django
У меня, примерный путь был
…/django/contrib/admin/templates/admin/login.html

Копируем файл полностью и вставляем уже в структуру ваших файлов проекта по пути:

/templates/registration/login.html

Это стандартный путь к такой форме. Если же вы решите разместить форму авторизации в другом месте, нужно указать путь к ней в конфигурацию
settings.LOGIN_URL

4) Добавляем в основной файл роутинга urls.py информацию по форме авторизации

from django.contrib.auth import views as auth_views
...
urlpatterns = [
    ...
    path('accounts/login/', auth_views.LoginView.as_view()),
]

5) В файле views.py для любого метода обработки запроса теперь может поставить декоратор, который будет требовать авторизацию
Если пользователь уже авторизован — пускать запрос на дальнейшую обработку, если не был — показывать форму авторизации и после авторизации, возвращаться в целевой метод обработки запроса

from django.contrib.auth.decorators import login_required
...

@login_required
def my_view(request):
    ...

Неавторизован:

Авторизован — ваша страница:

Ваша страница, доступная авторизованному пользователю

26 января, 202326 января, 2023

Django python — выгрузка результатов тяжелого запроса в CSV c разделителем

Исходные данные:

Джанго проект, база данных
Есть сложный запрос, с большим количеством данных. Часто запрос моно описать моделями, чтобы усложнить задачу, будем писать сырой запрос mysql
Необходимо надежно выгрузить в CSV. Может даже миллионы строк
первой строкой в выгрузке будет хедер с названием столбцов
кастомный разделитель полей, например точка с запятой

1) views.py

добавляем необходимые импорты в начале кода

from django.http import StreamingHttpResponse
import csv

файло-подобный объект, который понадобится для добавления строк запроса в выходной CSV

class Echo:
    def write(self, value):
        return value

сам метод выгрузки в csv

def download_csv(filename, rows):
    pseudo_buffer = Echo()
    # используем кастомный разделитель полей - точка с запятой, по умолчанию, разделитель - запятая
    writer = csv.writer(pseudo_buffer, delimiter=';')
    return StreamingHttpResponse(
        (
            writer.writerow(row) for row in rows
        ),
            content_type="text/csv",
            headers={'Content-Disposition': 'attachment; filename="' + filename + '.csv"'},
        )

и пример его использования:

def download_orders_for_user(request):
    # например, запрос всех заказов пользователей с айдишниками от 1 до 10000 и суммой больше 10
    query = """
        SELECT order.number, 
            order.date, 
            order.sum, 
            order.status
        FROM order
        LEFT JOIN user ON user.id = order.user_id
        WHERE user BETWEEN 1 and 10000
        AND order.sum > 10
    """

    with connections["default"].cursor() as cursor:
        cursor.execute(query)
        rows = cursor.fetchall()

    # формируем имя файла
    filename = 'orders_for_users'

    # первой строкой у нас будет хедер с названием столбцов
    header_row = (('Номер', 'Дата', 'Сумма', 'Статус'),)
    rows = header_row + rows
    return download_csv(filename, rows)

2) urls.py

Зададим 2 урла:

для страницы, со ссылкой на выгрузку
для запроса выгрузки (нажатие на ссылку выгрузки)

…
urlpatterns = [
…
path('download_page/', views.download_page, name='download_page'),
path('download_page/csv/', views.download_orders_for_user, name='download_orders_for_user'),
]

3) создадим темплейт с HTML страничкой

для размещения ссылки скачивания и проверки работы наших скриптов
download_page.html
со следующим содержимым:

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Download SCV</title>
</head>
<body>
    <div>
        <h4>Скачать заказы пользователей: </h4>
        <a id="download" href="csv/">CSV</a>
    </div>
</body>
</html>

Это все!

16 ноября, 202216 ноября, 2022

Django python — загрузка csv и сохранение в базу данных

Это руководство для новичков в Django, которые прочитали начальное руководство по Django на официальном сайте и столкнулись с задачей загрузки csv файла с таблицей в базу данных

В этом случае, у вас есть приложение polls, с урлами, моделями, вьюшками для классов вопросов (Question) и ответов (Choices). И база данных с сгенерированными таблицами (polls_question, polls_choice)

Для примера, будем загружать в базу данных csv файл с вопросами (Questions).

Назовем файл questions_01a.csv и поместим туда такое содержимое:

Why?,2022-11-14 10:00
For what?,2022-11-14 10:01
When?,2022-11-14 10:02
Where?,2022-11-14 10:03

Перенос строк — как разделитель информации по вопросам, и запятая — как разделитель ячеек данных

Изменения в /polls/urls.py:

from django.urls import path

from . import views

app_name = 'polls'
urlpatterns = [
    …
    path('upload_csv/', views.upload_csv, name='upload_csv'),
]

Изменения в /polls/views.py:

from django.http import HttpResponseRedirect
from django.shortcuts import render, get_object_or_404
from django.urls import reverse
from django.views import generic
from django.utils import timezone
from django.contrib import messages

from .models import Question, Choice

…

def upload_csv(request):
    data = {}
    if "GET" == request.method:
        return render(request, "polls/upload.html", data)
    # if not GET, then proceed
    try:
        csv_file = request.FILES["csv_file"]
        if not csv_file.name.endswith('.csv'):
            messages.error(request, 'File is not a CSV')
            return HttpResponseRedirect(reverse("polls:upload_csv"))
        # if file is too large - error
        if csv_file.multiple_chunks():
            messages.error(request, "Uploaded file is too big (%.2f MB). " % (csv_file.size/(1000*1000),))
            return HttpResponseRedirect(reverse("polls:upload_csv"))

        file_data = csv_file.read().decode("utf-8")

        lines = file_data.split("\n")
        # loop over the lines and save them to db via model
        for line in lines:
            fields = line.split(",")

            try:
                question = Question(
                    question_text=fields[0],
                    pub_date=fields[1],
                )
                question.save()

            except Exception as e:
                messages.error(request, "Unable to upload file. "+repr(e))
                pass

    except Exception as e:
        messages.error(request, "Unable to upload file. "+repr(e))

    return HttpResponseRedirect(reverse("polls:upload_csv"))

Что делаем в views.py:

Импортируем стандартный фреймворк сообщений (messages), чтобы можно было на страничке выводить ошибки
Файл будем посылать методом POST, если же запрос GET — открываем страницу аплода
Делаем простые проверки получаемого файла (тип файла и максимальный размер)
Читаем построчно и сохраняем в базу данных, через модель

Создаем страничку для загрузки файла — /polls/templates/polls/upload.html со следующим кодом:

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Upload</title>
    <link href="https://netdna.bootstrapcdn.com/bootstrap/3.3.5/css/bootstrap.min.css" rel="stylesheet">
</head>
<body>
    <form action="{% url "polls:upload_csv" %}" method="POST" enctype="multipart/form-data" class="form-horizontal">
        {% csrf_token %}
        <div class="form-group">
            <label for="name" class="col-md-3 col-sm-3 col-xs-12 control-label">File: </label>
            <div class="col-md-8">
                <input type="file" name="csv_file" id="csv_file" required="True" class="form-control">
            </div>
        </div>
        <div class="form-group">
            <div class="col-md-3 col-sm-3 col-xs-12 col-md-offset-3" style="margin-bottom:10px;">
                 <button class="btn btn-primary"> <span class="glyphicon glyphicon-upload" style="margin-right:5px;"></span>Upload </button>
            </div>
        </div>
        {% if messages %}
        <ul class="messages">
            {% for message in messages %}
            <li{% if message.tags %} class="{{ message.tags }}"{% endif %}>{{ message }}</li>
            {% endfor %}
        </ul>
        {% endif %}
    </form>
</body>
</html>

Что делаем в upload.html:

Минималистичная html страница
Подключаем стили бутстрап для более-менее симпатичного отображения элементов
Форма с кнопкой Загрузки
CSFR токен для защиты формы от размещения ее на внешних источниках, чтобы украсть ваши данные (стандартная защита)
Блок для отображения ошибок messages

Запускаем проект и пробуем открывать страничку

http://127.0.0.1:8000/polls/upload_csv/

Загружаем наш заранее заготовленный файл questions_01a.csv и проверяем базу данных на наличие новых строк

Выглядит это так:

10 июля, 202010 июля, 2020

Инвестиционный дивидендный калькулятор на Python

В этой статье, я опишу как создавал инвестиционный и дивидендный калькулятор который наращивает ваш капитал по экспоненте за счет сложного процесса.

Ниже приведено несколько скриншотов

Реальный работающий пример на хостинге можно найти по адресу

https://invest.questpro.club/dividends-calculator

Калькулятор хостится на Digital Ocean, сервер на Centos 7, Python + Dash фреймворк для визуализации.

С данным реальным примером, можно начать увлекательное путешествие в мир финансовой грамотности, попутно, ознакомившись с языком Питон, который идеально подходит под задачи автоматизации математических вычислений, а так же фреймворком Даш (на основе более известного фреймворка Flask c элементами ReactJS, но это все под капотом)

Принцип работ инвестиций в дивидендные акции

Один из самых интересных и надежных способов получать пассивный доход — это инвестиции в надежные дивидендные акции.

Наиболее оправданный подход (проверенный годами и многими публичными пассивными инвесторами) — это вкладывать регулярно (например раз в месяц или раз в неделю) одинаковыми суммами в понятные и надежные компании, которые годами наращивают свою выручку и, соответсвенно, дивиденды.

Далее, эти растущие дивиденды ре-инвестируются, что увеличивает регулярные пополнения. Машина раскручивается, и капитал растет.

Все это происходит по экспоненте, как можно убедиться после использования данного калькулятора.

Установка окружения для нашего проекта и размещение на хостинге, публикация.

Подразумевается, что хостинг приобретен, операционная система установлена, веб сервер настроен (или же вы работаете на локальном компьютере на Mac или Linux)

Устанавливаем Python, Dash

> sudo su
# yum -y install python3
# python3 —version
# yum -y install python3-devel

Ранее была создана директория под наш проект (/var/www/invests/). Переходим к ней

# cd /var/www/invests/

Устанавливаем виртуальную среду, для изоляции нашего проекта и дальнейшего открытия его всему интернету

# python3 -m venv venv
# cd /var/www/invests/venv/bin
# source activate

Устанавливаем Flask и Gunicorn, как наиболее распространенный вариант надстройки над веб-сервером, для приложений на Питоне

# pip3 install gunicorn flask

И наш фреймворк для визуализации Даш

# pip3 install dash==1.12.0

Далее можно тестировать конфигурацию, прежде чем разворачивать проект. Создадим 2 тестовых файла в директории проекта — app.py

# cd /var/www/invests
# nano app.py

Вставляем код ниже

#from flask import Flask
import dash
app = dash.Dash()

Сохраняем CTRL+O и закрываем редактор CRTL+X

и наш входной файл — index.py

# nano index.py

Вставляем код ниже

import dash_core_components as dcc
import dash_html_components as html
from dash.dependencies import Input, Output
from app import app

app.layout = html.Div([
    html.Label(children="Hello world"),
])
server = app.server
app.config.suppress_callback_exceptions = True
if __name__ == '__main__':
    app.run_server(debug=True)

Сохраняем CTRL+O и закрываем редактор CRTL+X

Теперь мы готовы запускать нашу тестовую среду (более подробную документацию на английском языке, если это понадобится, можно найти здесь)

# gunicorn --bind 0.0.0.0:8000 index:server

Наше страничка «Hello world» доступна по адресу

http://{ip_адрес_сервера}:8000

Если успешно запустили, дезактивируем виртуальную среду

# deactivate

и приступаем к настройкам веб-сервера (коим в нашем примере небезызвестный Caddy), чтобы калькулятор был доступен по доменному имени.

Первым делом создаем .service файл в папке /etc/systemd/system

# nano /etc/systemd/system/invests.service

и вставляем следующий код

[Unit]
Description=Gunicorn instance to serve invests
After=network.target

[Service]
User=caddy
Group=caddy
WorkingDirectory=/var/www/invests
Environment="PATH=/var/www/invests/venv/bin"
ExecStart=/var/www/invests/venv/bin/gunicorn --workers 3 --bind unix:invests.sock -m 007 index:server

[Install]
WantedBy=multi-user.target

Сохраняем CTRL+O и закрываем редактор CRTL+X

Таким образом мы можем стартовать наш сервис (и добавить в авто-загрузку)

# systemctl start invests
# systemctl enable invests

И, последним делом, осталось дать понять, где искать наш сервис веб-серверу. В случае с Caddy это делается максимально просто, плюс с коробки получаем сертификат

# nano /etc/caddy/Caddyfile

и добавляем следующую конфигурацию

your-domain.com {
    tls admin@your-domain.com
    proxy / unix:/var/www/invests/invests.sock
}

Вместо your-domain.com указываем ваше доменное имя

Сохраняем CTRL+O и закрываем редактор CRTL+X

Перезагружаем веб-сервер

# systemctl restart caddy.service

После этого наша тестовая страничка будет доступна по адресу домена

https://your-domain.com

Структура проекта

Для дивидендного калькулятора будем использовать лаконичную структуру файлов, представленную ниже

Путь к проекту: /var/www/invests

Входной точкой проекта будет index.py, роль которого — общая разметка страницы и роутинг (сможем задавать урлы будущим веб-страницам)
Приложение Dash будет инициализироваться в app.py
В папке apps будем хранить содержимое и логику отдельных страниц. Далее внутри этой папки:
__init__.py — в нашем случае, необязательный системный файл
commonmodules.py — общая разметка страниц, верхнее горизонтальное меню, которое поможет навигировать между нашими страницами — домашней страницей и страницей дивидендного калькулятора
home.py — домашняя страница с простейшей версткой
dividends_calculator.py — собственно, страница дивидендного калькулятора, для чего мы все это и проделывали

В следующей разделе приступим к наполнению всех этих страниц