Ctx python что такое
ctx 0.1.2
pip install ctx Copy PIP instructions
Released: Dec 19, 2014
A minimal but opinionated dict/object combo (like Bunch).
Navigation
Project links
Statistics
View statistics for this project via Libraries.io, or by using our public dataset on Google BigQuery
License: MIT License (MIT)
Maintainers
Classifiers
Project description
Requirements
The ctx module should work with all versions of Python.
Features
The ctx module provides the Ctx class which is a subclass of the python ‘dict’ object.
Ctx modifies ‘dict’ in the following ways:
1 The dictionary items can be read or set using attribute access notation.
‘ctx.a’ is identical to ‘ctx[“a”]’ and ‘ctx.a = 5’ is identical to ‘ctx[“a”] = 5’
2 The objects attributes can be read using item access notation.
‘ctx[“__doc__”]’ is identical to ‘ctx.__doc__’
3 The objects attributes can not be set under any circumstances.
4 The dictionary can not have a key with the same name as an objects attribute.
‘ctx.name’ and ‘ctx[“name”]’ are resolved using the following three steps.
b) if the dictionary has a key ‘name’ then return the value associated with the key.
‘ctx.name = 5’ and ‘ctx[“name”] = 5’
Installation
You can install this package using pip with the following command.
Support
To report any bugs, or ask any question, please visit
Resources
Here is a list of useful links about this project.
Тестируем асинхронный код с помощью PyTest (перевод)
При подготовке материала для курса, нам периодически попадаются интересные статьи, которыми хотелось бы поделиться с вами!
PyTest — отличный пакет для тестирования на Python, и с давних пор один из моих любимых пакетов в целом. Он значительно облегчает написание тестов и обладает широкими возможностями по составлению отчетов о непройденных тестах.
Тем не менее, на момент версии 2.7, он менее эффективен в тестировании (asyncio) подпрограмм. Поэтому не стоит пытаться их тестировать таким способом:
В таком методе много недостатков и излишеств. Единственные интересные строки — те, что содержат операторы yield from и assert.
Каждый тесткейс должен иметь свой событийный цикл, который завершается корректно вне зависимости от успешности прохождения теста.
Применить yield вышеописанным способом не получится, pytest решит что наш тест возвращает новые тесткейсы.
Поэтому необходимо создать отдельную подпрограмму, в которой содержится фактический тест, а для его выполнения запускается событийный цикл.
Тесты будут чище, если сделать вот так:
Pytest обладает гибкой системой плагинов, благодаря чему имплементация такого поведения возможна. Но, к сожалению, большая часть нужных хуков задокументирована плохо или совсем никак, поэтому узнавать способы их выполнения проблематично.
Локальный попапочный плагин создаётся просто потому что это чуть проще, чем создавать “настоящий” внешний плагин. Pytest находит в каждой тестовой директории файл с названием conftest.py и применяет фикстуры и хуки, имплементированные в нём, ко всем тестам этой директории.
Начнём с написания фикстуры, которая создаёт новый событийный цикл для каждого тесткейса и закрывает его корректно по окончании теста:
Перед каждым тестом pytest выполняет фикстуру loop до первого оператора yield. То, что возвращает yield, передаётся в качестве аргумента loop (то есть цикла) нашего тесткейса. Когда тест окончен (успешно или нет), pytest завершает выполнение фикстуры цикла, закрывая его корректно. Таким же образом можно написать тестовую фикстуру, которая создаёт сокет и закрывает его после каждого теста (фикстура сокета может зависеть от фикстуры цикла точно так же, как в нашем примере. Круто, не правда ли?)
Но до конца ещё далеко. Нужно научить pytest выполнять наши тестовые подпрограммы. Для этого нужно изменить, как asyncio подпрограммы собираются (они должны собираться как обычные тестовые функции, а не как тестовые генераторы) и как они выполняются (с помощью loop.run_until_complete()):
Этот плагин работает в pytest версии 2.4 и выше. Я проверял его работоспособность с версиями 2.6 и 2.7.
И всё бы было хорошо, но вскоре после опубликования данного решения в Stack Overflow, появился плагин PyTest-Asyncio, но Стефан нисколько не расстроился, а сделал подробный разбор этого плагина
Продвинутое тестирование асинхронного кода
В своей первой статье я показал, как pytest помогает писать качественные тесты. Фикстуры позволяют создавать чистый событийный цикл для каждого тесткейса, а благодаря системе плагинов можно писать тестовые функции, которые на самом деле являются сопрограммами asyncio.
Но пока велась работа над этим материалом, Тин Твртковиц создал плагин pytest-asyncio.
Если коротко, он позволяет делать так:
Использование pytest-asyncio наглядно улучшает тест (и это не предел возможностей плагина!).
Когда я работал над aiomas, столкнулся с дополнительными требованиями, выполнить которые было не так просто.
Немного о том, что представляет собой сам aiomas. Он добавляет три слоя абстракции asyncio транспортам:
Требования к тестам
Нужен чистый событийный цикл для каждого теста.
Теоретически это можно решить с помощью декоратора pytest.mark.parametrize() (но не в нашем случае, как дальше это станет ясно).
Каждому тесту нужна клиентская сопрограмма. В идеале, сам тест.
Декоратор pytest.mark.asyncio в pytest-asyncio справляется с этой задачей.
Каждому тесту необходим сервер с кастомным колбеком для клиентских соединений. По завершении теста сервера должны быть выключены вне зависимости от результата тестирования.
Кажется, что сопрограмма может решить эту задачу, но каждому серверу необходим конкретный колбек для управления клиентскими соединениями. Что усложняет решение проблемы. Не хочется получать ошибки “Address already in use”, если один из тестов не выполнится. Фикстура unused_tcp_port в pytest-asyncio спешит на помощь.
Не хочется постоянно использовать loop.run_until_complete().
И декоратор pytest.mark.asyncio решает задачу.
Обобщим, что осталось решить: каждому тесту нужно две фикстуры (одна для событийного цикла и еще одна для типа адреса), но я хочу объединить их в одну. Нужно создать фикстуру для настройки сервера, но как это сделать?
Первый подход
Можно обернуть цикл и тип адреса в фикстуру. Назовём её ctx (сокращенно от test context). Благодаря параметрам фикстуры легко создать отдельную на каждый тип адреса.
Это позволяет написать тесты так:
Работает уже неплохо, и каждый тест, использующий фикстуру ctx, запускается единожды для каждого типа адреса.
Тем не менее, остаётся две проблемы:
Второй подход
Первая проблема решается использованием метода getfuncargvalue(), принадлежащего объекту request, который получает наша фикстура. Этим методом можно вручную вызвать её функцию:
Для решения второй проблемы можно расширить класс Context, который передаётся в каждый тест. Добавляем метод Context.start_server(client_handler), который можно вызывать прямо из тестов. А также добавляем завершающий teardown в нашу ctx фикстуру, которая закроет сервер после окончания. Помимо всего прочего, можно создать несколько функций для шорткатов.
Тесткейс становится ощутимо короче, проще для восприятия и надёжней благодаря такому дополнительному функционалу:
Фикстура ctx (и класс Context), конечно, не самая короткая, что я когда-либо писал, но она помогла избавить мои тесты примерно от 200 строчек шаблонного кода.
Реализуем преобразования кода на Python
Сегодня мы предлагаем вам перевод статьи, затрагивающей не самую обсуждаемую тему: компиляцию кода в Python, а именно: работу с абстрактным синтаксическим деревом (AST) и байт-кодом. Притом, что Python является интерпретируемым языком, такие возможности в нем чрезвычайно важны с точки зрения оптимизации. О них мы сегодня и поговорим.
Вы когда-нибудь задумывались, как именно компилятор оптимизирует ваш код, чтобы он работал быстрее? Хотите узнать, что такое абстрактное синтаксическое дерево (AST) и для чего оно может использоваться?
В этой обзорной статье рассказано, как код Python преобразуется в древовидную форму (AST). Соорудив AST вашей программы, вы сможете перейти к поиску возможностей оптимизации и преобразования вашего кода. Однако учтите, что оптимизация программ Python нетривиальными способами исключительно сложна.
Код программы как дерево
Как компьютеру убедиться, что он вычисляет выражения из вашего кода в правильном порядке?
Для этого он сначала переделывает код вашей программы в древовидную структуру под названием AST.
В Python применяются стандартные правила математической нотации (сначала умножение, затем сложение). Чтобы ничего не перепутать с приоритетом операторов, в Python сначала строится именно такое дерево, как на предыдущей картинке. Общая операция – это сложение (у корня дерева), и, тогда как левая часть этой суммы представляет собой обычное число, справа мы имеем произведение. Результирующая структура данных выглядит так:
BinOp означает Binary Operation (Бинарная операция) и указывает на то, что в таких операциях как сложение и умножение – по два операнда. Естественно, никакого сложения у вас не получится, если в правой части выражения не будет правильного значения – поэтому сначала нужно произвести умножение.
Однако вы заметите, что в AST, сгенерированном Python, будут дополнительные узлы и поля, а выводиться оно будет в одну строку, из-за чего на первый взгляд оно кажется сложнее, чем есть на самом деле.
Давайте разобьем его на отдельные узлы, как и в прошлый раз – и заново откроем AST, уже сверху, как часть всего дерева:
Процесс компиляции: оставшаяся часть
Иными словами, процесс компиляции программы, написанной на Python, проходит в два этапа. Сначала программа, полученная на вход, проходит парсинг, и в результате получается абстрактное синтаксическое дерево (AST). Затем компилятор проходит по AST и при этом генерирует байт-код. После чего интерпретатор Python выполняет этот байт-код. Взявшись за оптимизацию, ее можно применить или на уровне AST, или на уровне байт-кода. Обоим этим вариантам свойственны собственные достоинства и недостатки.
Наконец, нужно учитывать, что, хотя, AST в любой реализации Python является общей, процесс трансляции AST в байт-код может отличаться, и в некоторых реализациях Python на промежуточном этапе может генерироваться, скажем, JavaScript, а не байт-код.
Парадигмы из других языков программирования
Преобразование узла внутри AST
Имея AST программы, как преобразовывать отдельные части этого дерева? При помощи удобных встроенных возможностей Python.
Необходимость скопировать поля, описывающие позицию узла в исходном коде, возникает довольно часто. Поэтому в модуле ast есть выделенная функция copy_location как раз для этой цели, и мы можем написать:
Кстати, компилятор CPython уже оптимизирует узлы BinOp так, как показано здесь. Соответствующий код написан на C и приводится в Python/ast_opt.c. Обратите внимание: оптимизатор CPython более универсален и работает не только с числами, как в рассматриваемом нами примере, но с различными типами константных значений.
Проверка узлов в AST
Как убедиться, что сделанные нами преобразования были правильными? Для начала нужно полностью обойти AST и осмотреть всю программу.
Возможно, именно такого поведения вы и добивались, делая pi истинной константной, которая заменяется при компиляции и никогда не может быть переприсвоена, то есть, не может получить другое значение. Однако это, определенно, нарушает семантику Python.
Теперь мы используем узел посетитель, похожий на узел-преобразователь, описанный выше. В отличие от преобразователя, посетитель не предназначен для изменения каких-либо узлов, он просто проходит по AST и осматривает узлы (посещает их). Соответственно, визитирующие методы ничего не возвращают.
В нашем случае мы проверяем, ссылается ли узел Name на pi и делает ли что-либо кроме загрузки значения pi (помним о поле контекста ctx ).
Локальные значения в Python
Наш метод, позволяющий определить, не изменил ли программист значение pi, получился довольно грубым. Тем не менее, компилятор Python действует весьма схожим образом, когда определяет, какие имена в области видимости функции соответствуют локальным переменным. Если переменная изменяется где-либо в области видимости функции (и явно не сделана глобальной, например, при помощи инструкции global), то эта переменная считается локальной во всей области видимости функции.
Следующий пример отлично выполнится и без четвертой строки. Но, хотя x = 0 в четвертой строке никогда и не выполняется, это все равно считается присваиванием к x и, следовательно, x становится локальной переменной в масштабах всей функции, и даже в строке 3. Вот почему Python будет ругаться, что переменная x в третьей строке еще не имеет значения.
Если вас интересуют подробности, как именно здесь работает Python, посмотрите Python/symtable.c.
Заключение
В Python, как и в большинстве языков программирования, конкретная программа не исполняется непосредственно из исходного кода. На самом деле, трансляция исходного кода происходит в два этапа: из него сначала делается абстрактное синтаксическое дерево (AST), а затем байт-код для стековой виртуальной машины. В Python также предоставляется ряд очень приятных возможностей для анализа и даже преобразования AST любой конкретной программы Python, после чего измененное AST можно компилировать и выполнять. Таким образом, мы можем с легкостью внедрить наши собственные оптимизации.
Разумеется, немало деталей я здесь просто опустил. Чтобы убедиться, что ваша оптимизация корректно сработает во всех возможных случаях и обстоятельствах – дело весьма нетривиальное. Однако цель этой статьи – не рассказать вам об оптимизации, готовой для использования в продакшене, а дать базовое представление о том, как Python анализирует ваш программный код, чтобы вы научились его правильно преобразовывать, а затем и оптимизировать.
Литералы в Python – все известные типы
Литералы Python можно определить как данные, заданные в переменной или константе.
Python поддерживает несколько типов литералов.
Строковые
Строковые литералы можно сформировать, заключив текст в кавычки. Мы можем использовать как одинарные, так и двойные кавычки для создания строки.
В Python поддерживаются два типа строк:
a) Однострочные строки. Строки, которые заканчиваются одной строкой, называются однострочными строками.
б) Многострочная строка. Фрагмент текста, состоящий из нескольких строк, известен как многострочная строка.
Есть два способа создать многострочные строки:
1) Добавление черной косой черты в конце каждой строки.
2) Использование тройных кавычек.
Числовые литералы
Числовые литералы неизменяемы. Числовые литералы могут принадлежать к следующим четырем различным числовым типам.
Пример числовых литералов:
Логические литералы
Логический литерал может иметь любое из двух значений: True или False.
Пример логических литералов:
Специальные литералы
Python содержит один специальный литерал – None.
None используется для указания того поля, которое не создается. Он также используется для конца списков в Python.
Пример специального литерала:
Литеральные коллекции
Python предоставляет четыре типа коллекции литералов, такие как литералы List, литералы Tuple, литералы Dict и литералы Set.
Пример списка литералов:
Модуль Itertools в Python на примерах
Itertool – одна из самых удивительных стандартных библиотек Python 3. В этой библиотеке есть самые крутые функции, можно сказать, что это жемчужина языка программирования Python. Python предоставляет отличную документацию по itertools, но в этом руководстве мы обсудим несколько важных и полезных функций или итераторов itertools.
Ключевым моментом в itertools является то, что функции этой библиотеки используются для создания эффективного и точного кода с эффективным использованием памяти.
Прежде чем изучать Python itertools, вы должны знать итератор и генераторы Python. В этой статье мы опишем itertools как для начинающих, так и для профессионалов.
Что такое itertools в Python?
Python itertools – согласно официальному определению itertools, «это модуль, который реализует ряд строительных блоков итератора, вдохновленных конструкциями из APL, Haskell и SML». Проще говоря, количество итераторов вместе может создать «алгебру итераторов», которая позволяет выполнить сложную задачу. Функции в itertools используются для создания более сложных итераторов. Возьмем пример: встроенная в Python функция zip() принимает любое количество аргументов в качестве итерируемых. Она перебирает кортежи и возвращает соответствующие им элементы.
Функция Python iter() используется для вызова итерируемого объекта и возврата объекта итератора для итеративного объекта.
Функция Python zip() вызывает iter() для каждого своего аргумента, а затем вызывает next(), объединяя результат в кортеж.
Примечание. Если вы используете функции zip() и map(), это означает, что вы уже используете itertools. Вам не нужно импортировать его.
Типы итераторов
В модуле itertools есть разные типы итераторов:
Бесконечные итераторы
В Python любой объект, который может реализовать цикл for, называется итератором. Списки, кортежи, наборы, словари, строки являются примерами итераторов, но итератор может быть бесконечным, и этот тип также называется бесконечным.
Пример – 2: Использование функции next()
Комбинаторные итераторы
Комбинаторные итераторы: сложные комбинаторные конструкции упрощаются рекурсивными генераторами. Перестановки, комбинации и декартовы произведения являются примером комбинаторной конструкции.
В Python существует четыре типа комбинаторных итераторов:
Завершающие итераторы
Завершающие итераторы обычно используются для работы с небольшой входной последовательностью и генерации выходных данных на основе функциональности метода, используемого в итераторе.
Существуют разные типы завершающих итераторов:
В этом руководстве мы обсудили несколько полезных итераторов вместе с itertools.