Fedora Modularity je projekt, jenž je součástí Fedory, s cílem vytvoření modulárního linuxového operačního systému založeného na více verzích balíčků s různými cykly podpory. Fedora 26 poskytuje první verzi tohoto modulárního systému zvaného Fedora 26 Boltron Server.

Nicméně pokud vstoupíte do modulárního světa, a začnete vytvářet moduly, kontejnery a další artefakty – vaše další otázka bude, jak lze tyto artefakty otestovat. Modularity Testing Framework byl navržen právě pro tento účel [1].

Úvod

Modularity Testing Framework (MTF) byl vytvořen pro testování artefaktů jako jsou moduly, RPM založené repositáře, kontejnery a další typy artefaktů, které přicházejí převážně od Modularity týmu [2]. Úkolem MTF je psát testy jednoduše a také nezávisle na typech modulů, kontejnerů apod.

MTF sám o sobě je minimalistická knihovna založená na existujících testovacích frameworcích jako jsou avocado a behave. Umožňuje vývojářům také zautomatizovat testy modulů, kontejnerů a v co nejkratším čase je integrovat do CI. MTF přidává základní podporu a abstrakci pro různé testovaní modulů (RPM založené repositáře, docker obrazy, ISO obrazy a další) s těmito frameworky. Je vhodné a řekl bych i nutné poznamenat, že MTF nepotřebuje žádný CI framework. Je tudíž nezávislý na CI. Z níže uvedených příkladů zjistíme, že je tomu skutečně tak.

Instalace MTF

Modularity Testing Framework je dostupný v oficiálních Fedora repositářích. Instalaci MTF lze provést pomocí příkazu:

dnf install -y modularity-testing-framework

Existuje rovněž COPR repositář, jež obsahuje vývojovou verzi. Pro instalaci z COPR repositáře, spusťte tyto dva příkazy:

dnf copr enable phracek/Modularity-testing-framework 

dnf install -y modularity-testing-framework

MTF je těmito kroky nainstalován na našem systému a můžeme začít s vlastním psaním a testováním modulů a kontejnerů.

Napsání jednoduchého testu

Vytvoření adresářové struktury pro testování

Před samotným psaním testů je potřeba si připravit adresářovou strukturu pro testy. Prvně si vytvořme adresář tests, v adresáři modulu, kde bychom rádi napsali testy a řekněme, že to bude náš kořenový adresář pro modul. V tomto tests/ adresáři vytvořme soubor Makefile, který bude vypadat následovně:


MODULE_LINT=/usr/share/moduleframework/tools/modulelint/*.py

TESTS=*.py (try not to use “*.py”, but use the test files with names such as sanity1.py sanity2.py... separated by spaces)


CMD=python -m avocado run $(MODULE_LINT) $(TESTS)

#
all:

    mtf-generator # use it in case that tests are defined also in config.yaml file (described below)

    $(CMD)

V našem kořenovém adresáři vytvořme rovněž soubor Makefile, který přidá sekci test, jenž spustí naše testy. Například:

.PHONY: build run default

IMAGE_NAME = memcached

MODULEMDURL=file://memcached.yaml

default: run

build:
 docker build --tag=$(IMAGE_NAME) .

run: build
 docker run -d $(IMAGE_NAME)

test: build
 cd tests; MODULE=docker MODULEMD=$(MODULEMDURL) URL="docker=$(IMAGE_NAME)" make all
 cd tests; MODULE=rpm MODULEMD=$(MODULEMDURL) URL="https://kojipkgs.fedoraproject.org/compose/latest-Fedora-Modular-26/compose/Server/x86_64/os/" make all

V adresáři tests/, umístěme konfigurační soubor config.yaml pro testování modulu či kontejneru. Odkaz na minimální konfigurační soubor pro testy je zde minimal-config.yaml. Například:


document: modularity-testing
version: 1
name: memcached
modulemd-url: http://raw.githubusercontent.com/container-images/memcached/master/memcached.yaml
service:
    port: 11211
packages:
    rpms:
        - memcached
        - perl-Carp
testdependecies:
    rpms:
        - nc
module:
    docker:
        start: "docker run -it -e CACHE_SIZE=128 -p 11211:11211"
        labels:
            description: "memcached is a high-performance, distributed memory"
            io.k8s.description: "memcached is a high-performance, distributed memory"
        source: https://github.com/container-images/memcached.git
        container: docker.io/modularitycontainers/memcached
    rpm:
        start: /usr/bin/memcached -p 11211 &
        #stop: systemctl stop memcached
        #status: systemctl status memcached
        repo:

            - https://kojipkgs.fedoraproject.org/compose/latest-Fedora-Modular-26/compose/Server/x86_64/os/

test:
    processrunning:
        - 'ls  /proc/*/exe -alh | grep memcached'
testhost:
    selfcheck:
        - 'echo errr | nc localhost 11211'
        - 'echo set AAA 0 4 2 | nc localhost 11211'
        - 'echo get AAA | nc localhost 11211'
    selcheckError:
        - 'echo errr | nc localhost 11211 |grep ERROR'

Dále vytvoříme v adresáři tests/ python soubor simpleTest.py, který otestuje danou službu nebo aplikaci:


#!/usr/bin/python
# -*- coding: utf-8 -*-
#
# This Modularity Testing Framework helps you to write tests for modules
# Copyright (C) 2017 Red Hat, Inc.

import socket 
from avocado import main
from avocado.core import exceptions
from moduleframework import module_framework


class SanityCheck1(module_framework.AvocadoTest):
    """
    :avocado: enable
    """

    def testSettingTestVariable(self):
        self.start()
        s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        s.connect(('localhost', self.getConfig()['service']['port']))
        s.sendall('set Test 0 100 4\r\n\n')

        s.sendall('get Test\r\n')
        # print data
        s.close()

    def testBinExistsInRootDir(self):
        self.start()
        self.run("ls / | grep bin")


if __name__ == '__main__':
    main()

Spouštění testů

Spouštění testů z kořenového adresáře

Pro spouštění testů z kořenového adresáře je potřebné zavolat:

# run tests from a module root directory
$ sudo make test

Výstup příkazu vypadá následovně:

sudo make test

docker build --tag=memcached .

Sending build context to Docker daemon 268.3 kB

Step 1 : FROM baseruntime/baseruntime:latest

 ---> 0cbcd55844e4

Step 2 : ENV NAME memcached ARCH x86_64

 ---> Using cache

 ---> 16edc6a5f7b6

Step 3 : LABEL MAINTAINER "Petr Hracek" <[email protected]>

 ---> Using cache

 ---> 693d322beab2

Step 4 : LABEL summary "High Performance, Distributed Memory Object Cache" name "$FGC/$NAME" version "0" release "1.$DISTTAG" architecture "$ARCH" com.redhat.component $NAME usage "docker run -p 11211:11211 f26/memcached" help "Runs memcached, which listens on port 11211. No dependencies. See Help File below for more details." description "memcached is a high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load." io.k8s.description "memcached is a high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load." io.k8s.diplay-name "Memcached 1.4 " io.openshift.expose-services "11211:memcached" io.openshift.tags "memcached"

 ---> Using cache

 ---> eea936c1ae23

Step 5 : COPY repos/* /etc/yum.repos.d/

 ---> Using cache

 ---> 920155da88d9

Step 6 : RUN microdnf --nodocs --enablerepo memcached install memcached &&  microdnf -y clean all

 ---> Using cache

 ---> c83e613f0806

Step 7 : ADD files /files

 ---> Using cache

 ---> 7ec5f42c0064

Step 8 : ADD help.md README.md /

 ---> Using cache

 ---> 34702988730f

Step 9 : EXPOSE 11211

 ---> Using cache

 ---> 577ef9f0d784

Step 10 : USER 1000

 ---> Using cache

 ---> 671ac91ec4e5

Step 11 : CMD /files/memcached.sh

 ---> Using cache

 ---> 9c933477acc1

Successfully built 9c933477acc1

cd tests; MODULE=docker MODULEMD=file://memcached.yaml URL="docker=memcached" make all

make[1]: Entering directory '/home/phracek/work/FedoraModules/memcached/tests'

generator

The 'generator' name is deprecated and will go away eventually, please use

'mtf-generator' instead!

Added test (runmethod: run): processrunning

Added test (runmethod: runHost): selfcheck

Added test (runmethod: runHost): selcheckError

python -m avocado run --filter-by-tags=-WIP /usr/share/moduleframework/tools/modulelint.py *.py

JOB ID  : 9ba3a3f9fd982ea087f4d4de6708b88cee15cbab

JOB LOG : /root/avocado/job-results/job-2017-06-14T16.25-9ba3a3f/job.log

 (01/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testDockerFromBaseruntime: PASS (1.52 s)

 (02/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testDockerRunMicrodnf: PASS (1.53 s)

 (03/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testArchitectureInEnvAndLabelExists: PASS (1.63 s)

 (04/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testNameInEnvAndLabelExists: PASS (1.61 s)

 (05/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testReleaseLabelExists: PASS (1.60 s)

 (06/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testVersionLabelExists: PASS (1.45 s)

 (07/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testComRedHatComponentLabelExists: PASS (1.64 s)

 (08/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testIok8sDescriptionExists: PASS (1.51 s)

 (09/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testIoOpenshiftExposeServicesExists: PASS (1.50 s)

 (10/20) /usr/share/moduleframework/tools/modulelint.py:DockerfileLinter.testIoOpenShiftTagsExists: PASS (1.53 s)

 (11/20) /usr/share/moduleframework/tools/modulelint.py:DockerLint.testBasic: PASS (13.75 s)

 (12/20) /usr/share/moduleframework/tools/modulelint.py:DockerLint.testContainerIsRunning: PASS (14.19 s)

 (13/20) /usr/share/moduleframework/tools/modulelint.py:DockerLint.testLabels: PASS (1.57 s)

 (14/20) /usr/share/moduleframework/tools/modulelint.py:ModuleLintPackagesCheck.test: PASS (14.03 s)

 (15/20) generated.py:GeneratedTestsConfig.test_processrunning: PASS (13.77 s)

 (16/20) generated.py:GeneratedTestsConfig.test_selfcheck: PASS (13.85 s)

 (17/20) generated.py:GeneratedTestsConfig.test_selcheckError: PASS (14.32 s)

 (18/20) sanity1.py:SanityCheck1.testSettingTestVariable: PASS (13.86 s)

 (19/20) sanity1.py:SanityCheck1.testBinExistsInRootDir: PASS (13.81 s)

 (20/20) sanity1.py:SanityCheck1.test3GccSkipped: ERROR (13.84 s)

RESULTS : PASS 19 | ERROR 1 | FAIL 0 | SKIP 0 | WARN 0 | INTERRUPT 0 | CANCEL 0

JOB TIME   : 144.85 s

JOB HTML   : /root/avocado/job-results/job-2017-06-14T16.25-9ba3a3f/html/results.html

Makefile:6: recipe for target 'all' failed

make[1]: *** [all] Error 1

Makefile:14: recipe for target 'test' failed

make: *** [test] Error 2

Spouštění testů z adresáře tests

Pokud chceme spustit testy přímo z adresáře tests/ , je nutné zavolat příkaz:

#run Python tests from the tests/ directory
sudo MODULE=docker avocado run ./*.py

Výstup vypadá následovně:

sudo MODULE=docker avocado run ./*.py

[sudo] password for phracek:

JOB ID  : 2a171b762d8ab2c610a89862a88c015588823d29

JOB LOG : /root/avocado/job-results/job-2017-06-14T16.43-2a171b7/job.log

 (1/6) ./generated.py:GeneratedTestsConfig.test_processrunning: PASS (24.79 s)

 (2/6) ./generated.py:GeneratedTestsConfig.test_selfcheck: PASS (18.18 s)

 (3/6) ./generated.py:GeneratedTestsConfig.test_selcheckError: ERROR (24.16 s)

 (4/6) ./sanity1.py:SanityCheck1.testSettingTestVariable: PASS (18.88 s)

 (5/6) ./sanity1.py:SanityCheck1.testBinExistsInRootDir: PASS (17.87 s)

 (6/6) ./sanity1.py:SanityCheck1.test3GccSkipped: ERROR (19.30 s)

RESULTS : PASS 4 | ERROR 2 | FAIL 0 | SKIP 0 | WARN 0 | INTERRUPT 0 | CANCEL 0

JOB TIME   : 124.19 s

JOB HTML   : /root/avocado/job-results/job-2017-06-14T16.43-2a171b7/html/results.html

MTF dokumentace

MTF je dokumentována a dostupná na readthedocs.io webové stránce.

Více informací o projektu jsou dostupné zde [5].

Linky

[1] https://pagure.io/modularity-testing-framework/

[2] https://docs.pagure.org/modularity/

[3] https://admin.fedoraproject.org/pkgdb/package/rpms/modularity-testing-framework/

[4] https://copr.fedorainfracloud.org/coprs/phracek/Modularity-testing-framework/

[5] http://modularity-testing-framework.readthedocs.io/en/latest/