Void on Hira

Entendendo os tipos de jobs

Tue, 23 Jun 2020 02:46:15 -0300

Introdução

Vamos entender os principais tipos de jobs existentes e vamos criar um pipeline básico de build de aplicação.

Setup Ambiente

Você pode utilizar meu repositório com o setup criado até agora com algumas melhorias.

Execute o comando ./run.sh dentro da pasta 01_jenkins

Cenário

Como exemplo, vamos usar o Spring Boot Pet Clinic para demonstrar como criar um pipeline que simplesmente irá realizar o checkout do código e compilar.

Tools no Jenkins

Se você fosse realizar essa atividade no terminal de comando, você faria a seguinte sequência:

1
2
3

git clone https://github.com/spring-projects/spring-petclinic.git
cd spring-petclinic
mvn clean package

Você precisa do git para checkout da aplicação, o maven para compilar, e como é uma aplicação é em Java, precisa de uma jdk para compilar.

Para o Jenkins, todos estes itens são tratados como ferramentas. As configurações estão localizadas em Jenkins > Gerenciar Jenkins > Global Tool Configuration.

Utilizando o Global Tool Configuration do Jenkins proporciona um nível de flexibilidade para a instalação de várias ferramentas, além de padronizá-las entre as máquinas executoras do jenkins.

Os Tipos de Jobs

Os existem vários jobs no jenkins uma instalação padrão contém os seguintes jobs:

Freestyle: Este é o modelo de job mais antigo do jenkins. Ele é o modo “low code” para criação de jobs.
Pipeline: Tipo de job para execuções mais complexas, onde precisa de um nível de flexibilidade maior que o Freestyle. Neste tipo de job, os processos dos jobs são tratados como código, seguindo o princípio Pipeline as Code. Ainda há duas subdivisões no modo de desenvolvimento do Pipeline: temos o Declarative Pipeline e o Scripted Pipeline. Enquanto no primeiro você está limitado a uma estrutura pré-defininda, no segundo você pode utilizar de todas as funcionalidades da linguagem de programação Groovy. Mais detalhes em https://www.jenkins.io/doc/book/pipeline/syntax/#compare
Múltiplas Configurações: É um job Freestyle com um mecanismo para executar várias vezes de acordo com parametrizações. Por exemplo: Imagine que você precise fazer um job que irá testar em um ambiente Linux e um ambiente Windows os browsers Firefox e Chrome. Você parametriza no job os ambientes (Linux, Windows), os browsers (Firefox e Chrome) e o Jenkins fará a combinação de todas as possibilidades para executar o job (Linux-Chrome, Linux-Firefox, Windows-Chorme, Windows-Firefox)
Folder: Tipo especial de job para organização de Jobs em uma estrutura de Pastas.
Github Organization: Realiza um scan no seu repositório a partir de alguns critérios para executar um job padrão.
Multibranch Pipeline: Realiza um scan em um repositório e o jenkins gera automaticamente um job para cada branch encontrada.

Criando um pipeline

Selecione Novo Job, digite o nome do job e clique em pipeline e depois em Salvar:

Dentro da seção Pipeline, cole o seguinte código:

 2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26					sh 27 28 29 30 31 1pipeline{ agent any stages { stage('SCM Ckeckout'){ steps{ checkout([ $class: 'GitSCM', branches: [[name: "*/main"]], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[ url: "https://github.com/spring-projects/spring-petclinic.git" ]] ]) } } stage('Build'){ steps{ withMaven( globalMavenSettingsConfig: "mavenDefaultConfig", jdk: 'openjdk9', maven: 'maven3', mavenLocalRepo: "/usr/share/maven/.m2", options:     [artifactsPublisher(disabled: true)]) { "mvn clean package" } } } } class="o">}

Ao clicar em Construir agora o job será executado.

Explicando cada linha, temos:

A linha 1 define que estamos codificando um pipeline declarativo. Sendo assim, existe uma estrutura básica a ser seguida;
A linha 2* define que iremos executar este pipeline em qualquer máquina disponível (agent any). Um agent é qualquer máquina reconhecida pelo jenkins para executar os jobs;
A linha 3 define o bloco de stages e na linha 4 já declaramos o primeiro stage chamado “SCM Checkout”. Em seguida, a linha 5 contém o bloco steps. Somente após seguir esta estrutura podemos realmente informar o que desejamos automatizar;
As linhas 6 a 15 definem o comando checkout. Nele contém informações como por exemplo o tipo do repositório, a url do repositório e a branch. Particularmente, prefiro este comando ao invés do git pela quantidade de funcionalidades disponíveis;
As linhas 18 e 19 definem um novo bloco de stage chamado “Build”;
As linhas 20 a 25 definem todas as configurações do maven que iremos utilizar: Utilizar os settings chamado mavenDefaultConfig, informando a referencia da ferramenta instalada openjdk9 como a jdk a ser executada e com a versão do maven definida na ferramenta chamada maven3. Aqui ainda informamos aonde está localizado o diretório .m2 do maven e que ao executar o comando, quero ignorar a geração do fingerprint.
Finalmente, na linha 26 executamos o maven (mvn clean package) utilizando o comando sh;

Usando o Snippet generator

Você não precisa saber todos esses comandos de cabeça, uma funcionalidade do jenkins é poder construir esses trechos de código em formato wizard. Para isto, utilizamos o link Pipeline Syntax

Você pode selecionar no combo sample step o comando desejado e preencher com as informações necessárias. Ao clicar no botão Generate Pipeline Script ele irá gerar toda a linha de código necessária:

Finalização

Tentei mostrar todos os “caminhos” que aprendi ao longo do tempo sobre como aprender a criar pipelines no Jenkins. Como toda a adaptação, a documentação no começo vai parecer confusa e com certeza, algumas partes faltam documentação. Porém, as necessidades principais estão bem estruturadas no site oficial.

Por enquanto, nosso job só faz o checkout e o build. Nos próximos artigos vamos realizar incrementos para montar uma estrutura automatizada de build completa.

Abraços

Photo by Markus Spiske on Unsplash

Melhorando as configurações com Jenkins e Docker

Thu, 11 Jun 2020 02:46:15 -0300

Introdução

No artigo anterior foi apresentado como criar uma stack básica de desenvolvimento com o Jenkins. Agora vamos avaliar alguns desafios que surgiram e como melhorá-los.

Exlusão de containers

Usando o comando docker-compose down removemos todos so recursos criados pelo comando docker-compose up e o arquivo docker-compose.yml. Porém, os volumes criados não são automaticamente removidos. Depois de executar muitas vezes os comandos, teremos o seguinte cenário:

Você pode remover os volumes individualmente com o comando docker volume rm [id container] ou removendo todos os volumes não utilizados com o comando docker volume prune.

Jenkins - Configuration as Code

A partir de agora vamos tratar todas as configurações como código. Para isto, precisamos de uma estrutura de diretórios organizadas da seguinte maneira:

+-- wsl2-docker-devops/              #Pasta principal
    +-- 01_jenkins/                  #Todos os arquivos referente as configurações do jenkins
        +-- plugins/                 #Referencias aos arquivos de configuração de plugins
            +-- plugins.txt          #Arquivo com os nomes dos plugins a serem instalados
        +-- docker-compose.yml       #Configurações da aplicação
        +-- Dockerfile               #Construção da imagem.

Vamos alterar o arquivo docker-compose.yml com novas informações:

version: "3.4"
volumes:
  jenkins_data:
    name: jenkins_data
services:
  jenkins:  
    build: .
    ports:
        - "8080:8080"
    volumes:
      - jenkins_data:/var/jenkins_home:rw

E vamos criar o arquivo Dockerfile:

FROM jenkins/jenkins:lts
COPY ./plugins/plugins.txt /usr/share/jenkins/ref/plugins.txt
RUN /usr/local/bin/install-plugins.sh < /usr/share/jenkins/ref/plugins.txt
ENV JAVA_OPTS="-Djenkins.install.runSetupWizard=false"

E um arquivo de texto plugins.txt:

cloudbees-folder
build-timeout
credentials
timestamper
ws-cleanup
ant
pipeline-milestone-step
pipeline-input-step
pipeline-stage-step
pipeline-graph-analysis
pipeline-rest-api
pipeline-stage-view
pipeline-build-step
pipeline-model-api
pipeline-model-extensions
pipeline-stage-tags-metadata
pipeline-model-declarative-agent
pipeline-model-definition
github-api
git
github
github-branch-source
ssh-credentials
ssh-slaves
build-user-vars-plugin
matrix-auth
pam-auth
ldap
email-ext
mailer

Ao executar o comando docker-compose up & dentro do diretório 01_jenkins, ao acessar a página http://localhost:8080 irá aparecer a tela inicial do jenkins, sem nenhuma configuração manual:

Através de um único comando, você construiu a imagem com os plugins e subiu o jenkins sem nenhuma interação! :wink:

Detalhe das Configurações

Docker-compose

Dentro do docker-compose.yaml definimos um Volume com um nome customizado chamado jenkins_data

volumes:
  jenkins_data:
    name: jenkins_data

Este nome de volume será utilizado dentro do serviço do jenkins, referenciando o caminho /var/jenkins_home:

    volumes:
      - jenkins_data:/var/jenkins_home:rw

Isto faz com que o volume criado tenha o nome jenkins_data e agora não importa quantas vezes você realize os comandos docker-compose up e docker-compose down, haverá somente 1 volume criado:

O último trecho é a configuração de build, onde indica que há um dockerfile e que ele devemos realizar a compilação do container, no caso de não existir:

services:
  jenkins:  
    build: .

Dockerfile

No Dockerfile , temos a configuração e execução do trecho que instala os plugins do jenkins:

COPY ./plugins/plugins.txt /usr/share/jenkins/ref/plugins.txt
RUN /usr/local/bin/install-plugins.sh < /usr/share/jenkins/ref/plugins.txt

A imagem oficial do Jenkins contém um script chamado install-plubins.sh onde realiza automaticamente o download e a instalação dos plugins listados no arquivo plugins.txt. Este script também instala os plugins dependentes, caso tenha algum.

Por fim, o último comando define o modo de inicialização do jenkins:

ENV JAVA_OPTS="-Djenkins.install.runSetupWizard=false"

O padrão de inicialização do jenkins segue o seguinte formato:

java <JAVA_OPTS> -jar jenkins.war <JENKINS_OPTS>

onde:

JAVA_OPTS - Parâmetros da JVM
JENKINS_OPTS - Parâmetros de inicialização do Jenkins

O parâmetro -Djenkins.install.runSetupWizard=false pula o Wizard de instalação do jenkins, porém deixa o jenkins sem nenhuma autenticação.

Nunca, nunca utilize as configurações deste modo em produção. Este Setup é somente para uso local e estudos. Futuramente iremos tratar de assuntos relacionados a execução do jenkins em produção.

Criando usuário Admin

Como estamos tratando as configurações como código, precisamos de um script inicial para criar o usuário admin. Para isto, vamos criar uma pasta groovy e criar o arquivo setup-users.groovy

+-- wsl2-docker-devops/              # Pasta principal
    +-- 01_jenkins/                  # Todos os arquivos referente as configurações do jenkins
        +-- plugins/                 # Referencias aos arquivos de configuração de plugins
            +-- plugins.txt          # Arquivo com os nomes dos plugins a serem instalados
        +-- groovy/                  # Referencias aos arquivos de configuração do Jenkins
            +-- setup-users.groovy   # Script para criação de usuários
        +-- docker-compose.yml       # Configurações da aplicação
        +-- Dockerfile               # Construção da imagem.

import jenkins.model.*
import hudson.security.*

def instance = Jenkins.getInstance()

def hudsonRealm = new HudsonPrivateSecurityRealm(false)
hudsonRealm.createAccount("admin","password")
instance.setSecurityRealm(hudsonRealm)
instance.save()

def strategy = new GlobalMatrixAuthorizationStrategy()
strategy.add(Jenkins.ADMINISTER, "admin")
instance.setAuthorizationStrategy(strategy)

E vamos adicionar o mapeamento desta pasta no dockerfile:

version: "3.4"
volumes:
  jenkins_data:
    name: jenkins_data
services:
  jenkins:  
    build: .
    ports:
        - "8080:8080"
    volumes:
      - ./groovy:/var/jenkins_home/init.groovy.d
      - jenkins_data:/var/jenkins_home:rw

Executando novamente docker-compose up & no terminal e acessando http://localhost:8080 teremos a tela de login do jenkins:

Acessando com login admin e senha password temos acesso ao jenkins!

Grande parte dos itens programáveis dentro do jenkins são realizados utilizando groovy como linguagem de programação. Dentro do jenkins existem alguns pontos de extensão onde podemos executar scripts groovy personalizados. Um ponto de extensão fica na inicialização do Jenkins, criando arquivos dentro da pasta init.groovy.d. Todos os scripts desta pasta serão executados.

O script setup-users.groovy cria o usuário admin e utilizamos o sistema de permissão de matriz para definirmos como administrador do jenkins.

Você pode ver o usuário criado acessando a base interna de usuários (Jenkins » Gerenciar Jenkins » Gerenciar Usuários) e as atribuições de administrador em Configurar Segurança Global (Jenkins » Gerenciar Jenkins » configurar Segurança Global).

!User Configurations](docker_jenkins_07.png)

Nos próximos artigos veremos como criar um job e as configurações necessárias para compilar uma aplicação em java.

Caso tenha alguma dúvida, ou uma sugestão, entre em contato.

Abraços!

Jenkins Logo by Jenkins Artwork

Windows + Jenkins + Docker

Thu, 12 Sep 2019 01:46:15 -0300

Introdução

O Jenkins é uma ferramenta de automação que facilita o build, deploy com a execução de processos automatizados no ciclo de desenvolvimento de software.

Apesar de sua idade e com várias ferramentas concorrentes atuando no mesmo setor, continua sendo muito popular entre as empresas que adotam práticas de entrega contínua de software.

Este é um conjunto de artigos com o intuito de demonstrar alguns exemplos de como utilizar, configurar e personalizar o jenkins para conhecer suas características técnicas e sua infraestrutura.

Ao mesmo tempo, o jenkins não será o único foco, mas sim grande parte do conjunto de ferramentas que auxilia o desenvolvimento, testes e algumas vezes até a utilização em ambientes mais complexos.

Criando o Ambiente

Por muito tempo sempre que estudava alguma ferramenta, ou tecnologia instalava direto no meu notebook. Para quem trabalha na área, sabe que com o passar do tempo seu Sistema Operacional começa a ficar lento e não existe outra solução a não ser formatar a máquina.

Se você é um usuário de Windows (como eu) sabe que os problemas se tornam exponenciais. A solução de virtualização como Docker, Hyper-V, Virtualbox, Vagrant… na maioria das vezes funcionam, mas quando não aparece problemas de lentidão, aparece problemas de incompatibilidade de versões no Windows.

Se você usa Windows 10 Home multiplique os problemas por 1000x :weary:

Porém com o WSL2 as coisas melhoraram.

WSL2?

Conforme a microsoft diz em seu site:

O WSL 2 é uma nova versão da arquitetura do Subsistema do Windows para Linux que capacita o Subsistema do Windows para Linux a executar binários ELF64 Linux no Windows. As metas principais dele são aumentar o desempenho do sistema de arquivos e adicionar compatibilidade completa com a chamada do sistema.

Docker

Docker no Windows Home Edition… existem vários “workarounds” na internet mostrando como fazer… Já testei e funcionam, porém as versões do docker-machine são muitas vezes antigas.

Porém, recentemente houve o lançamento do Docker Desktop com Suporte a Windows Home (link).

Agora sim!

WSL2 + Linux

Resumidamente você tem que:

Realizar um update do Windows 10 para uma versão compatível com o docker desktop
Instalar o WSL2
Instalar docker desktop
Instalar um sistema operacional linux (Não é obrigatório, mas ajuda muito!)

Existem vários sites que podem te ajudar nesta etapa:

Eu gostei desse aqui, porque além de uma explicação prática, o link ensina a montar o ambiente de desenvolvimento (segui esse tutorial e estou bem contente com os resultados).

Jenkins + Docker + WSL2

Agora com o ambiente básico montado, podemos prosseguir com o básico da criação do ambiente o jenkins.

Crie um arquivo docker-compose.yml:

version: "3.4"
services:
  jenkins:  
    image: jenkins/jenkins:lts
    ports:
        - "8080:8080"

Em seguida, execute no terminal (Neste momento, recomenda-se usar o Windows Terminal com o Ubuntu conforme descritos nos links anteriores):

docker-compose up &

Após algum tempo irá aparecer esta mensagem:

Acesse http://localhost:8080 e informe o código:

Selecione “Install suggested plugins”

Crie o Usuário Admin:

Defina o nome da Url (explicaremos mais tarde o motivo de existir esta configuração):

Jenkins Configurado!

Uma outra alternativa é acompanhar através da interface do Docker Desktop:

Hello World

Nada mais tradicional do que criar um job de Hello World, para isto, clique em Novo Job, selecione um projeto Freestyle:

Na próxima tela, no bloco Build selecione Executar shell

Na caixa de seleção, digite echo 'Hello World', e após clicar em Salvar, seu primeiro job estará criado.

Clique em Construir agora e seu job irá executar. Após algum tempo, seu job estará executado e gerado a primeira execução:

Ao clicar no link do job #1, você verá os detalhes, e ao clicar em Saída do Console você verá o resultado da execução.

Você pode desligar seu container agora com o comando docker-compose stop.

Conhecendo o funcionamento do Jenkins

O Job acima é bem simples, mas serve de exemplo para explicar algumas características do jenkins e também do WSL2. Se você for no Docker Desktop e acessar o menu Inspect você verá a seguinte informação. (Podemos confirmar também com o comando docker volumes ls)

Dica: Acessando os pontos de montagem do Docker pelo windows

Todos os pontos de montagem do docker podem ser acessados diretamente pelo windows quando você utiliza o WSL2. Ao acessar o caminho \\wsl2$ você verá as imagens:

No meu caso, tenho 3 imagens:

Ubuntu: Este é o sistema operacional linux que instalei pelo Windows Store;
docker-desktop: Este é a imagem do docker daemon rodando;
docker-desktop-data: esta é a imagem onde estão as imagens baixadas e os volumes.;

E navegando no caminho \\wsl$\docker-desktop-data\mnt\wsl\docker-desktop-data\data\docker\volumes\fe5caa110558530e6bd64b8e3b112c545387cbb2b0a7fbdf067f3505647a6f7d\_data você terá acesso ao conteúdo do volume do docker :wink: :

“/img/2020/06” “18_jenkins.png” “Mount Point” “Mount Point” >

Características do Jenkins

Realizamos todos esses passos para explicar algumas características básicas em relação ao funcionamento do jenkins:

Característica 1: Conceito de jobs

O Job é a unidade básica de execução de tarefas do Jenkins. Ele é o responsável por orquestrar a execução de todos os comandos necessários para se fazer uma determinada ação, como por exemplo, compilar uma aplicação. Imagine o Job como um Shell Script gigante para executar alguma coisa!

Porém ao contrário de um Shell Script, um Job contém algumas estruturas para organização das atividades, chamadas de steps. Cada Step é uma atividade com um propósito definido, por exemplo, os passos para se compilar uma aplicação pode ser:

Baixar o código fonte;
Compilar a aplicação;
Copiar o artefato compilado para uma outra pasta;
Enviar um email informando o sucesso da compilação;

Característica 2: Plugins

O Jenkins não serve de nada sem os plugins. A estrutura de plugins é o que proporciona a flexibilidade e a dinâmica necessária para diversos cenários de utilização do jenkins. Os plugins controlam, por exemplo:

A integração com diversos provedores de autenticação;
A estrutura de Roles de usuários;
Os modos de acionamento dos Jobs;
Integração com várias outras ferramentas (Jira, slack, google chat, github, etc..);
Customização de layout;
….

A lista é gigante, e se houver a necessidade, você pode criar seu próprio plugin. (Um dia você irá precisar :lol:)

Característica 3: Filesystem

O Jenkins não trabalha com banco de dados. Todas as informações, configurações, job e plugins são armazenados em arquivos no disco. A maioria são arquivos xml. O jenkins durante sua execução acessa a variável de ambiente JENKINS_HOME onde está o caminho dos arquivos internos. Lembra do volume criado quando geramos o Docker? Ela é justamente a pasta apontada pelo JENKINS_HOME.

Por trabalhar com filesystem, há cuidados adicionais em relação a infraestrutura a ser criada, controle de acesso , alta disponibilidade e principalmente sobre a segurança.

Finalização

Este foi um texto inicial de como criar um ambiente de desenvolvimento para qualquer tipo de aplicação, porém aqui focamos na ferramenta do Jenkins. Nos próximos artigos, iremos entrar em mais detalhes do funcionamento de toda esta estrutura.

Caso tenha alguma dúvida, ou uma sugestão, entre em contato.

Abraços!

Photo by Tian Kuan on Unsplash

Estou vivo!

Thu, 12 Sep 2019 00:00:00 +0000

Olá Mundo!!!

Se você leu isso, é que o site está no ar. 👍

🎉