Bài viết này giới thiệu mô hình tự động hoá trong việc phát triển phần mềm bằng cách sử dụng Jenkins và Docker

I. Giới thiệu chung

1.1. Tích hợp liên tục (Continuous Integration)

Continuous Integration là phương pháp phát triển phần mềm yêu cầu các thành viên của team tích hợp công việc của họ thường xuyên, mỗi ngày ít nhất một lần. Mỗi tích hợp được "build" tự động (bao gồm cả test) nhằm phát hiện lỗi nhanh nhất có thể. Cả team nhận thấy rằng cách tiếp cận này giảm thiểu vấn đề tích hợp và cho phép phát triển phần mềm nhanh hơn.

Một kịch bản CI bắt đầu bằng việc developer commit code lên repository (github chẳng hạn). Bất kỳ thay đổi nào cũng sẽ trigger một vòng đời CI. Các bước trong một kịch bản CI thường như sau:

• Đầu tiên, developer commit code lên repo.
• CI server giám sát repo và kiểm tra xem liệu có thay đổi nào trên repo hay không (liên tục, chẳng hạn mỗi phút 1 lần)
• Ngay khi commit xảy ra, CI server phát hiện repo có thay đổi, nên nó nhận code mới nhất từ repo và sau đó build, chạy unit và integration test
• CI server sẽ sinh ra các feedback và gửi đến các member của project
• CI server tiếp tục chờ thay đổi ở repo
  

Mỗi lần developer làm xong task, họ phải chạy một private build (tức là chạy phần mềm trên local trước), check cẩn thận và commit code lên repo khi đã thấy ổn. Bước này xảy ra thường xuyên và ở bất kỳ thời điểm nào trong ngày. Việc build tích hợp sẽ không xảy ra khi những thay đổi này chưa ảnh hưởng đến repo.

Lợi ích của việc sử dụng CI là:

• Giảm thiểu rủi ro nhờ việc phát hiện lỗi và fix sớm, tăng chất lượng phần mềm nhờ việc tự động test và inspect (đây cũng là một trong những lợi ích của CI, code được inspect tự động dựa theo config đã cài đặt, đảm bảo coding style, chẳng hạn một function chỉ được dài không quá 10 dòng code ...)
• Giảm thiểu những quy trình thủ công lặp đi lặp lại (build css, js, migrate, test...), thay vì đó là build tự động, chạy test tự động
• Sinh ra phần mềm có thể deploy ở bất kì thời gian, địa điểm

1.2. Jenkins

Jenkins là một phần mềm tự động hóa, mã nguồn mở và viết bằng Java. Jenkins giúp tự động hóa các quy trình trong phát triển phần mềm, hiện nay được dùng trong Tích hợp liên tục, và còn được dùng đến trong việc Phân phối liên tục.

Jenkins hỗ trợ hầu hết các phần mềm quản lý mã nguồn phổ biến hiện nay như Git, Subversion, Mercurial, ClearCase... Jenkins cũng hỗ trợ cả các mã lệnh của Shell và Windows Batch, đồng thời còn chạy được các mã lệnh của Apache Ant, Maven, Gradle... [wiki-site]

Plugin là các phần mở rộng trong Jenkins, hỗ trợ các dự án không dùng ngôn ngữ Java. Plugin có thể tích hợp hầu hết các hệ thống quản lý mã nguồn và cơ sở dữ liệu vào Jenkins. Nhiều công cụ build có plugin riêng. Plugin cũng có thể thay đổi giao diện hoặc thêm chức năng mới cho Jenkins. Nhiều plugin dành riêng cho các mục đích khác nhau.

1.3. Docker

Docker là một phần mềm cung cấp môi trường ảo hóa chứa đầy đủ cài đặt cần thiết cho project. Docker giúp tăng tốc độ xây dựng project và giảm thiểu lỗi khi chuyển giao. Hiện nay docker đang trở nên rất phổ biến.

Các vấn đề cần tìm hiểu:
-Image
-Container
-Registry
-Repository
-Docker hub

1.4. Mô hình cơ bản

Mô tả:

• Khi dev push code lên Gitlab, Gitlab sẽ gọi một webhook thông báo cho Jenkins biết có sự kiện push code.
• Jenkins bắt được sự kiện này và chạy pipeline. Pipeline được mô tả những công việc mà Jenkins cần thực hiện được chỉ ra bởi dev.
• Trong mô hình này, pipeline sẽ thực hiện 4 công việc sau:
  • Pull code từ server
  • Đóng gói project
  • Build Docker Image, gắn tag
  • Publish Image lên 1 registry
• Sau khi hoàn tất việc publish image lên Docker registry thì pipeline sẽ kết thúc. Kết quả trả thu được là:
  • Image mới trên Registry
  • Image trên máy cài đặt Docker

II. Các bước cài đặt

Phần này mình sẽ giới thiệu ở bài tiếp theo nhé.

ELK stack là gì

"ELK" là viết tắt của 3 mã nguồn mở: Elasticsearch, Logstash, and Kibana

Elasticsearch: Cơ sở dữ liệu để lưu trữ, tìm kiếm và query log
Logstash: Tiếp nhận log từ nhiều nguồn, sau đó xử lý log và ghi dữ liệu và Elasticsearch
Kibana: Giao diện để quản lý, thống kê log. Đọc thông tin từ Elasticsearch

Về cơ chế hoạt động bạn có thể xem hình bên dưới

• Đầu tiên thì log sẽ được đưa đến Logstash qua nhiều con đường, từ file, từ beat (Công cụ đọc file của elastic.co)
• Sau đó Logstash sẽ xử lý, và phân loại log rồi đưa đến Elastic Search để lưu trữ
• Kibana sẽ đọc những dữ liệu được lưu trong Elastic Search để hiện thị log

Build ELK stack với docker

• Đầu tiên pull 3 image elk về máy:

  docker pull docker.elastic.co/elasticsearch/elasticsearch:6.2.4
  docker pull docker.elastic.co/kibana/kibana:6.2.4
  docker pull docker.elastic.co/logstash/logstash:6.2.4
  

• Tạo folder có cấu trúc sau:
  

docker-compose.yml

version: '2'
services:
 elasticsearch:
 	container_name: elastic_624
   image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
   build: elasticsearch
   environment:
     ES_JAVA_OPTS: "-Xms1g -Xmx1g"
   ports:
     - "9203:9200"
     - "9302:9300"
   volumes:
     - ./elasticsearch/config/:/etc/elasticsearch/config/
 kibana:
   container_name: kibana_624
   image: docker.elastic.co/kibana/kibana:6.2.4
   build: kibana
   ports:
     - 5601:5601
   volumes:
     - ./kibana/config/:/opt/kibana/config/
   depends_on:
     - elasticsearch
 logstash:
 	container_name: logstash_624
 	image: docker.elastic.co/logstash/logstash:6.2.4
 	command: -f /etc/logstash/conf.d/
   build:logstash
   ports:
     - 5000:5000
   volumes:
     - ./logstash/config:/etc/logstash/conf.d
   depends_on:
     - elasticsearch

kibana.yml

server.name: "kibana"
server.host: "0.0.0.0"
ops.interval: 5000
elasticsearch.url: "[ip_server_here]:9203"
xpack.security.enabled: false

my_config.conf

input {
    file {
    	path => "your file log"
        type => "Name of Log"
    }
}
output {
    elasticsearch { 
    	hosts => ["localhost:9200"] 
    }
    if "INFO" in [message] {
	    email {
	        username => "yourmail@gmail.com"
	        address => "smtp.gmail.com"
	        password => "yourpass"
	        port => 587
	        use_tls => true
	        from => "yourmail@gmail.com"
	        subject => "LOG alert"
	        to => "yourmail@gmail.com"
	        via => "smtp"
	        body => "Here is the event line that occured: %{message}"
	    }
    }
    stdout { codec => rubydebug }
}

• Run:
  • Trong folder chứa file docker-compose.yml chạy lệnh docker-compose up
  • Chạy thành công sẽ có 3 container như hình bên dưới
    
  • Địa chỉ truy cập vào kibana: your_ip:5601

Get UUID của ổ cứng

Mỗi ổ cứng đều được xác định bởi một con số duy nhất gọi là UUID
Lệnh sudo blkid dùng để get UUID

Config fstab để thêm ổ cứng mới

Đầu tiên là tạo 1 bản backup để có thể revert khi thay đổi
sudo cp /etc/fstab /etc/fstab.bak
Sau đó thêm 1 phân vùng mới bằng việc edit file với quyền root:
sudo vi /etc/fstab
Thêm ở cuối file với nội dung
UUID=<paste number copied from above> /data1 ext4 defaults 0 2
Trong trường hợp của mình, cần mount ổ có UUID 626A29AE3F9FDEEB vào phân vùng /data_2tb với kiểu ntfs có dạng như sau:

UUID=626A29AE3F9FDEEB /data_2tb ntfs defaults    0    2

Cuôi cùng chạy lệnh mount -a để test

Trong quá trình cài cắm, đôi lúc bạn cần backup dữ liệu để phòng rủi ro. Trong bài này mình sẽ hướng dẫn cách thực hiện backup sang Nas.
Các bước thực hiện

1. Mount Nas vào server cần backup

Kiểm tra ổ cứng

Gõ lệnh df -sh để kiểm tra ổ cứng

Trong hình vẽ mình đã mount 2 thư mụs lpic_project và backup_it từ con Nas 192.168.xx.xx vào server mình đang thực hiện backup.
Nếu chưa được mount thì connect vào phần admin của Nas để xem thư mục trong nas và user nhé.

Kiểm tra user và folder trong nas

Trong trường hợp này mình mount folder backup_it và sử dụng user backup_it. Lưu ý user cần có quyền w/r nhé :D

Cài đặt CIFS

sudo apt-get install cifs-utils

Thực hiện mount

Cách đơn giản nhất để thực hiện là thêm dòng bên dưới vào file '/etc/fstab' vi /etc/fstab file

//servername/sharename /media/windowsshare cifs username=msusername,password=mspassword,iocharset=utf8,sec=ntlm 0 0

Trong trường hợp của mình:

• 192.168.xx.xxx/backup_it folder backup trên Nas
• /mnt/datastore/backup folder sẽ mount trên server hiện tại
• file: /home/arrow/keys/.backup_store_credent chứa config username và password.

username=backup_it
password=xxx

Cuối cùng verify fstab bằng câu lệnh sudo mount -a
Kiểm tra lại folder đã được mount chưa bằng lệnh df -h

2.Chạy lệnh zip folder cần backup

cd /mnt/datastore/backup/
tar -czvf backup_it.tar.gz [folder_path]

Thỉnh thoảng bạn sẽ cần thêm file jar vào local repository của Maven mà không tìm được trên Maven center repository, hay muốn custom lại thư viện jar.
Trong bài này mình sẽ hướng dẫn cách thêm 1 thư viện vào project Maven.

1. Cách 1 - Sử dụng maven install

• Chạy lệnh install jar bằng lệnh của Maven plugin

mvn install:install-file -Dfile=<path-to-file>/xxx.jar -DgroupId=com.atv \
   -DartifactId=xxx -Dversion=1.0 -Dpackaging=<packaging>

• Sau đó add vào file pom.xml

<dependency>
     <groupId>com.atv</groupId>
     <artifactId>xxx</artifactId>
     <version>1.0</version>
</dependency>

2. Cách 2 - Load từ local repository

• Thêm config này vào file pom

<repositories>
 <repository>
   <id>in-project</id>
   <name>In Project Repo</name>
   <url>file://${project.basedir}/libs</url>
 </repository>
</repositories>

• Thêm dependency bạn muốn

<dependency>
    <groupId>com.atv</groupId>
    <artifactId>xxx-1.0</artifactId>
    <version>1.0</version>
</dependency>

Có điểm cần lưu ý ở bước này tên file jar đặt theo dạng artifactId-version.jar (xxx-1.0.jar)

• Thêm xxx-1.0.jar vào folder bên dưới
  [prorject_dir]/libs/com/atv/xxx/1.0
  (repository-location/groupId/artifactId/version)
• Trong thư mục trên thêm file xxx-1.0.pom

<?xml version="1.0" encoding="UTF-8"?>
<project xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd" xmlns="http://maven.apache.org/POM/4.0.0"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.atv</groupId>
  <artifactId>xxx</artifactId>
  <version>1.0</version>
  <description>POM was created from install:install-file</description>
</project>

• Cuối cùng test thôi :D mvn clean install -U

Trong bài viết này mình sẽ hướng cách viết ứng dụng Hello world trong Spring.
Các công cụ mình sử dụng bao gồm:

• IntelliJ IDEA
• JDK 1.8

1. Khởi tạo dự án

Với IntelliJ, chỉ trong vài click chuột bạn đã có thể khởi tạo dự án Spring boot

• Chọn New Project > Spring Initilaliz
  Click next -> next sẽ xuất hiện cửa sổ giống bên dưới
  

Có rất nhiều option khác cho việc khơi tạo spring boot, ở đây mình chọn mục web. Ở Template Engine thì mình sửa dụng Thymeleaf

2. Cấu trúc thư mục

Sau khitạo project thì intelij sẽ tạo ra cấu trúc thư mục như bên trên.

• File pom.xml chứa các cấu hình về thư viên
• File application.properties chứa các cấu hình của Spring boot, bạn có thể tham khảo tại đây
• Thư viện javascript và css sẽ được đặt trong thư mục resources/static
• View html đặt trong thư mục template

3. Ứng dụng hello

• HelloController
  package com.example.demo.controller;

import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;

@Controller
public class HelloWorldController {

    @RequestMapping({"hello","/"})
    public String hello(){
        return "hello";
    }
}

• hello.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8"/>
    <title>Title</title>
</head>
<body>
    Hello Word
</body>
</html>

@RequestMapping({"hello","/"}) hứng request về phía người dùng (localhost:8080/hello or localhost:8080/hello ). Sau đó sẽ điều hương về file hello.html

Run project và chờ đợi kết quả

Đơn giản phải không nào.

Bạn đã từng code css, bạn đã từng chán ngán với những thao tác lặp đi lặp lại. Bạn cần có 1 công cụ nào đó để hỗ trợ tốt hơn. Vâng Sass ra đời để đáp ứng điều đó. Với Sass bạn có thể có những dòng code trong sáng hơn, bạn có thể quản lí những thuộc tính dưới dạng biến và ti tỉ những thứ khác nữa ...

Và bạn có thể google thêm để biết thêm chi tiết về sức mạnh của SASS :)).

Trong bài viết này tôi sẽ giới thiệu cách cài đặt Sass cho MeanJs.

1.SASS là gì?

• Theo cách hiểu của tôi, SASS được hiểu nôm na là 1 công cụ gen ra css. Bạn viết css theo kiểu của SASS (sáng sủa dễ đọc hơn css thông thường, còn hơn điểm nào bạn có thể vào đây tham khảo : http://sass-lang.com/), SASS gen ra css cho bạn.
• ==> Input = "Sass code" Output = "File css"

2.SASS và MEANJS.

• MEANJS là một framework tích hợp MONGODB, EXPRESSJS, ANGULARJS, NODEJS
• Để run ứng dụng MEANJS, theo như info ở trang chủ http://meanjs.org/docs/0.4.x/ chúng ta dùng 1 trong 2 tash runner GULP và GRUNT . Và cũng dùng task runner để chạy sass build ra css. Trong bài viết này tôi sẽ giới thiệu cách run SASS với GULP.

3.Chạy SASS với GULP

• Thư viện cần dùng: Bootstrap-sass và gulp-sass
  • Bạn có thể cài đặt 2 gói thư viện đó vs lệnh sau:

    bower install bootstrap-sass --save
    npm install gulp-sass --save
    

* Tiếp theo chúng ta cần cấu hình cho file ```gulpfile.js ``` 
 * Định nghĩa thêm biến ```sass = require('gulp-sass')```
 * Sửa lại đoạn khai báo gulp task 

     ``` gulp.task('sass', function () {
       return gulp.src(defaultAssets.client.sass)
           .pipe(sass().on('error', sass.logError))
           .pipe(gulp.dest('public/lib'));
       });```

  *     ```  defaultAssets.client.sass``` đây là src của file .scss mà bạnbạn định nghĩa.
   Giá trị này được định nghĩa trong file ```config/assets/default.js``` .Trong trường hợp của tôi    ```sass: ['modules/core/client/css/main.scss']```,
       Trong file main.scss tôi sẽ import những file sass khác cần thiết vào.
   *    Ở đây tôi import thư viện bootstrap vừa cài đặt ở bên trên :                 
      ``` @import "public/lib/bootstrap-sass/assets/stylesheets/_bootstrap.scss";```
   *  ```public/lib``` Đây là thư mục chứa file **css** được gen ra.
* Đăng ký task gulp để chạy task 'SASS'
  ```
      gulp.task('default', function (done) {
         runSequence('env:dev', ['nodemon', 'sass', 'watch'], done);
       });```
    Lưu ý (Tôi đang chạy gulp với default là dev).
 * Cuối cùng run ứng dụng  bằng lệnh **gulp** , sau đó trong thư mục ```public/lib``` sẽ xuất hiện file css được gen từ file scss khai báo ban đầu