有了前一篇的架設，這邊來說明要怎麼從 Splunk 把報表轉到 Graylog。

先前準備

因為在 Graylog 的 Web 界面是沒辦法直接拉報表，必須透過 Graylog Restful API 來做介接取得資料後再自己 Render 出來，所以以下的基本知識需要先了解。

1. REST/RESTFul API 介紹，怎麼操作 API
2. Lucene Query Syntax，最重要的核心，如何去找到你要的東西
3. 報表系統使用的平台，必須要能夠吃 Graylog 產生出來的 JSON

因為在 SQL Server、MariaDB 的經驗，這次還是選擇 Windows 上面的 Powershell 來實做報表。

Graylog RESTFul API

官方文件就是只叫用戶到 System/Node 底下的 API Browser 去看，說實在的，就只是這樣而已，因此大部分的時間都在在這個用 Swagger 做出來的 API Browser 上。

登入帳號密碼以後可以看到列表，點開每一個項目會有說明，下面的圖應該就是寫報表的主體。

點開一個方法就會有每個方法的介紹。

其中幾個重要的點。

1. Implement Note: 注意說明跟參數格式
2. Response Class: 回傳資料格式
3. Parameters: 參數，注意必須項目
4. Try It Out: 我覺得最棒的項目了，直接試一次，會有以下的結果

1. Request URL: 就是後續用一樣的連結就可以得到一樣的東西，可以加到報表程式裡
2. Response Body: 回應資料，精華所在，測試的時候可以先把他放在檔案裡供程式測試，等到上線測試再走 Request URL。

回到搜尋

大家在看到之前的 Search API 的時候，實在是太多了，到底要用哪一個?

其實這個是見仁見智的，要看需求是什麼，但是我覺得 Graylog 開了很多一樣結果的不一樣 API，應該就是要怎麼樣都能搜尋吧 XD

1. 如果很明確的時間就 /Search/Absolute
2. 如果不明確的時間 (昨天，兩天前)就 Search/Keyword
3. 如果你已經在 Graylog GUI 存了一個覺得不賴的報表，想再叫出來用，就 Search/Saved
4. …

每個項目還有對於原來的值 (absloute)，簡單統計(histogram，stats)都能得到想要的，都要試試看才會知道。

Splunk 報表轉到 Graylog

這邊就拿一個最常用跟最基本來分享給大家。

原來的 Splunk 報表

有一個功能是每天凌晨零點寄送某個帳號每一臺機器的登入登出統計，在 Splunk 是這樣做的

分析

在查詢一下他的語法以後，我們可以透過/Search/Absolute來拿資料 (程式碼請參考這個)

1. 透過 /Search/Absolute 拿昨天的資料
2. 如果 total_results 沒東西就結束
3. 反之存一份 JSON 當附件
4. 拿出所有的 messages.message.full_message
5. 拿到 IP
6. 放到一個 Dictionary 裡面統計
7. 輸出

以下來說明一下實際上怎麼做

1
2
3
4
5
6

...
$UserToken = "token"
$base64AuthInfo = [Convert]::ToBase64String([Text.Encoding]::ASCII.GetBytes(("{0}:token" -f $UserToken)))
...
$rawdata = (Invoke-WebRequest -Uri $uri -Method Get -Headers @{"Content-Type"="application/json";"Authorization" = ("Basic {0}" -f $base64AuthInfo)}).Content
...

這個部份是認證，因為有限制系統使用者存取，所以要擺認證資料進去。

可以跟官方文件的資料一樣，送帳號密碼進去也行，但是寫在 Script 裡總是怪怪的。

我們可透過新增 Session Token 的方法來傳送驗證。

可以透過 curl 或是 API Browser 直接來新增 (Users:/users/{username}/tokens/{name})，username 是帳號名稱，name 就是隨便取的好記名字 (例如 report)。

會得到一個 token，就可以拿進來用了。

另外這邊使用到 Invoke-WebRequest，為什麼不用 Invoke-RestMethod 呢? 因為 Invoke-RestMethod 只會取第一層的緣故，所以透過 Invoke-WebRequest 拿資料。

1
2
3
4
5

...
$resultcount = ($rawdata | ConvertFrom-Json).total_results
...
$test = $rawdata | ConvertFrom-Json | select -expand messages | select -expand message | select full_message
...

這邊就是取實際資料出來的樣子，如果是從檔案(測試資料)出來的，記得再 Convert JSON 先。

1
2
3
4
5

...
$resultcount = ($rawdata | ConvertTo-Json | ConvertFrom-Json).total_results
...
$test = $rawdata | ConvertTo-Json |  ConvertFrom-Json | select -expand messages | select -expand message | select full_message
...

接下來分析 IP，從Original Address= 拿出來。用個 Dictionary 統計 (沒有的新增，有的加 1)

1
2
3
4
5

$test | Foreach-Object {
      $test3 = [regex]::Matches($_.full_message, "Original Address=([^\s]+)")
      $test4 = $test3[0].value.split("=")
      $d[$test4[1]] = $d[$test4[1]] + 1;
}

顯示結果與印出來。

1
2
3
4
5
6
7
8
9
10
11
12
13
14

$outputdata = "Hi all, <br> $_ 在 " + ('{0:yyyy-MM-dd}' -f $reportdate) + " 事件數量紀錄如下<br/>" 
   $d | Format-Table  @{L='Host(s)';E={$_.key}}, @{L='Event Count(s)';E={$_.value}} -auto | out-file ".\ooo.txt"
   Get-Content ".\ooo.txt" | Foreach-Object {
      $outputdata = $outputdata + $_
      $outputdata = $outputdata + "<br/>"

   }
  
   $outputdata = $outputdata + "<br/>詳細請參考附件資料。"
   
   $d.Clear()

   Send-MailMessage -To $MailTo -From $MailFrom -Subject (('{0:yyyy-MM-dd}' -f $reportdate) + " $_ 事件紀錄統計") -Body "$outputdata" -BodyAsHtml -SmtpServer $MailServer -Encoding ([System.Text.Encoding]::UTF8) -Attachments ".\$_.log"

然後設排程跑這個 Script，結果應該是這樣。

這個只是個簡單的報表，當然可以再加點 HTML/CSS，不過先知道要做什麼，拿到資料，後面做報表就不是很大的問題了。

原來負責系統的 Log 架構是這樣的

因為 Splunk License 的關係，有時候會因為收的量太多而罷工了。

這次就是想要利用 Graylog 來取代原有的 Splunk，以避免有 Log 沒分析到的問題。

試用經過

(請注意以下因為一些因素，只換 Splunk 的方式非真正最佳解法，僅提供有類似架構的朋友參考)

因為一開始對 Graylog 不熟，所以當然要有一些測試。從官網上的 OVA 開始，發現可以有 Log 進來，玩了一下界面，還蠻不錯的。

不過有一個麻煩的事情(這個在之前系統有購買 Arcsight 的 Solution 也有碰到過)，就是資料是亂碼的問題。

原因出在從 KIWI Syslog Server 拋出來的 Syslog 是 Windows 編碼，到 Linux 上就會變亂碼了。

找了一些方法，沒找到可以從 Graylog 直接 Conversion 的方法，只能前面加個 logstash 轉了。

原來想裝在官網的 OVA 裡，不過官網的 OVA 一來是 Ubuntu 14.04，系統裡的 Ubuntu 16.04 外，裝好起來效能竟然差到沒法 Parsing 資料，於是就想辦法自己裝了。

官網的手動安裝方法寫得很詳細，照做就很容易完成了。

最後架構

因為只有 Windows 傳過來的會亂碼，所以在 Graylog 前面多放一個 logstash 轉檔以後再丟到 Graylog 即可，網路設備的不會這樣，就直接送進 Graylog。

Graylog Server

Ubuntu 16.04

1
2

$ sudo apt-get update && sudo apt-get upgrade
$ sudo apt-get install apt-transport-https openjdk-8-jre-headless uuid-runtime pwgen

測試一下 Java

1
2
3
4

sujunmin@graylog:~$ java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b01, mixed mode)

MongoDB

安裝最新版 MongoDB

1
2
3
4
5
6

$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2930ADAE8CAF5059EE73BB4B58712A2291FA4AD5
$ echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.6 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.6.list
$ sudo apt-get update
$ sudo apt-get install -y mongodb-org
$ sudo systemctl enable mongod.service
$ sudo systemctl restart mongod.service

Elasticsearch

Elasticsearch 要用 5.x 版的 (是說我已經有這個了，然後前面又有 logstash，差一個 Kanban 就變成 ELK 了，還要用 Graylog 嗎 XD)

1
2
3

$ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
$ echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list
$ sudo apt-get update && sudo apt-get install elasticsearch

安裝完以後記得設定檔 /etc/elasticsearch/elasticsearch.yml 裡頭的 cluster.name 要設為 graylog。

1

cluster.name: graylog

然後設定服務

1
2

$ sudo systemctl enable elasticsearch.service
$ sudo systemctl restart elasticsearch.service

測試一下

1
2
3
4
5
6
7
8
9
10
11
12
13
14

sujunmin@graylog:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "-kYzFA9",
  "cluster_name" : "graylog",
  "cluster_uuid" : "T3JQKehzSqmLThlVkEKPKg",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2018-05-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Nginx

作為前端 Reverse Proxy 到 Graylog Web 的媒介

1

sudo apt -y install nginx

修改設定檔

1

sudo vi /etc/nginx/sites-available/default

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

server
{
    listen 80 default_server;
    listen [::]:80 default_server ipv6only=on;
    server_name <實際 IP>;

    location / {
      proxy_set_header Host $http_host;
      proxy_set_header X-Forwarded-Host $host;
      proxy_set_header X-Forwarded-Server $host;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header X-Graylog-Server-URL http://$server_name/api;
      proxy_pass       http://127.0.0.1:9000;
    }
}

設定服務與啟動

1
2

$ sudo systemctl enable graylog-server.service
$ sudo systemctl start graylog-server.service

Graylog

安裝最新版 Graylog

1
2
3

$ wget https://packages.graylog2.org/repo/packages/graylog-2.4-repository_latest.deb
$ sudo dpkg -i graylog-2.4-repository_latest.deb
$ sudo apt-get update && sudo apt-get install graylog-server

以下的設定是一定要設的

1. root_username，預設是 admin，可以改喜歡的

2. root_password_sha2，root 的密碼，用以下方式產生

   echo -n yourpassword | sha256sum

3. password_secret，其他用戶的密碼從這個資料加料產生，用以下方式產生

   pwgen -N 1 -s 96

4. rest_listen_uri，預設是 0.0.0.0:9000，因為不管是 Web 還是其他應用程式，跟 Graylog 溝通都是透過 Graylog RESTFul API，這個就是溝通的橋樑

5. rest_transport_uri，這個通常跟上面的一樣，不一樣的部份是如果你想要 expose 這個服務到其他不同段的 IP，這邊就要特別設定再外面看到的 IP，前面 Nginx 的 server_name 會跟這個一樣

6. root_timezone 設定時區

7. web_enable 是 true

8. web_listen_uri 跟 rest_listen_uri 一樣

設定服務與啟動

1
2

$ sudo systemctl enable graylog-server.service
$ sudo systemctl start graylog-server.service

登入看看，記得把原來的預設收 514 的 syslog input 的 Port 改成 12345。

logstash

安裝 logstash

1

sudo apt-get install logstash

安裝 logstash-output-syslog (轉換過的 syslog 吐給 Graylog)

1

sudo /usr/share/logstash/bin/logstash-plugin install logstash-output-syslog

設定 pipeline.conf

1

sudo vi /etc/logstash/conf.d/pipeline.conf

Input 從 514 的 syslog 編碼為 CP950 (Windows) 轉到 12345，編碼是 UTF-8

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

input {
    syslog {
      port => 514
      codec => plain {
        charset => "CP950"
      }  
    }
}

output {
    syslog {
        host => "127.0.0.1"
        port => 12345
        codec => plain {
          charset => "UTF-8"
        }
    }
}

Input 設在 514 用預設的 logstash 使用者沒法聽，所以要改啟動參數

1

sudo vi /etc/logstash/startup.options

找到 LS_USER 與 LS_GROUP 都設成 root

重新安裝設定檔

1

sudo /usr/share/logstash/bin/system-install

設定服務與啟動

1
2

sudo systemctl enable logstash.service
sudo systemctl start logstash.service

下一步

安裝測試完成以後，就是原來 Splunk 的報表能夠轉移。

剛剛有說到所有跟 Graylog 溝通都是透過 Graylog RESTFul API 來做處理，下一篇文章就是要來說明如何透過 Graylog RESTFul API 來做簡單的報表。

安裝

原文中使用原碼編譯安裝，但其實 Ubuntu 16.04 裡頭已經有這個 Package 了。

sudo apt install flashcache-dkms flashcache-utils

載入 flashcache

sudo modprobe flashcache

看有沒有成功

sudo lsmod |grep flashcache

開機自動載入

echo 'flashcache' | sudo tee --append /etc/modules

使用

如同原文方式，首先要確認 Partitions，原來的磁碟跟要作為快取的 SSD 磁碟。

假設原來的狀態如下

原來的磁碟 /dev/sdb1，UUID 為 [UUID_sdb1] (可從ls -la /dev/disk/by-uuid/查看對應) mount 在 /test 上

要做快取的 SSD 磁碟 /dev/sdc1，未來名稱為 sdb1_cache

1. 把 /test 裡頭的資料移到其他地方，因為要清空

2. 對 SSD 磁碟做 flash_create，這個會依照大小等一段時間

   sudo flashcache_create -v -p back sdb1_cache /dev/sdc1 /dev/disk/by-uuid/[UUID_sdb1]

3. 試著 mount 看看

   sudo mount /dev/mapper/sdb1_cache /test

4. 成功就可以試著寫寫看 (把先前移到別的地方的資料移回來)，透過 flashstat 可以看使用狀況

5. 如果要開機可以 mount，寫入 /etc/fstab 就可以了 (範例)

   /dev/mapper/sdb1_cache /test ext4 defaults 0 0

如果要打掉的話就

1. /test 的資料移動到別的地方
2. sudo umount /test
3. sudo dmsetup remove sdb1_cache
4. sudo flashcache_destory /dev/sdc1
5. /test 的 mounting point 改回原來的 (/dev/sdb1)
6. 資料搬回 /test

後記

我覺得這個還蠻好用的，它是對 Partition 做 cache，都不用管實際怎麼運作就能用了，十分方便好用。

找了很多資料，只有這篇寫的我可以拿來解決，分享給大家。

步驟大概如下：

1. 從這裡下載 IE11 獨立安裝包

2. IE11-Windows6.1-x86-en-us.exe /x:C:\temp\IE10_x86

   IE11-Windows6.1-x64-en-us.exe /x:C:\temp\IE10_x64

3. 他說會有如他說的資料夾架構，但我解開只有 IE11_x64 或 IE11_x86 裡頭的內容，所以編一個跟他一樣的架構

4. 把 KB2729094 下載下來放在 PreReq 裡(只差這一個)

5. 下載 IE11INSTALLER-WIN7-SCRIPT.ZIP，放在該放的地方

6. cscript.exe //nologo IE11Installer-Win7.vbs

7. 等完成收工

原來的方式

文章的意思就是如下

1. 設定 MultiArch
2. 到網站下最新的安裝包
3. 安裝它

在 3 的地方發生了一個很嚴重的問題

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

> sudo dpkg -i code-oss_1.14.0-1497990172_armhf.deb 
[sudo] password for sujunmin: 
選取了原先未選的套件 code-oss:armhf。
（讀取資料庫 ... 目前共安裝了 193100 個檔案和目錄。）
準備解開 code-oss_1.14.0-1497990172_armhf.deb ...
解開 code-oss:armhf (1.14.0-1497990172) 中...
dpkg: 因相依問題，無法設定 code-oss:armhf：
 code-oss:armhf 相依於 apt.

dpkg: error processing package code-oss:armhf (--install):
 相依問題 - 保留未設定
Processing triggers for desktop-file-utils (0.22-1ubuntu5.1) ...
Processing triggers for bamfdaemon (0.5.3~bzr0+16.04.20160824-0ubuntu1) ...
Rebuilding /usr/share/applications/bamf-2.index...
Processing triggers for mime-support (3.59ubuntu1) ...
處理時發生錯誤：
 code-oss:armhf

然後要使用 sudo apt install -f 來處理的時候

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

> sudo apt install -f
正在讀取套件清單... 完成
正在重建相依關係          
正在讀取狀態資料... 完成
正在修正相依關係... 完成
下列的額外套件將被安裝：
  apt:armhf
建議套件：
  aptitude:armhf | synaptic:armhf | wajig:armhf apt-doc:armhf python-apt:armhf
下列套件將會被【移除】：
  apt apt-utils
下列【新】套件將會被安裝：
  apt:armhf
【警告】：下列的基本套件都將被移除。
除非您很清楚您在做什麼，否則請勿輕易嘗試！
  apt
升級 0 個，新安裝 1 個，移除 2 個，有 0 個未被升級。
1 個沒有完整得安裝或移除。
需要下載 1,014 kB 的套件檔。
此操作完成之後，會空出 1,042 kB 的磁碟空間。
您所進行的操作可能會帶來危險。
請輸入 'Yes, do as I say!' 這個句子以繼續進行
 ?] 

天阿，竟然會移除掉 apt，那時想這只是不同的 arch 應該還是可以用，結果就繼續下去，變成更多的 error

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

> sudo apt upgrade
正在讀取套件清單... 完成
正在重建相依關係          
正在讀取狀態資料... 完成
您也許得執行 'apt-get -f install' 以修正這些問題。
下列的套件有未滿足的相依關係：
 account-plugin-facebook : 相依關係: libaccount-plugin-generic-oauth 但它卻尚未安裝或
                                         ubuntu-system-settings-online-accounts 但它卻尚未安裝
 account-plugin-flickr : 相依關係: libaccount-plugin-generic-oauth 但它卻尚未安裝或
                                       ubuntu-system-settings-online-accounts 但它卻尚未安裝
 account-plugin-google : 相依關係: libaccount-plugin-google 但它卻尚未安裝或
                                       ubuntu-system-settings-online-accounts 但它卻尚未安裝
 adduser : 相依關係: perl-base (>= 5.6.0) 但它卻尚未安裝
           相依關係: passwd (>= 1:4.1.5.1-1.1ubuntu6) 但它卻尚未安裝
 adwaita-icon-theme : 相依關係: libgtk-3-bin 但它卻尚未安裝
                      相依關係: librsvg2-common 但它卻尚未安裝
 alsa-base : 相依關係: kmod (>= 17-1) 但它卻尚未安裝
             相依關係: udev 但它卻尚未安裝
...

幾乎整個系統都要轉成 armhf 架構了，真糟糕。

解決的方法

中間有試過很多方法(重編，安裝 arm64 版本…)都失敗。最後還是想到這樣的方式解決。

首先要把 apt:arm64 裝回來，然後確定 apt database 沒問題以後，解開下載的安裝包，手動放在該放的目錄底下。

1
2
3
4
5

> dpkg -x code-oss_1.14.0-1497990172_armhf.deb code
> cd code
> sudo cp -R usr/* /usr/
> sudo ln -s /usr/share/code-oss/code-oss /usr/bin/code-oss
> sudo wget https://raw.githubusercontent.com/stevedesmond-ca/vscode-arm/master/code.png -O /usr/share/code-oss/resources/app/resources/linux/code.png 

最後一個因為我還是比較喜歡 Windows 上面的 Icon，不一定要改。

接著把它加入到 WM 的功能表裡就完成了。

你可以加入他們家的 repository，不是要真的更新，而是有更新了可以知道，然後用這樣的方式更新 XD

1

> curl -s https://packagecloud.io/install/repositories/headmelted/codebuilds/script.deb.sh | sudo bash

客服與社群

在等待 Pinebook 來的時候(其實等滿久的)，中途有發生想要加訂 64Gb eMMC 的問題，其中退刷跟重訂花了不少時間與客服溝通，但是重要的是，我的排隊順序不因為重訂而改變，這真是太貼心了，客服溝通的時候也十分不厭其煩的說明(連如何拆機都說得很清楚)，真的很棒。

社群也十分活躍，也許是我剛用 ARM-based 的產品關係吧，有很多思維都是跟之前用 x86 的機器一樣，社群的開發者與使用者不厭其煩的說明，讓我可以好好調校我的 Pinebook。

外觀

白色的塑膠殼，很容易髒，他有送貼紙，但我都貼不好，所以貼點別的。

背面，很簡單的兩個喇叭。

一邊是電源孔，USB Port 與 HDMI 輸出。

另一邊是 SD 卡 (64GB Class 10 U1 卡)，耳機孔跟另一個 USB Port，可以看到 USB Port 有一點傷痕，因為實在是太緊了，有點澀的感覺。

鍵盤與觸控板，鍵盤也有點澀，有時候會打不太出字，觸控板很靈敏，有個有趣的小插曲。因為我有升級 64GB eMMC，所以有拆機。然後安裝完以後不管是 Linux 或是 Android 觸控板都沒法用，還在想是不是 driver 的關係，上網問了一下，被問到是不是有拆機，我說沒有，只有換 eMMC，就被發現有拆過了，果然就是因為拆機的關係卡榫鬆掉了，弄好就可以了。

簡單的三個燈。

兩個麥克風的洞。

最後選擇 Ubuntu Mate 來作為作業系統，安裝在 eMMC 裡。

拆機的照片，因為用膠帶粘著，小心撕開的時候動到了手寫版的排線，所以不能用，插好就可以用了。

觀察 Replication 的作業情形

Master Site 是由數個獨立的資料庫組合而成，Slave Site 只讀不寫 (有稽核資料庫用途，但與原來的資料沒有關係)。

Master Binlog 寫入依照 OS 的處理處理之 (innodb_flush_log_at_trx_commit=1)，每個 Binlog 大小都是預設的 1G，約 2.5 - 3 天換檔一次。

預設的 Replication 只有一個 Thread 在跑，所以通常都是 Find Raw for Update/Delete Events。

show slave status 看就只看到 Relay Log 與 Master 越差越多(從檔名看出來)。

Parallel Repliation

從 MariaDB 的官方 blog 看到這篇 Goodbye Replication Lag!，原來 Replication 也有平行處理的，但是設定不是像那篇文章寫的那麼簡單。

slave_parallel_threads = # of cores

這個從官方文件可以了解，依樣畫葫蘆設定完以後得到以下的結果。

都在 Waiting for room in worker thread event queue.

這邊先來說明一下這些 workers 是在幹什麼用的。

執行 Replication 時，會有兩個 Thread，一個是 SQL_THREAD，另一個是 IO_THREAD，顧名思義，SQL_THREAD 就是處理 SQL 作業的 Thread，IO_THREAD 就是管理 Binlog 從 Master 拿來然後放在自己的 Relay Log 的 Thread。

在沒有 Parallel Replication 時，SQL_THREAD 就要自己分配給自己，也因為沒法先看一下 Binlog 後面的 Transation，也許後面可以先做的，但是還是一個一個做，自然很慢。

當有 Parallel Replication 時，原來的 SQL_THREAD 除了自己變成分配工作的 Thread 以外，會產生出其他 slave_parallel_threads 數量的 Thread 來處理 Transations，在分配工作石就能知道哪些作業沒有順序關係，哪些一定有順序，這樣就會快多了。

但是怎麼都會是 Waiting for room in worker thread event queue. 呢? 根本沒有平行處理阿?

slave-parallel-max-queued

文件看一半就不會注意到這個。如果你的 Transation 都在每一個 slave-parallel-max-queued 大小的 Transation Logs 裡都被看透，這樣就有助於平行處理。反之如果都沒法看透那就只能等讀到的先做完，有空間了再讀後面的 Log 並且繼續執行，這樣也許有機會平行處理的都被打亂了。

所以適當的設定 slave-parallel-max-queued 是必須的，但是它跟前一個參數 slave_parallel_threads 與整體的記憶體使用是有關係的 (slave_parallel_threads * slave_parallel_max_queued 結果太大會導致記憶體用盡)。

在測試的過程中，有要求過把備援機的記憶體調高 (到 10G)，8 個 Parallel Threads，每個 Thread 512MB，加上原來 Innodb 的設定與作業系統的記憶體使用，在開始 Replication 時 Out of Memory 好幾次，這邊是需要微調的。

結果

應該期望的是像這樣

最重要的兩個參數，MariaDB 文件裡也寫得很清楚，節錄出來給大家參考。

If this value is set too high, and the slave is far (eg. gigabytes of binlog) behind the master, then the SQL threads can quickly read all of that and fill up memory with huge amounts of binlog events faster than the worker threads can consume them.

On the other hand, if set too low, the SQL thread might not have sufficient space for queuing enough events to keep the worker threads busy, which could reduce performance.

監控 Replication 的相關參數與 Seconds_Behind_Master

show slave status 應該是大家一定會用到的，不外乎 Master_Log_File，Relay_Log_File，Last_IO[SQL]_Error[Errno]，Gtid_IO_Pos 這些，其中有一個參數 Seconds_Behind_Master 原來我是把它當作是大海裡的一塊浮木，想說已經有這麼方便的參數可以拿來看了，應該是很方便監控了，經過幾天看的經驗其實不然。首先來看他的定義。

Difference between the timestamp logged on the master for the event that the slave is currently processing, and the current timestamp on the slave. Zero if the slave is not currently processing an event. From MariaDB 10.0.23 and MariaDB 10.1.9, with parallel replication, seconds_behind_master is updated only after transactions commit.

有一篇寫的很好。

Seconds_Behind_Master is really a double-edged sword.

因為它只是當下 Slave 讀到的 Relay Log 與正在從 Master 拿到的 Binlog 的時間差，假設我的 Binlog 做的不是現在 Master 那個 (Master 在 123，Slave 在 100)，那些多的差異不會被計算入。

不過最後的每日資料庫狀態報告還是把它拿進來參考，不能當主要因素，但是能參考一下。

Update[Delete]_rows_log_evet::find_row() 到底在存取哪個資料庫

如果你的 Slave 也像我這麼簡單，系統的資源監視器蠻好用的，補齊 SHOW PROCESSLIST 這時候都沒有資料的問題。

不過我的觀察，大部分都是卡在這個作業上很久，有時候還會卡住其他的 Transaction 無法平行處理。

但是實際上 Master 更新資料也沒那麼久阿?

看一下 Binlog Format 是 MIXED，會跑出這個應該是變成 Row-based 來儲存了。

The default format from MariaDB 10.2.4. A combination of statement and row-based logging. In mixed logging, statement-based logging is used by default, but when MariaDB determines a statement may not be safe for statement-based replication, it will use the row-based format instead.

Row-based 好處就是更能完整保存交易先後秩序，但是真的很慢阿，這個需要資料分析找出可以做 unique 或是 primary key 的資料欄位才能加速。

Beginning in MariaDB 5.3, the slave will try to choose a good index among any available:

1. The primary key is used, if there is one.
2. Else, the first unique index without NULL-able columns is used, if there is one.
3. Else, a choice is made among any normal indexes on the table (e.g. a FULLTEXT index is not considered).

這裡有 script 可以找出哪些連一個 Unique 或是 Primary Key 都沒有的。

找了一下方法，有人說是 Temp Path 的問題，不過後來是按照這裡面的方法砍掉設定檔重開就好了，紀錄一下。

真的是很奇怪的問題呀。

在開發某個應用的時候，使用 LINE Notify 作為通知功能，卻發現到該架構沒有使用 Web API 的函式 (Webrequest, HttpWebRequest, RestGet, …)，透過執行外部程式的方式來達成目的。

LINE Notify

這個服務蠻方便的，如果要作簡易的通知機器人又不想要作複雜的機器人開發，只要註冊一下就可以使用了，Google 一下有很多人都有使用經驗，是個不錯的服務。

讓不支援 Web API 的程式支援

如果你的架構能支援使用外部程式，或是可以使用其他類 (如 C++ export function) 函式庫的話，以下的說明可以讓該架構可以使用 Web API。

我的架構中是沒有支援使用外部程式，但可以用 C++ 的外部函式庫，在 Windows 上面。

首先，我使用 Windows 都有的 shell32.dll。

1
2
3
4
5
6
7
8
9
10

#import "shell32.dll" 
        int ShellExecuteW( int       hWnd,
                           string    lpVerb,
                           string    lpFile,
                           string    lpParameters,
                           string    lpDirectory,
                           int       nCmdShow
                           );
#import                 

其中 ShellExecuteW 是拿來執行外部程式的函數。

接下來使用 curl 來作為發動 Http Request 的外部程式，這個 curl 支援多種平台，真的很方便。

因為環境在 Windows 上，所以下載 Windows 版的 (記得裡頭的檔案都要在同個目錄下才能運作)。

最後在要使用 Web API 的地方加

1
2
3
4
5

      ...
      string cmd = " -X POST -H \"Authorization: Bearer " + LineNotifyAccessToken + "\" -F \"message=" + msg + "\" -F \"imageFile="+filename+"\" https://notify-api.line.me/api/notify"; 
...
ShellExecuteW (0, "Open", "curl.exe", cmd, workpath, 0);
      ...

其中 imageFile 的格式是 jpeg/png ，自己電腦裡的路徑 @C:/test/abc.png，所以就是 imageFile=@C:/test/abc.png。

另外這個服務是每個小時有一個上限，API Rate Limit，可以參考一下。

1
2
3
4
5
6
7
8
9
10
11
12
13

F:\Test>curl -X GET -H "Authorization: Bearer <token>" https://notify-api.line.me/api/status -I
HTTP/1.1 200 OK
Server: nginx
Date: Fri, 03 Mar 2017 02:45:18 GMT
Content-Type: application/json;charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Keep-Alive: timeout=3
X-RateLimit-Limit: 1000
X-RateLimit-ImageLimit: 50
X-RateLimit-Remaining: 946
X-RateLimit-ImageRemaining: 50
X-RateLimit-Reset: 1488511643

這樣一來就讓不支援 Web API 的程式支援了。

因為公司的稽核項目很多，所以大部分的專案都會買一些 SIEM 的設備 (Arcsight, 趨勢的平台…)，有的時候很好用，但是有的時候太複雜或是很慢，所以就有自己作 Audit Log Parser 的動機。

對於 SQL Server 的 Audit Log (Trace File)有個自己作的 Parser，對於 MariaDB 應該也要有一樣的方式處理。

基本架構

我的環境除了正式機以外，還有備援機 (Slave)，原來是想在備援機上的 relayed binlog 來作處理，結果大失所望。那些從 master relayed 來的 binlog 完全不會有紀錄，這樣就不能從備援機正式機的 Audit Log 了。

我的 SQL Server 正式機因為怕效能損耗不會在正式機上 Parsing Trace Files，而是把資料透過網芳存到備援機，由備援機來 Parsing，那 MariaDB 可不可以這樣做呢?

答案是可以的。

在 server_audit_file_path 設定 ////remotehost//dir//audit.log 這樣就能達到遠端存資料了 (記得反斜線的數量)。

接下就是設計的問題。仍然使用好用的 Powershell 來達成目標。

架構大概是這樣

• 先前處理
  • 建立相關資料夾與環境
  • 匯入 log
  • 分析 log
  • 如有重要資料需儲存的需放到資料庫
  • 如有重要資料需要即時告警的需發送

接下來就來介紹如何分析與處理。

Audit Log 的過程與實做

首先從官方文件可以看到結構。

1

[timestamp],[serverhost],[username],[host],[connectionid],[queryid],[operation],[database],[object],[retcode]

有這些資料就能分析了(以下可能有更好的解法，這個解法只是其中一種)。

以 [timestamp], 分段

因為檔案不是用 \r\n 或 \n 來分隔一行，而是用空白，在[timestamp] 與 [object] 也會有空白，所以需要先分段。透過 [timestamp], 來分段。

1

$matches = ([regex] '(\d{4})(\d{2})(\d{2}) (\d{2}):(\d{2}):(\d{2}),').Matches($auditfilecontent)

每一段以 , 分欄位

接下來就是每一個 , 欄位，到 [object] 前都是這樣分的。

1
2
3
4
5
6
7
8
9
10

$submatches = ([regex] ',').Matches($line)  
$timestamp    = $line.SubString(0, $submatches[0].Index)
$serverhost   = $line.SubString($submatches[0].Index+1, $submatches[1].Index - $submatches[0].Index-1)
$username     = $line.SubString($submatches[1].Index+1, $submatches[2].Index - $submatches[1].Index-1)
$hosts        = $line.SubString($submatches[2].Index+1, $submatches[3].Index - $submatches[2].Index-1)
$connectionid = $line.SubString($submatches[3].Index+1, $submatches[4].Index - $submatches[3].Index-1)
$queryid      = $line.SubString($submatches[4].Index+1, $submatches[5].Index - $submatches[4].Index-1)
$operation    = $line.SubString($submatches[5].Index+1, $submatches[6].Index - $submatches[5].Index-1)
$database     = $line.SubString($submatches[6].Index+1, $submatches[7].Index - $submatches[6].Index-1)
$retcode      = $line.SubString($submatches[$submatches.Count-1].Index+1,$line.length - $submatches[$submatches.Count-1].Index-1).Trim()

到了 [object]，因為有可能裡頭也有 , 所以不能直接拿 split 的值來用，取最後一個 , 之前的當作是 [object]。

1
2
3
4
5
6
7

if ($submatches[$submatches.Count-1].Index - $submatches[7].Index- 3 -lt 0) 
 {
   $object = ""
 }else
 {
   $object = $line.SubString($submatches[7].Index+2, $submatches[$submatches.Count-1].Index - $submatches[7].Index-3)  
 }

有了資料就能作其他用途了。

處理的方式

基本上的需求如下

• 原始資料保存
• 人員使用的帳號(客服或帳務處理)作業需在每日統計報表裡呈現
• 資料庫管理者使用的帳號作業需在每日統計報表裡呈現
• DCL 與 DDL 作業時需即時發送通知給主管
• 每日使用狀態報表

重要資料紀錄 DB

針對可得到的資料要作一個紀錄，用資料庫處理。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

CREATE DATABASE IF NOT EXISTS `auditdb`;
USE `auditdb`;

CREATE TABLE IF NOT EXISTS `auditdata` (
  `timestamp` datetime NOT NULL,
  `serverhost` char(100) NOT NULL,
  `username` char(100) NOT NULL,
  `hosts` char(100) NOT NULL,
  `connectionid` char(100) NOT NULL,
  `queryid` char(100) NOT NULL,
  `operation` char(100) NOT NULL,
  `database` char(100) NOT NULL,
  `object` varchar(10000) DEFAULT NULL,
  `retcode` char(10) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

相關人員帳號使用情形紀錄

看 [username] 欄位即可得到資訊。

1
2
3
4
5

if ($Users -contains $username)
                {
                    $sql = "INSERT INTO " + $AuditDB + "." + $TraceFileData + " VALUES (STR_TO_DATE('" + $timestamp + "','%Y%m%d %H:%i:%S'), '" + $serverhost + "', '" + $username + "', '" + $hosts + "', '" + $connectionid + "', '" + $queryid + "', '" + $operation + "', '" + $database + "', '" + $object + "', '" + $retcode +"');"    
                    & $mysqlexe -u $AuditDBUserName --password=$AuditDBPassword -h $AuditDBServer  -e "$($sql)"
}

DCL 與 DDL 作業即時告警

如果 server_audit.dll 是用之前說的方式重新作一個，這邊就很簡單：看 [operation] 是不是 QUERY_DCL，QUERY_DML，QUERY_DDL 就可以了。如果不是用之前的方式，這邊就要分析 [object] 裡頭的內容了。

把所需的資料放到一個 ArrayList 裡，全部都 Parsing 完以後看看是不是有資料，有的話就發信告警。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

if ($MailEventClasses -contains $operation)
{
    $DXL.Add(($timestamp, $serverhost, $username, $hosts, $connectionid, $queryid, $operation, $database, $object, $retcode))
}
...
if ($DXL.Count -ne 0)
{
    $output = "<table border=1 style=border-width: thin; border-spacing: 2px; border-style: solid; border-color: gray; border-collapse: collapse;> 
                 <tr><th>StartTime</th>
             <th>LoginName</th>
                 <th>HostName</th>
             <th>ServerName</th>
                 <th>DatabaseName</th>
                 <th>Operation</th>
                     <th>TextData</th>
                     <th>ReturnCode</th></tr>"

        $DXL | Foreach-Object {

        $output = $output + "<tr><td>" + $_[0] + "</td><td>" +  $_[2] + "</td><td>" + $_[3] + "</td><td>" + $_[1] + "</td><td>" + $_[7] + "</td><td>" + $_[6] + "</td><td>" + $_[8] + "</td><td>" + $_[9] + "</td></tr>"
    }

    $output = $output + "</table>"
    Send-MailMessage -To $MailTo -From $MailFrom -Subject "資料庫特權活動即時告警" -Body "$output" -BodyAsHtml -SmtpServer $MailServer -Encoding ([System.Text.Encoding]::UTF8)        
}

每日匯總報表

如果之前的作法中，塞資料到資料庫的動作有作的話，這邊就十分簡單。

先設定一些資料。

1
2
3
4
5
6
7
8
9
10
11

$AuditDBServer = "server"
$AuditDB = "AuditDB"
$TraceFileData = "auditdata"
$AuditDBUserName = "username"
$AuditDBPassword = "password"
$mysqlexe = "D:\Program Files\MariaDB 10.1\bin\mysql.exe"
$Users = "'need','to','be','audit','users'"
$MailFrom = "from@abc.com"
$MailEventClasses = "'QUERY_DDL','QUERY_DCL'"
$MailTo = "to@def.com"
$MailServer = "smtp.server"

接下來移除 Audit 資料庫裡頭 3 天前的資料。

1
2
3
4
5

$NowTime = Get-Date
$TempPath = "D:\AuditFile"

$sql = "delete from " + $AuditDB + "." + $TraceFileData + " where timestamp < '"+("{0:yyyy-MM-dd}" -f $NowTime.AddDays(-3))+ "' or timestamp is Null;"
& $mysqlexe -u $AuditDBUserName --password=$AuditDBPassword -h $AuditDBServer  -e "$($sql)" 

符合 $MailEventClasses 的列出來，作為每日資料庫系統設定異動報表。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

$output = "<table border=1 style=border-width: thin; border-spacing: 2px; border-style: solid; border-color: gray; border-collapse: collapse;>  
                 <tr><th>StartTime</th>
     <th>LoginName</th>
             <th>HostName</th>
     <th>ServerName</th>
             <th>DatabaseName</th>
             <th>Operation</th>
                     <th>TextData</th>
                     <th>ReturnCode</th></tr>"

$sql  = "select '<tr><td>', ``timestamp``, '</td><td>', ``username`` , '</td><td>', ``hosts``, '</td><td>', ``serverhost`` , '</td><td>', ``database`` , '</td><td>', ``operation`` , '</td><td>', ``object``, '</td><td>', ``retcode`` , '</td></tr>' from " + $AuditDB + "." + $TraceFileData + " where operation in (" + $MailEventClasses + ") and timestamp between STR_TO_DATE('" +("{0:yyyy-MM-dd}" -f $NowTime.AddDays(-1))+ "', '%Y-%m-%d')  and STR_TO_DATE('" +("{0:yyyy-MM-dd}" -f $NowTime)+ "', '%Y-%m-%d')"
$output = $output + (& $mysqlexe -u $AuditDBUserName --password=$AuditDBPassword -h $AuditDBServer -sN -e "$($sql)" ) 
$output = $output + "</table>"

$Subj = $("{0:yyyy-MM-dd}" -f $NowTime.AddDays(-1)) + " 每日資料庫系統設定異動報表"
Send-MailMessage -To $MailTo -From $MailFrom -Subject "$Subj"  -Body "$output" -BodyAsHtml  -SmtpServer $MailServer -Encoding ([System.Text.Encoding]::UTF8)

符合 $Users 的列出來，作為每日資料庫使用者使用情形報表。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

$output = "<table border=1 style=border-width: thin; border-spacing: 2px; border-style: solid; border-color: gray; border-collapse: collapse;>  
                 <tr><th>StartTime</th>
     <th>LoginName</th>
             <th>HostName</th>
     <th>ServerName</th>
             <th>DatabaseName</th>
             <th>Operation</th>
                     <th>TextData</th>
                     <th>ReturnCode</th></tr>"

$sql  = "select '<tr><td>', ``timestamp``, '</td><td>', ``username`` , '</td><td>', ``hosts``, '</td><td>', ``serverhost`` , '</td><td>', ``database`` , '</td><td>', ``operation`` , '</td><td>', ``object``, '</td><td>', ``retcode`` , '</td></tr>' from " + $AuditDB + "." + $TraceFileData + " where username in (" + $Users + ") and timestamp between STR_TO_DATE('" +("{0:yyyy-MM-dd}" -f $NowTime.AddDays(-1))+ "', '%Y-%m-%d')  and STR_TO_DATE('" +("{0:yyyy-MM-dd}" -f $NowTime)+ "', '%Y-%m-%d')"
$sql
$output = $output + (& $mysqlexe -u $AuditDBUserName --password=$AuditDBPassword -h $AuditDBServer -sN -e "$($sql)" ) 
$output = $output + "</table>"


$Subj = $("{0:yyyy-MM-dd}" -f $NowTime.AddDays(-1)) + " 每日資料庫使用者使用情形報表"
Send-MailMessage -To $MailTo -From $MailFrom -Subject "$Subj"  -Body "$output" -BodyAsHtml  -SmtpServer $MailServer -Encoding ([System.Text.Encoding]::UTF8)

這個取得資料的方式，除了之前提到的擴充 Event 可以得到 Event 結果以外，就是系統的 information_schema.EVENTS 可以得到相關資訊。

DB, Event Name, Last Run Time

這些都能從 information_schema.EVENTS 拿 (event_schema, event_name, last_executed)。

Event 種類

Event 種類有 ENABLE, DISABLE, SLAVESIDE_DISABLED (Replication 時從 Master 傳來的 Event，不會在 Slave 執行)，根據實際情形作標示。

1
2
3
4
5

CASE status 
  WHEN 'ENABLED' THEN '<div class="Healthy">Yes</div>' 
  WHEN 'SLAVESIDE_DISABLED' THEN '<div class="Healthy">No</div>' 
  ELSE '<div class="Warning">No</div>' 
END, 

Succeed

根據 master.event 與 information_schema.EVENTS 來 count，沒有 errno 的就是成功的。

1
2
3
4

CASE (select count(*) from master.event_history where db = ev.EVENT_SCHEMA and name = ev.EVENT_NAME and errno is null and start >= subdate(now(), @NumDays)) 
  WHEN 0 THEN CONCAT('<div class="Warning">', (select count(*) from master.event_history where db = ev.EVENT_SCHEMA and name = ev.EVENT_NAME and errno is null and start >= subdate(now(), @NumDays)), '</div>') 
  ELSE (select count(*) from master.event_history where db = ev.EVENT_SCHEMA and name = ev.EVENT_NAME and errno is null and start >= subdate(now(), @NumDays)) 
END,

Failed

根據 master.event 與 information_schema.EVENTS 來 count，有 errno 的就是失敗的。

1
2
3
4

CASE (select count(*) from master.event_history where db = ev.EVENT_SCHEMA and name = ev.EVENT_NAME and errno is not null and start >= subdate(now(), @NumDays)) 
  WHEN 0 THEN '<div class="Healthy">0</div>' 
  ELSE CONCAT('<div class="Critical">', (select count(*) from master.event_history where db = ev.EVENT_SCHEMA and name = ev.EVENT_NAME and errno is not null and start >= subdate(now(), @NumDays)),'</div>') 
END,

Next Run Time

根據 master.event 可以用算的，但是算的動作不能直接傳入 column 裡頭的值 (select date_add(colA, interval interval_value interval_field)...)，所以寫成醜醜的 CASE。

這個部份是我覺得最沒有自動化的地方。

1
2
3
4
5
6
7
8
9
10

case interval_field
  when "YEAR"    then date_add(last_executed, interval interval_value YEAR)
  when "QUARTER"then date_add(last_executed, interval interval_value QUARTER)
  when "MONTH"    then date_add(last_executed, interval interval_value MONTH)
  when "DAY"    then date_add(last_executed, interval interval_value DAY)
  when "HOUR"    then date_add(last_executed, interval interval_value HOUR)
  when "MINUTE"    then date_add(last_executed, interval interval_value MINUTE)
  when "WEEK"    then date_add(last_executed, interval interval_value WEEK)
  when "SECOND"    then date_add(last_executed, interval interval_value SECOND)
end,

(這個 interval 不是全部，我只有寫常用的)

Last Result

根據 master.event 與 information_schema.EVENTS 來看最後一次結果的內容。

1
2
3
4
5

(select CASE 
          WHEN errno is null THEN CONCAT('<span class="Healthy">', message_text, '</span>') 
          ELSE CONCAT('<span class="Critical">', message_text, '</span>') 
        END 
 from master.event_history where db = ev.EVENT_SCHEMA and name = ev.EVENT_NAME order by start limit 1),

Fail Event

只要看之前作的 master.event_history 就可以了。

1

select '<tr><td>', `db`, '</td><td>', `name`, '</td><td>', `start`, '</td><td>', `end`, '</td><td>', `sqlstate`, '</td><td>', `errno` , '</td><td>', `message_text`, '</td><td>', `record_time`, '</td></tr>' from master.event_history where errno is not null and start >= subdate(now(), @NumDays);

Database File Status

這部份的資料可以從 information_schema.tables 來處理，以下為重要的欄位與說明。

所以一個 table file 的大小 = data_length + index_length + data_free。
用掉的大小 = data_length + index_length。

知道這些配合一些告警就能完成了。

1
2
3
4
5
6
7
8
9
10
11
12

SELECT '<tr><td>', table_schema, 
              '</td><td>',table_name,
              '</td><td>', concat(@@datadir, table_schema, '\\', table_name, '.*'),
              '</td><td>', Round((data_length + index_length + data_free) / 1024 / 1024 , 1),
       '</td><td>', Round((data_length + index_length) / 1024 / 1024 , 1),
       '</td><td>', Round((data_free) / 1024 / 1024 , 1),
       '</td><td>', CASE WHEN Round((data_length + index_length)/(data_length + index_length + data_free) * 100 , 2) > @CriticalThresholdPCT AND Round((data_length + index_length + data_free) / 1024 / 1024 , 1) > 1 THEN CONCAT('<div class="Critical">', Round((data_length + index_length)/(data_length + index_length + data_free) * 100 , 2),'</div>')
                                WHEN Round((data_length + index_length)/(data_length + index_length + data_free) * 100 , 2) > @WarningThresholdPCT AND Round((data_length + index_length + data_free) / 1024 / 1024 , 1) > 1 THEN CONCAT('<div class="Warning">', Round((data_length + index_length)/(data_length + index_length + data_free) * 100 , 2),'</div>')
                ELSE CONCAT('<div class="Healthy">', Round((data_length + index_length)/(data_length + index_length + data_free) * 100 , 2),'</div>') END,
              '</td></tr>'
FROM   information_schema.tables where table_schema not in ('performance_schema', 'mysql', 'information_schema')
order by table_schema, table_name;

Session List

只要看 information_schema.PROCESSLIST 就可以了。

1
2
3
4
5
6
7
8
9
10
11

select '<tr><td>', id,
'</td><td>', user, 
'</td><td>', host, 
'</td><td>', db, 
'</td><td>', command, 
'</td><td>', REPLACE(REPLACE(info,'<','<'), '>', '>'),
'</td><td>', state, 
'</td><td>', memory_used, 
'</td><td>', time, 
'</td><td>', query_id, 
'</td></tr>' from information_schema.PROCESSLIST order by id;

中間的 replace 是因為用到這個 Powershell 時，也是會在 information_schema.PROCESSLIST 呈現的，如果沒有替換一下，就會混亂了，所以要先 escape。

Replication Status

這個是說希望能在報表中知道 Slave 的基本狀況，尤其是 Slave 如果發生 Error，會卡在那邊，如果 binlog 有 expire 時間的話，太晚知道問題解決完後 binlog 因 expire 會不見，就有機會無法復原。

首先，先透過 information_schema.GLOBAL_STATUS 的 SLAVE_RUNNING 看該台機器是 Master 還是 Slave (在 CheckSlave.sql中)

1

select case variable_value when 'ON' then 'O' else '' end from information_schema.GLOBAL_STATUS where variable_name='SLAVE_RUNNING';

如果是的話就是 Slave。

看 Slave 狀態，指令是 show slave status (在 ShowSlaveStatus.sql 中)，但這個指令我找了很久，完全不知道是 reference 哪個 table 或是 variable，於是只能自己 Parsing 了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

$Html = $Html + "<h2>Slave Status</h2>"
& $mysqlexe -u $rptuser --password=$rptpass -h $ServerIP -sN -e "source .\ShowSlaveStatus.sql" > out.html

if ((Get-Item .\out.html).length -gt 0)
{
$Html = $Html + "<table>
<tr>
<th>Master Host</th>
<th>Master Log File</th>
<th>Relay Master Log File</th>
<th>Slave IO State</th>
<th>Last Errno</th>
<th>Last Error</th>
<th>Last IO Errno</th>
<th>Last IO Error</th>
<th>Last SQL Errno</th>
<th>Last SQL Error</th>
</tr>"

$stat = [string[]](Get-Content .\out.html)

$Html = $Html + "<tr><td>" + $stat[2] + "</td><td>" + $stat[6] + "</td><td>" + $stat[10] + "</td><td>" + $stat[1] + "</td><td>"

if ($stat[19] -eq "0") {$Html = $Html + $stat[19] + "</td><td>" + $stat[20] + "</td><td>"}
else {$Html = $Html + "<div class=""Critical"">" + $stat[19] + "</div></td><td><div class=""Critical"">" + $stat[20] + "</div></td><td>"}

if ($stat[35] -eq "0") {$Html = $Html + $stat[35] + "</td><td>" + $stat[36] + "</td><td>"}
else {$Html = $Html + "<div class=""Critical"">" + $stat[35] + "</div></td><td><div class=""Critical"">" + $stat[36] + "</div></td><td>"}

if ($stat[37] -eq "0") {$Html = $Html + $stat[37] + "</td><td>" + $stat[38] + "</div></td></tr></table>"}
else {$Html = $Html + "<div class=""Critical"">" + $stat[37] + "</div></td><td><div class=""Critical"">" + $stat[38] + "</div></td></tr></table>"}
}
else {
$Html = $Html + "<span class=""Critical"">No Slave Status</span><br/>"
}

基本上就是分開數位子，就完成了。

(這篇與下一篇是因為參加 2017 iT 邦幫幫忙鐵人賽而產生的，原來是沒有那麼快要開始作，但是因為沒稿子了就只能趕快做出來，分享給大家)

在 SQL Server 與 Oracle DB 都有一個 Daily Check Scripts 來讓我在上班開始的時候作一些自主檢查，並且產出報告，這個對於管理多台機器較為方便。

在 SQL Server 上我採用這個 Scripts， Oracle DB 的部份採用這個，十分方便，很多東西都能顯示，大部分的問題都能夠馬上發現。

到了 MariaDB 希望能夠 Porting 這個來方便管理。

接下來針對這個 Porting 來說明過程

• PowerShell 基礎架構
• Uptime and Version
• Disk Drive Status
• Backup Status
• Event Status
• Fail Events Status
• Database File Status
• Session List
• Replication Status

PowerShell 基礎架構

在作這個 Porting 之前，筆者先到 Google 找有沒有人有不錯的類似 Solution，大部分都是走 Shell Scripts，因為在 Windows 上用 PowerShell 比較方便，就決定用 PowerShell 來兜 Solution 了。

大致上的架構是這樣

• 變數設定
• Html 的頭(CSS, JS…)
  • mysql 執行各項的子 SQL
  • 將結果放到 out.html
  • Html = Html + out.html
  • 執行各項作業
• 全部都執行完畢後，整理一下寄信給相關人員

Uptime and Version

Uptime 部份，從 information_schema.GLOBAL_STATUS 可以得到資料，接下來整理一下，化成需要的輸出。

1
2
3
4
5
6
7

SELECT CONCAT(CASE WHEN CAST(VARIABLE_VALUE as unsigned integer) < @UptimeCritical * 60 THEN '<span class="Critical">'
                   WHEN CAST(VARIABLE_VALUE as unsigned integer) < @UptimeWarning * 60 THEN '<span class="Warning">'
           ELSE '<span class="Healthy">' END,
FLOOR(HOUR(SEC_TO_TIME(VARIABLE_VALUE)) / 24), ' day(s), ',
MOD(HOUR(SEC_TO_TIME(VARIABLE_VALUE)), 24), ' hour(s), ',
MINUTE(SEC_TO_TIME(VARIABLE_VALUE)), ' minute(s)</span>')
from information_schema.GLOBAL_STATUS where VARIABLE_NAME='UPTIME';

Version 部份，從系統參數就能知道了。

1

SELECT @@version from dual;

Disk Drives

這部份需要用的 Powershell 的 get-wmiobject 功能。

1

$Disks = get-wmiobject -Class win32_logicaldisk -Filter "DriveType='3'"

接下就是計算大小，如果低於警告或是危險級就用不一樣的顏色標示。

1
2
3

if (($d.FreeSpace / $d.Size * 100) -lt $FreeDiskSpacePercentCriticalThreshold) {$Html = $Html + "<div class=""Critical"">" + ("{0:N2}" -f ($d.FreeSpace / $d.Size * 100))+ "</div></td></tr>"}
     elseif (($d.FreeSpace / $d.Size * 100) -lt $FreeDiskSpacePercentWarningThreshold) {$Html = $Html + "<div class=""Warning"">" + ("{0:N2}" -f ($d.FreeSpace / $d.Size * 100))+ "</div></td></tr>"}
else {$Html = $Html + "<div class=""Healthy"">" + ("{0:N2}" -f ($d.FreeSpace / $d.Size * 100))+ "</div></td></tr>"} 

然後就接到原來要輸出的資料裡，這個部份就完成了。

Backup Status

這個部份從系統面看不出來有跟所需要的資料有關連，但是從建立資料庫備份的檔案系統可以看得出來，因此也是用 Powershell 來完成這個需求。

這邊的程式結構也是跟之前的一樣，如果有設定完整備份的資料夾，那就去看看那個資料夾狀態。

1
2
3
4

Get-ChildItem $FullBackupPath -Filter FullBackup* |
        Foreach-Object {
   $Html = $Html + "<tr><td>" + $_.FullName + "</td><td>" + $_.CreationTime + "</td><td>" + $_.LastWriteTime + "</td><td>" + ("{0:N2}" -f ($_.Length / 1048576)) + " MB</td></tr>" 
}

雖然一些排程或是資訊可以透過系統排程來處理，但是原有的 SQL Server 管理方式幾乎都是透過 SQL Server Job 系統執行，加上 SQL Server 有許多可以在 Server 本體就能做完的方式，為了追求一樣的管理方式，導入 User-defined Functions (UDF) 來擴增 Server 功能。

透過 MariaDB 裡的 Event System 進行備份

基本上 Google 搜尋 MariaDB/MySQL 備份，不外乎是利用 cron jobs 或是 Windows tasks 來進行備份，這樣進行備份一則與原來的 SQL Server 管理不一樣，另外一個也沒辦法知道備份的情況 (要登入主機看 Task 狀態)。

如果能透過 MariaDB 來發動備份 (透過 Event) 感覺能夠與以前的管理方式一樣，Server 要的排程 Server 自己發動，而且也能收集相關資料進行監控。

但是 MariaDB 沒有什麼介面可以來執行系統作業，這時候剛好找到 UDF，還有一大堆神人做好的 MySQLUDF Repository，裡頭剛好有我要的與系統處理有關的 UDF，正好可以拿來用。

lib_mysqludf_sys 編譯、安裝、與使用

編譯

如果連到 lib_mysqludf_sys 的 github，發現到它的 Makefile 都是為 gcc 做的，Windows 用戶有點麻煩。

網路上可以找到編譯好的 dll，但是覺得有點怕不知道裏面有什麼。

還好找到一篇也是部份 MySQL UDF 的作者寫的 blog Creating MySQL UDFs with Microsoft Visual C++ Express，裡頭有一些方法可以參考。

編譯的環境跟之前修改 audit log plugin 的環境一樣，需要注意的地方如下

Configuring the Include path

Platform SDK 的 Include Files 在 C:\Program Files (x86)\Windows Kits\8.1\Include 。

MariaDB 的我是 <MariaDB>\include 與 <MariaDB>\include\mysql。

這兩個資料夾的資料最好複製一份到其他地方，因為等會要改。

Adding the HAVE_DLOPEN macro

除了加這個以外，還要加兩個防止 strncpy 的安全問題一直錯的 macro。

HAVE_DLOPEN;_CRT_SECURE_NO_DEPRECATE;_CRT_NONSTDC_NO_DEPRECATE

Configuring the library path

Platform SDK 的 Lib Files 在 C:\Program Files (x86)\Windows Kits\8.1\Lib 。

MariaDB 的是 <MariaDB>\lib 。

其他

編譯的時候會一直有 snprintf 重複定義的問題，為了減少麻煩，直接把 MariaDB 的 Include Files 裡有相關的定義先拿掉，待編譯完再改回來。

安裝

將產生出來的 dll 與 pdf 檔複製到 <MariaDB>\lib\plugin，透過 github 裡的 lib_mysqludf_sys.sql 安裝，記得 so 要改成 dll。

1
2
3
4
5
6
7
8
9
10
11

DROP FUNCTION IF EXISTS lib_mysqludf_sys_info;
DROP FUNCTION IF EXISTS sys_get;
DROP FUNCTION IF EXISTS sys_set;
DROP FUNCTION IF EXISTS sys_exec;
DROP FUNCTION IF EXISTS sys_eval;

CREATE FUNCTION lib_mysqludf_sys_info RETURNS string SONAME 'lib_mysqludf_sys.dll';
CREATE FUNCTION sys_get RETURNS string SONAME 'lib_mysqludf_sys.dll';
CREATE FUNCTION sys_set RETURNS int SONAME 'lib_mysqludf_sys.dll';
CREATE FUNCTION sys_exec RETURNS int SONAME 'lib_mysqludf_sys.dll';
CREATE FUNCTION sys_eval RETURNS string SONAME 'lib_mysqludf_sys.dll';

使用

可以看 lib_mysqludf_sys.html，基本上很簡單。

來跑一下試試看

1

select sys_eval('ipconfig');

竟然是亂碼，但是 cmd 的沒有問題

顯然是 Windows 編碼問題，最後是這樣解決的。

1

select convert(convert(sys_eval('ipconfig') using big5) using utf8);

與 Event 實作備份

首先透過之前做的 Event 紀錄系統來做處理，不過因為 sys_eval 與 sys_exec 有珍貴的 Log 資料，所以不能只是紀錄單純的 OK 就好，加上兼容一般 SQL 的排程，所以修改了一下 Event 紀錄系統。

備份排程

做一個備份排程如下

1
2
3
4
5
6
7
8
9

CREATE DEFINER=`sujunmin`@`%` EVENT `backups`
ON SCHEDULE
EVERY 1 MINUTE STARTS '2016-11-07 13:42:26'
ON COMPLETION NOT PRESERVE
ENABLE
COMMENT ''
DO BEGIN
    call master.proc_for_event_history('master', 'backups', 'select sys_eval(\'"E://MariaDB 10.1//bin//mysqldump.exe" -u sujunmin -pabcdef@12345 --master-data --verbose --all-databases --events --routines --gtid 2>&1 > E://backup//all_db.sql\') into @outv;');
END

要注意的是中間那個 2>&1，因為 mysqldump 是拿 Standard Error 來 Output 訊息，但是 sys_eval 只會送回 Standard Outupt 內容。

執行完以後看看結果。

資安問題

網路上有很多使用 MySQL UDF 透過這些 UDF 來存取系統的資安問題，所以要確保以下的防護是否有達成。

1. Web 連資料庫不能是 root 等級的帳號，權限愈小愈好。
2. AppArmor 或是 UAC 的設定。

其他紀錄

2016/11/08

安裝的時候如果碰到不能載入，除了之前那篇寫的內容之外，有可能是 Visual C++ Redistributable 套件需要安裝，我是在 Visual Studio 2015 編譯的，找 Visual C++ Redistributable for Visual Studio 2015 安裝就可以了。

• 神人的詳細連結。
• 需要訂閱服務，免錢的有 3 個，也有付費服務(Ubuntu Advantage)。
• 不過我試一下超過 3 個好像也可以。
• 只有沒被修改的 Kernel 可以用。
• 被修改過的或是想要自己做 Livepatch 很複雜。
• 支援 x86_64，amd64。
• 支援 16.04 LTS 的 4.4 Kernel。
• 要裝 snapd，沒更新到最新就會有錯。
• 對象是 CVE 的 Patch，所以效能或是其他增進的還是要走老路 (update and reboot)。

首先要有個 Ubuntu SSO 帳號，登入後就可以獲得 Token 了。

不過這個畫面沒有說到用了幾個 licenses。

接下來到想要用的機器上執行指令。

可以看到現在正在用的 Kernel Patches。

如果不想用就 canonical-livepatch disable。

這篇的結果不是那麼重要，但是怎麼從 Trace File 找到想要的資訊我覺得還蠻重要的。

基本上 TextData 應該都會有 Query 資訊，大部份都能馬上判定是什麼狀況，但是像這種沒有 TextData 的就要直接去看看 Trace File 裡頭的資訊了。

Event Class 是 118，Audit Object Derived Permission Event。

裡頭寫到重要的資訊，就是欄位編號，名稱，跟內容。

從 Log Server 拿出所要的 csv 檔，取出需要的部份 (如果原來的太大了的話)。

一些重要的欄位

其中除了帳號來源之外，最重要的就是 EventSubClass = Create，ObjectName = _WA_Sys_…。

所以我們知道是 Create Statistics。

看一下統計資料

正式當時產生的：某個 Query 需要其他類型的統計資料，所以就產生了。

總結：如果要從 Trace File 挖寶，可以這麼做

1. 找到該 EventClass 的 msdn。
2. 找出該 Event 的資料。
3. 對應 EventClass 的欄位資訊。
4. 依據結果繼續找下去。

資料庫有跨地區傳送資料的需求，在 SQL Server 用到 Linked Server 來傳送資料，希望在 MariaDB 也有類似的 Solution 可以使用。

原來的架構如下圖

採用 FederatedX Storage Engine 的原因

這種同步問題應該採用 Replication 來執行的，但是因為下面的原因而不使用

1. 在 Site B 會有一份 Site A A_DB 的副本，然後透過那個副本來傳送資料到 Site B 的 B_DB，架構如下

2. 這樣 Site B 有一份 A_DB 的副本，蠻浪費空間的，如果把讀寫頭指向 B_DB，雖然可以多個 GTID，但是感覺很混亂，而且出問題就很難修復。
3. Replication 不能設定同步時間 (Site A 與 Site B 中間的連線頻寬與其他服務 share，不能一直使用)，雖說可以透過網路管控讓他自己停止 Replication，但是覺得這樣不能完全控制，不太方便。
4. 在這篇裡有網友解答可以透過 FEDERATED engine 達成 linked server 的需求，因此就來看看這是什麼。

MariaDB FederatedX Storage Engine 介紹

後來去找 MariaDB 上的 FEDERATED Storage Engine 時，發現到它已經不再開發了，取而代之的是 MariaDB 自己 fork 的 FederatedX Storage Engine，相關比較如此連結。

FederatedX Storage Engine 的說明文件是我覺得 MariaDB 文件裏面寫的最口語的，很容易了解。

這個 FederatedX Storage Engine 的產生是原來 Cisco 需要存取各設備的 MySQL 的資料，但是發動端沒有那麼多空間儲存這些資料，於是這個機制就產生了。

以下是針對 SQL Server Linked Server 與 MariaDB FederatedX Storage Engine 做一個比較

測試

建立 HANDLER

首先開一個 Site A，同一台機器的 3308 Port。

上面開一個 A_DB，裡頭一個 table，一個欄位 col char(50)，一行 'A'。

在原來的 MariaDB 假設他是 Site B，開一個 DB B_DB 裡頭一個 table，一個欄位 col char(50)，一行 'B'。

在 Site B 上執行以下指令

1
2
3
4
5
6
7
8
9
10
11
12
13

use B_DB;

create server 'Site_A' foreign data wrapper 'mysql' options
  (HOST '127.0.0.1',
  DATABASE 'A_DB',
  USER 'root',
  PASSWORD 'passowrd',
  PORT 3308,
  SOCKET '',
  OWNER 'root');

CREATE TABLE A_table ENGINE=FEDERATED CONNECTION='Site_A/table';

接著可以 select * from A_table 看看，應該會看到 A。

這邊還有一些要注意的

1. 在 CREATE TABLE 的時候可以故意打錯 table 名字，會報錯 (與原來 FEDERATED 的差異第 2 項)。
2. 在 CREATE TABLE ... CONNECTION='Site_A/table' 的時候也可以 mysql://username:password@hostname:port/database/tablename，但是我的密碼有特殊字@，所以還好有 create server 這個方法建立。
3. 建立完成後可以看看資料庫的 B_DB 資料夾，只會有 a_table.frm，不會有 a_table.ibd，因為資料實際不在 Site B。
4. Replication Slave 不會有這樣方法產生出來的 Table，如果要切換記得要手動加回去。

遠端資料庫執行 DDL

在 Site A 的 A_DB 把 table 多一個欄位 col1 int。

到 Site B select * from A_table 看看。

你會只看到一個欄位 col，結果是 A。

這時候需要重建 HANDLER

1
2
3

use B_DB;
drop table A_table;
CREATE TABLE A_table ENGINE=FEDERATED CONNECTION='Site_A/table';

重新 Select 看看，應該會看到正確的資料。

在 FEDERATED Table 上執行 DDL

在 Site B 的 B_DB 對 A_table 新增一個欄位

1

ALTER TABLE `A_table` ADD COLUMN `col3` INT NULL AFTER `col2`;

會有以下的錯誤

1

SQL錯誤（1031）：Storage engine FEDERATED of the table b_db.a_table doesn't have this option

如果透過 execute 呢?

1
2
3
4

use B_DB;
set @sql := 'ALTER TABLE A_table ADD COLUMN col3 INT NULL AFTER col2';
prepare stmt from @sql;
execute stmt;

還是跟上面一樣的錯(不能偷渡就是了)。

一些想法

這個 FEDERATED Table 有點像 .Net 開發時拉 Web Reference 會產生出 wsdl 檔在本機，然後透過他的定義去使用 Web Services，只是開發時有一些方法可以 auto update wsdl，以確保介面進出的正確性，這裡的 FEDERATED Table 沒有更新的功能。

不過如果資料表都沒什麼會動的話其實沒什麼差異，這樣就很好用了。

然後因為是 Table Level 的關係，Linked Server 只要做一個 Database Link 即可，但是這個就要每個 Table 都要建一次。

最後的架構

上線紀錄

2016/11/14

實際執行的時候，發現到有很大的問題，不管是怎麼調整都會有一樣的錯。

1. 網路很通暢 (之前 MSSQL 的 Linked Server 的路)
2. 資料庫 loading 很低 (挑選沒有人使用資料庫的作業時間)
3. 減少 access Federated Table 的次數 (原來 insert into federated_table select * from local_table ...; -> insert into local_staged_table select * from local_table ...; insert into federated_table select * from local_staged_table;)

錯誤的訊息 Got error 10000 'Error on remote system: 2006: MySQL server has gone away' from FEDERATED。

這個也是一個蠻久的 bug，我也發了一個，希望未來有解。

現在的方法改成是 mysqldump ... DB.table | mysql ... DB ...，透過 sys_exec 執行。

2016/11/23

感謝神人幫忙，終於解開疑惑了，他的解釋十分清楚，也不厭其煩的解釋每個動作。

原因在於遠端連線的問題。

基本上一個 Federated Table 的存取大概是這樣

我的問題是每天做一次的排程匯入資料從 A 地到 B 地，在預設的情況下遠端的 session 的 idle 時間大於 session wait_timeout (28800 秒，8小時) 導致被 Kill 掉，下一次作業時就會因為必定失敗的問題而無法繼續，所以有以下兩個解法。

1. 設大一點的 wait_timeout，但我覺得比較不切實際，因為如果重開機了 session 不在還是得失敗一次才能完成。
2. 每個小時 select federated table 一次，這個我覺得可以把問題縮短到一個小時就能發現，比較實際。

2018/11/19

在建立完排程機制後，還是會發現錯誤，類似像這樣，規律的 “Got an error reading communication packets”。

原來因為發生只在每個小時維持 Federated Table 連線的 Job，最近發現到連正常的 Job 也會拋錯，因此想來好好解決了。

兩個 Site 之前的網路重新調整後，有比較少一點，但是還是會發生。

調整資料庫 *timeout, allowed packets 也沒用。

有天找到這個，發現到有人透過 flush table 方式來避免這個錯誤，來試試看以後，竟然就不會有錯了，解了多年來的問題。

後來發個 issue，被 merge 到其他 issue 上，雖然覺得不是一樣的問題。

在資料庫的 Audit (稽核) 部份，需要有一套如同 SQL Server 的方式來執行。

MariaDB Server Audit Plugin

好在 MariaDB 有 Server Audit Plugin，相關文件在此。

開起來很簡單，設定也很容易。

MariaDB Server Audit Plugin 與 SQL Sever Trace File Audit 的比較

SQL Server 的 Audit 是用 Trace File 來儲存 Audit 資料，以下用一個表格做一個比較

設定說明

在文件裡 Logging events 一節提到的可設定的 Type，說明如下

1. CONNECT 就是連線訊息
2. QUERY 執行 SQL 指令與結果代碼
3. TABLE 哪些 Tables 因此 QUERY 而受影響
4. QUERY_DDL DDL 的 Query，是 QUERY的子集合
5. QUERY_DML DML 的 Query，是 QUERY的子集合
6. QUERY_DCL DCL 的 Query，是 QUERY的子集合

什麼是預設的 DDL, DML, DCL 的 Query 呢? 這邊要看 Code 才知道，因為後續會有改程式碼的動作，所以到時一併說明之。

另外一個部份是 Output 的 Operation 欄位，有 CONNECT, QUERY, READ, WRITE, CREATE, ALTER, RENAME, DROP，這部份的詳細定義也是要看 Code。

客製化 Server Audit Plugin

原來的 Server Audit Plugin 其實大部份的需求都可以達成了，如果有自己做 Log Server 的需求，需要更細緻的分類，因為有些資訊可以延遲送出(如日報表)，但是特權帳號的使用要馬上通報給其他長官，光只有這 8 種情形無法滿足需求。

針對 DDL 與 DCL 加入更細緻的分類

這邊先來看看 MariaDB 對於 DDL 與 DCL 是怎麼判斷的，首先到官網下載原始碼 (如 10.1.17)，不要到 github 上抓，因為那太新了。

Code 分析與修改

到 plugin\server_audit\server_audit.c 找到以下程式碼

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

enum sa_keywords
{
  SQLCOM_NOTHING=0,
  SQLCOM_DDL,
  SQLCOM_DML,
  SQLCOM_GRANT,
  SQLCOM_CREATE_USER,
  SQLCOM_CHANGE_MASTER,
  SQLCOM_CREATE_SERVER,
  SQLCOM_SET_OPTION,
  SQLCOM_ALTER_SERVER,
  SQLCOM_TRUNCATE,
  SQLCOM_QUERY_ADMIN,
  SQLCOM_DCL,
};

struct sa_keyword
{
  int length;
  const char *wd;
  struct sa_keyword *next;
  enum sa_keywords type;
};


struct sa_keyword xml_word=   {3, "XML", 0, SQLCOM_NOTHING};
struct sa_keyword user_word=   {4, "USER", 0, SQLCOM_NOTHING};
struct sa_keyword data_word=   {4, "DATA", 0, SQLCOM_NOTHING};
struct sa_keyword server_word= {6, "SERVER", 0, SQLCOM_NOTHING};
struct sa_keyword master_word= {6, "MASTER", 0, SQLCOM_NOTHING};
struct sa_keyword password_word= {8, "PASSWORD", 0, SQLCOM_NOTHING};
struct sa_keyword function_word= {8, "FUNCTION", 0, SQLCOM_NOTHING};
struct sa_keyword statement_word= {9, "STATEMENT", 0, SQLCOM_NOTHING};
struct sa_keyword procedure_word= {9, "PROCEDURE", 0, SQLCOM_NOTHING};


struct sa_keyword keywords_to_skip[]=
{
  {3, "SET", &statement_word, SQLCOM_QUERY_ADMIN},
  {0, NULL, 0, SQLCOM_DDL}
};


struct sa_keyword not_ddl_keywords[]=
{
  {4, "DROP", &function_word, SQLCOM_QUERY_ADMIN},
  {4, "DROP", &procedure_word, SQLCOM_QUERY_ADMIN},
  {4, "DROP", &user_word, SQLCOM_DCL},
  {6, "CREATE", &user_word, SQLCOM_DCL},
  {6, "CREATE", &function_word, SQLCOM_QUERY_ADMIN},
  {6, "CREATE", &procedure_word, SQLCOM_QUERY_ADMIN},
  {6, "RENAME", &user_word, SQLCOM_DCL},
  {0, NULL, 0, SQLCOM_DDL}
};


struct sa_keyword ddl_keywords[]=
{
  {4, "DROP", 0, SQLCOM_DDL},
  {5, "ALTER", 0, SQLCOM_DDL},
  {6, "CREATE", 0, SQLCOM_DDL},
  {6, "RENAME", 0, SQLCOM_DDL},
  {8, "TRUNCATE", 0, SQLCOM_DDL},
  {0, NULL, 0, SQLCOM_DDL}
};

以上可以看的的出來 DDL 是哪些會算，哪些不會算，譬如說 DROP, DROP User 算是 DDL，但是 DROP Function 不算 DDL。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

struct sa_keyword dml_keywords[]=
{
  {2, "DO", 0, SQLCOM_DML},
  {4, "CALL", 0, SQLCOM_DML},
  {4, "LOAD", &data_word, SQLCOM_DML},
  {4, "LOAD", &xml_word, SQLCOM_DML},
  {6, "DELETE", 0, SQLCOM_DML},
  {6, "INSERT", 0, SQLCOM_DML},
  {6, "SELECT", 0, SQLCOM_DML},
  {6, "UPDATE", 0, SQLCOM_DML},
  {7, "HANDLER", 0, SQLCOM_DML},
  {7, "REPLACE", 0, SQLCOM_DML},
  {0, NULL, 0, SQLCOM_DML}
};

這邊可以看得出來 DML。

1
2
3
4
5
6
7
8
9
10

struct sa_keyword dcl_keywords[]=
{
  {6, "CREATE", &user_word, SQLCOM_DCL},
  {4, "DROP", &user_word, SQLCOM_DCL},
  {6, "RENAME", &user_word, SQLCOM_DCL},
  {5, "GRANT", 0, SQLCOM_DCL},
  {6, "REVOKE", 0, SQLCOM_DCL},
  {3, "SET", &password_word, SQLCOM_DCL},
  {0, NULL, 0, SQLCOM_DDL}
};

這邊可以看得出來 DCL。

1
2
3
4
5
6
7
8
9
10
11

struct sa_keyword passwd_keywords[]=
{
  {3, "SET", &password_word, SQLCOM_SET_OPTION},
  {5, "ALTER", &server_word, SQLCOM_ALTER_SERVER},
  {5, "GRANT", 0, SQLCOM_GRANT},
  {6, "CREATE", &user_word, SQLCOM_CREATE_USER},
  {6, "CREATE", &server_word, SQLCOM_CREATE_SERVER},
  {6, "CHANGE", &master_word, SQLCOM_CHANGE_MASTER},
  {0, NULL, 0, SQLCOM_NOTHING}
};

這邊說明什麼時候會碰到密碼 (在 log 裡會紀錄動作，然後把密碼用星號表示)。

接下來找到以下的程式碼

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

static int log_statement_ex(const struct connection_info *cn,
                            time_t ev_time, unsigned long thd_id,
                            const char *query, unsigned int query_len,
                            int error_code, const char *type)
{
  size_t csize;
  ...
  if (query == 0)
  {
    /* Can happen after the error in mysqld_prepare_stmt() */
    query= cn->query;
    query_len= cn->query_length;
    if (query == 0 || query_len == 0)
      return 0;
  }
  
  if (query && !(events & EVENT_QUERY_ALL) &&
      (events & EVENT_QUERY))
  {
    const char *orig_query= query;
    ...
    ...
    ...
csize= log_header(message, message_size-1, &ev_time,
                    servhost, servhost_len,
                    cn->user, cn->user_length,cn->host, cn->host_length,
                    cn->ip, cn->ip_length, thd_id, query_id, type);
    ...    

這邊的 Code 說明有許多的紀錄後來會被標記成 QUERY，如果要利用原來已經分類的 DCL 與 DDL 架構，這邊就要先來利用一下。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

static int log_statement_ex(const struct connection_info *cn,
                            time_t ev_time, unsigned long thd_id,
                            const char *query, unsigned int query_len,
                            int error_code, const char *type)
{
  size_t csize;
  ...
  char *modtype = type;

  if (query == 0)
  {
    /* Can happen after the error in mysqld_prepare_stmt() */
    query= cn->query;
    query_len= cn->query_length;
    if (query == 0 || query_len == 0)
      return 0;
  }

  if (!filter_query_type(query, not_ddl_keywords) &&
  filter_query_type(query, ddl_keywords))
  modtype = "QUERY_DDL";

  if (filter_query_type(query, dml_keywords))
  modtype = "QUERY_DML";

  if (filter_query_type(query, dcl_keywords))
  modtype = "QUERY_DCL";
  
  if (query && !(events & EVENT_QUERY_ALL) &&
      (events & EVENT_QUERY))
  {
    const char *orig_query= query;
    ...
    ...
    ...
  csize= log_header(message, message_size-1, &ev_time,
                    servhost, servhost_len,
                    cn->user, cn->user_length,cn->host, cn->host_length,
                    cn->ip, cn->ip_length, thd_id, query_id, modtype);
    ...  

Build Plugin

接下來要來 Build Plugin，根據這個文件，安裝該安裝的函式庫與工具，以下紀錄一下

1. Visual Studio 2015 Community 版
2. Bison (記得路徑不要有空白)
3. cmake
4. Windows SDK 8.1 (這個現在沒裝沒關係，等會可以裝)

Build 方式，在 Source 底下

1. mkdir bld
2. cd bld
3. cmake .. -G "Visual Studio 14 2015 Win64" (64 位元版)
4. cmake --build . --config Relwithdebinfo

會碰到的錯 (然後會有一大堆的 warning)

1. Windows SDK 8.1 沒裝

   這個要去 bld 底下用 IDE 開 MySQL.sln，打開的時候他會說你的 SDK 缺少，要不要下載安裝，讓他自己跑完就可以了。

2. sql\sql_locale.cc 有怪字無法編譯

   我查到的結果都是開 notepad++ 去改 utf-8，不過我做完還是失敗，後來是開 notepad 然後用 unicode 儲存 (不是 utf-8 喔) 就可以過了。

測試

把 MariaDB 停掉，從 bld\plugin\server_audit\RelWithDebInfo 把 dll 跟 pdb 複製到 MariaDB\lib 下，重開看看。

原來的 log 大概像這樣

1

20161003 13:15:58,WSTest,sujunmin,localhost,98,783,QUERY,test1,'REVOKE RELOAD  ON *.* FROM \'lsuser\'@\'%\'',0

應該會變成這樣

1

20161003 16:31:14,WSTest,sujunmin,localhost,98,783,QUERY_DCL,test1,'REVOKE RELOAD  ON *.* FROM \'lsuser\'@\'%\'',0

後續的 Log Parser 就可以根據這些關鍵字來分析使用了。

這篇有用的對象如下

1. Android 6.0 以上設備
2. 會開啟 adb 跟 debug 模式
3. 不管 SD 卡的速度 (因為合併內存一定會降速度，很差的卡降更多)
4. 合併內存功能被鎖起來，或是因為速度偵測而無法合併的都可以使用

合併內存

1. 備份 SD 卡
2. adb start-server
3. adb shell sm list-volumes all [應該類似 public:179,32 mounted … 這樣，後面的 179,32 等會會用到]
4. adb shell sm set-force-adoptable true
5. adb shell sm partition disk:179,32 private [這步將會把 SD 卡合併到內存，包含格式化，等了很久才完成，這時候看手機應該看不到 SD 卡了]
6. adb shell sm set-force-adoptable false
7. adb shell sm list-volumes all [應該會變成 private:179,32 mounted … 這樣，原來的 public 不見了]
8. 重開機
9. 檢查一下，到內存那邊移轉資料，還原 SD 卡資料，完成

恢復成可攜式 SD 卡

1. 備份 SD 卡
2. adb start-server
3. adb shell sm list-volumes all [看 ID，179,32]
4. adb shell sm set-force-adoptable true
5. adb shell sm partition disk:179,32 public [這步會把 SD 設為可攜式 SD 卡，包含格式化]
6. adb shell sm set-force-adoptable false
7. adb shell sm list-volumes all [應該會變到 public 裡]
8. 重開機
9. 檢查一下，還原 SD 卡資料，完成

在資料庫的備援部份，採用 SQL Server Log-shipping 方式來處理，希望在移轉至 MariaDB 時也有不錯的類似 Log-shipping 方式執行。

MariaDB Replication uses GTID

接下來的文章來自於許多的文件，從官方文件，MariaDB · 版本特性 · MariaDB 的 GTID 介绍，還有mariadb10 GTID 研究笔记. md與實作，整理了一下。

Master 與 Slave

與 SQL Server Log-shipping 不一樣的地方如下

1. 不管什麼樣的 Replication (樹狀或是環型串聯)，發動端皆是 Slave，也就是說 Master 不存放任何有關 Replication 的資料，所有資料皆在 Slave 裡。
2. 在 Primary Database (Master) 會是 Backup Trasnsaction 的動作，而在 Secondary Database (Slave) 是 Copy 與 Restore 的動作，在 MariaDB Replication 只會在 Slave 連到 Master 時看要複製哪一段的 binlog 加以重現。
3. 因為 GTID 的設計，一個 Slave 的 Master 可以是多個，當然一個 Master 可以有多個 Slave。
4. Slave 重現完資料以後就會繼續跟 Master 要進一步的 binlog 資料，所以基本上是沒有落差可言的，在 SQL Server Log-shipping 是有發動時間設定的(預設為 15 分鐘)。
5. 系統的資料庫 (mysql 那些)也可以做 Replication。

在 4 的部份，其實對於現在的維運有些麻煩。因為這 15 分鐘的落差，可以拿來利用成正式環境的 buffer，下錯指令時如果還在 15 分鐘的時間分隔下，還可以趕快去備援區拿資料蓋回去，現在沒有時間設定的話就比較麻煩。有人發個 issue 希望能 merge MySQL 的 MASTER_DELAY 功能，不過表定是 10.2.x 的功能，希望能實作在 10.1.x。

在 5 的部份我覺得還蠻方便的就是帳號密碼的同步，在 SQL Server Log-shipping 是要分開想辦法同步的，管理就很方便了。

Slave 如何透過 GTID 做 Replication

GTID 的規格部份就不解釋了，上面的文件寫的很清楚。

在 MariaDB 有一些 Server Variables 紀錄 GTID 的資訊

什麼叫作 “紀錄的最後一個 binlog GTID” 呢?

對 gtid_slave_pos 來說，就是 master 的最後一筆 GTID。

對 gtid_current_pos 來說，不管當下的 Instance 之前是 Master 還是 Slave

1
2
3
4
5

if gtid_binlog_pos.ServerID = Instance.ServerID and gtid_binlog_pos.DomainID = Instance.DomainID and gtid_binlog_pos.SequenceID > gtid_slave_pos.SequenceID (同 ServerID 與 DomainID 狀態下) then
  gtid_current_pos = gtid_binlog_pos
else 
  gtid_current_pos = gtid_slave_pos (同 ServerID 與 DomainID 狀態下)
end if

官方文件有說到一個例子，假設 A 為 Master，B 為 Slave，參數為 slave_pos，把 A 先關一會兒，讓 B 成為 Master，最後回復 A 並成為 B 的 Slave。

• 一開始 A 的 gtid_binlog_pos 與 gtid_current_pos 相同（1-1-123, 1-1-137, 1-1-145），gtid_slave_pos 是空值。
• B 的 gtid_slave_pos 記著 A 的最後一個 GTID。
• 在 A 的 1-1-145 的時候把 A 先關掉，中間 B 的修改先忽略不看(假設沒發生)，現在資料庫停在 1-1-145。
• 在 A 恢復以後，設定 A 為 B 的 Slave，但是這個時候的 gtid_slave_pos 是空值，所以設成 current_pos (就是 1-1-145)。
• 到 B 的 1-1-147 的時候，最新的就是 1-1-147，B 就知道怎麼恢復了 (145-147)，正式加成 A 的 Slave。

這個的假設前提是在那個中斷時間內沒 B 沒有任何的 binlog 紀錄交易，這樣能確保 1-1-145 到 1-1-147 都只有在有 Slave 的狀態下 Master 產生的交易，假設 B 中間原來忽略的的 2-2-138 被產生了，那麼 binlog 的順序就會在 1-1-145 與 1-1-147 中間夾一個 2-2-138，奇怪的交易紀錄，會導致 A 的加入失敗。

所以官方建議在 Slave 上不要有任何的 binlog 紀錄 (Session 中 @@sql_log_bin=0)，避免當這個 Slave 有機會變成 Master 或是再 Slave 到其他地方時有交易紀錄異常的問題。

如果還是要修改 Slave 的資料造成 binlog 會有變動，還是要把參數設為 slave_pos，確保 Slave 會從 Master 看的 binlog 資料不會因為 Slave 的變動而異常，不能像 current_pos 那樣兩邊都有可能取值，不管是什麼角色。

在 B 當 Slave 的時候如果沒有開 binlog，那麼 current_pos 與 slave_pos 是同一件事，當然後續的切換是不會發生的 (B 沒 binlog 不能當 Master)。

最後的設計

剛剛最後有說到在 Slave 沒有開 binlog 的方式，我原來是想要用這個的，因為這蠻像現在的維運模式。

1. 當 Master 壞了就停掉 Slave 的 Service
2. 等到 Master 好的時候停機備份到 Master 上
3. 在 Slave 重新建 Replication

如果 Slave 有開 binlog，第2步的停機備份似乎可以把時間縮短

1. 當 Master 壞了就停掉 Slave 的 Service
2. 等到 Master 好的時候倒回 Slave 的備份
3. 同步完成後重新建立 Master / Slave 順序

測試

在同一個機器上開新的 Instance

• 有一個不錯用的工具 mysql_install_db.exe 可以直接開新的 Instance。

  我們用這個先開一個 Instance 在 Port 3307。

• 設定原來在 3306 的為 Master (server-id=1)，3307 的為 Slave (server-id=2)，都開啟 binlog (log-bin)。

• Event 記得設成 Disabled on Slave。

• 接下來備份 Master

  1 2	E:\backup>mysqldump -u sujunmin -p --master-data --all-databases --events --routines --gtid > all_db.sql Enter password: ************

  其中幾個重要參數

  參數	意義
  master-data	dump 出來的掛 master ID
  events	包含 events
  routines	包含 functions 與 store procedures
  gtid	產生 CHANGE MASTER TO master_use_gtid 語法

  觀察一下 all_db.sql 的內容

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

  -- MySQL dump 10.16 Distrib 10.1.17-MariaDB, for Win64 (AMD64) (中間省略) -- -- Position to start replication or point-in-time recovery from -- -- CHANGE MASTER TO MASTER_LOG_FILE='WSTest-bin.000002', MASTER_LOG_POS=3732; -- -- GTID to start replication from -- CHANGE MASTER TO MASTER_USE_GTID=slave_pos; SET GLOBAL gtid_slave_pos='0-1-770'; -- -- Current Database: 'master' -- (後面省略)

  可以看到如果要用舊的方式(兼容 MySQL Replication) 與新的方式。

• 啟動 Slave 的 Instance。

• 把 all_db.sql 倒到 Slave (3307) 上面。

• 在 Master 上開一個 User lsuser 作為 Replication 用，權限是 REPLICATION SLAVE 與 SUPER (這個我不設定會沒權限登入，但是官方網站沒有這個權限)。

• 在 Slave 上設定 CHANGE MASTER

  1 2	MariaDB [(none)]> change master to master_host='localhost', master_port=3306, master_user='lsuser', master_password='password'; Query OK, 0 rows affected (0.05 sec)

• START SLAVE;

• SHOW SLAVE STATUS;

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

  MariaDB [(none)]> show slave status\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: localhost Master_User: lsuser Master_Port: 3306 Connect_Retry: 60 Master_Log_File: WSTest-bin.000002 Read_Master_Log_Pos: 5429 Relay_Log_File: WSTest-relay-bin.000002 Relay_Log_Pos: 5757 Relay_Master_Log_File: WSTest-bin.000002 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: (省略) Using_Gtid: Slave_Pos Gtid_IO_Pos: 0-1-775 Replicate_Do_Domain_Ids: Replicate_Ignore_Domain_Ids: Parallel_Mode: conservative 1 row in set (0.00 sec)

• 看一下同步狀況

• 移除 Master 模擬 Master 壞掉了狀態

  • sc stop mariadb
  • sc delete mariadb
  • 移除資料

• Slave 沒法連到 Master 了

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

  MariaDB [(none)]> show slave status\G *************************** 1. row *************************** Slave_IO_State: Reconnecting after a failed master event read Master_Host: localhost Master_User: lsuser Master_Port: 3306 Connect_Retry: 60 Master_Log_File: WSTest-bin.000002 Read_Master_Log_Pos: 8223 Relay_Log_File: WSTest-relay-bin.000002 Relay_Log_Pos: 8551 Relay_Master_Log_File: WSTest-bin.000002 Slave_IO_Running: Connecting Slave_SQL_Running: Yes (省略) Last_IO_Errno: 2003 Last_IO_Error: error reconnecting to master 'lsuser@localhost:3306' - retry-time: 60 retries: 86400 message: Can't connect to MySQL server on'localhost' (10061 "Unknown error") Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 1 Master_SSL_Crl: Master_SSL_Crlpath: Using_Gtid: Slave_Pos Gtid_IO_Pos: 0-1-784 Replicate_Do_Domain_Ids: Replicate_Ignore_Domain_Ids: Parallel_Mode: conservative 1 row in set (0.00 sec)

• STOP SLAVE

• 打開 Slave 的 Event 服務

• 繼續服務

• 重建 Master

  1 2	E:\backup>mysqldump -u sujunmin -p --port 3307 --master-data --all-databases --events --routines --gtid > all_db.sql Enter password: ************

  觀察一下 all_db.sql 的內容

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

  -- MySQL dump 10.16 Distrib 10.1.17-MariaDB, for Win64 (AMD64) (中間省略) -- -- Position to start replication or point-in-time recovery from -- -- CHANGE MASTER TO MASTER_LOG_FILE='WSTest-bin.000003', MASTER_LOG_POS=12441; -- -- GTID to start replication from -- CHANGE MASTER TO MASTER_USE_GTID=slave_pos; SET GLOBAL gtid_slave_pos='0-2-976'; -- -- Current Database: 'master' -- (後面省略)

• 啟動 Master 的 Instance。

• 把 all_db.sql 倒到 Master (3307) 上面。

• 在 Slave 上設定 CHANGE MASTER 為 current_pos

  1 2	MariaDB [(none)]> change master to master_host='localhost', master_port=3306, master_user='lsuser', master_password='password', master_use_gtid=current_pos; Query OK, 0 rows affected (0.05 sec)

• START SLAVE;

• SHOW SLAVE STATUS;

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

  MariaDB [(none)]> show slave status\G *************************** 1. row *************************** (省略) Last_IO_Errno: 1236 Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Error: connecting slave requested to start from GTID 0-2-980, which is not in the master's binlog. Since the master's binlog contains GTIDs with higher sequence numbers, it probably means that the slave has diverged due to executing extra erroneous transactions' Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 1 Master_SSL_Crl: Master_SSL_Crlpath: Using_Gtid: Current_Pos Gtid_IO_Pos: 0-2-980 Replicate_Do_Domain_Ids: Replicate_Ignore_Domain_Ids: Parallel_Mode: conservative 1 row in set (0.00 sec)

• STOP SLAVE;

• 在 Slave 上設定 CHANGE MASTER 為 slave_pos

  1 2	MariaDB [(none)]> change master to master_host='localhost', master_port=3306, master_user='lsuser', master_password='password', master_use_gtid=slave_pos; Query OK, 0 rows affected (0.05 sec)

• START SLAVE;

• SHOW SLAVE STATUS;

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

  MariaDB [(none)]> show slave status\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: localhost Master_User: lsuser Master_Port: 3306 Connect_Retry: 60 Master_Log_File: WSTest-bin.000003 Read_Master_Log_Pos: 7177 Relay_Log_File: WSTest-relay-bin.000003 Relay_Log_Pos: 7466 Relay_Master_Log_File: WSTest-bin.000003 Slave_IO_Running: Yes Slave_SQL_Running: Yes (省略) Using_Gtid: Slave_Pos Gtid_IO_Pos: 0-1-1167 Replicate_Do_Domain_Ids: Replicate_Ignore_Domain_Ids: Parallel_Mode: conservative 1 row in set (0.00 sec)

  • 這兩個對應 (0-2-976, 0-1-1167) 都幫你做好了
  • 完成

  一些想法

  • 如果是 Multi-Master 的這個系統會很好做 (CREATE MASTER to ..., master_use_gtid=slave_pos;)，因為 slave_pos 可以是多個的，例如 gtid_slave_pos='0-1-123,1-2-456,...'
  • Slave 如果要快速完復，不需要備份還原的話，那麼就只能當 Snapshot 來用 (不能動他讓他產生自己的 binlog)
  • 對於原來的需求 (單一 Master 單一 Slave) 基本上設定一下就完成了

  上線紀錄

  2016/11/8

  有時候會碰到有些指令沒法傳過去的問題(如建立 FederatedX Table)，這時候 Slave 會卡在 Error 的地方不能過去，所以要手動 bypass 它。

  但是不太清楚要 skip 幾個的狀態下，就一個一個看了。

  1 2 3 4 5 6 7

  stop slave; set global sql_slave_skip_counter=1; start slave; select sleep(10); show slave status;

回到維運面的處理，在 SQL Server 有 SQL Server Agent Service 作為 Job System，說實在真的好用，在 msdb 裡儲存了很多 Job 的資料，不管是統計還是錯誤時的資料收集都做的非常好，因此系統每天會出資料庫系統狀態報表，其中有兩個項目有很多東西能看

因此每天的檢查大部份都是看這些 Log 的狀態，希望在 MariaDB 上面希望也有類似的方法實作。

Job System 的選擇

在 MariaDB 上有 Event 可以用，在 Windows 裡有 Windows Tasks 可以用，但他們跟 SQL Server Agent Service 真的是差太多了，這兩個服務 MariaDB 的 Event 幾乎是射後不理，Windows 的 Tasks 也只有少少的 Log 可以用，基本上直接用是沒法達到原來維運的要求的，最後仍然是選擇 MariaDB 的 Event 配合一點紀錄來實作 Job System。

MariaDB 的 Event

詳細資料可以參考這個，基本上很簡單，就是設定某個 Schema 的什麼時候做什麼事情，用 Show events; 可以看到 Event 的內容，不過這邊要來說明的是 mysql.event 這個資料表，因為所有的 Event 資料都是從這個地方加工的。

其中有一些時間戳記，經過一些實驗結果 (因為真的寫的好少，不太清楚真正的意思) 有一些認識

要注意的是 last_executed 是不管成功或是失敗執行完的時間，starts 是第一次執行的時間，如果他是週期性執行，沒有結束的時間，只會記住第一次的

這個時間系統很重要的是因為它會關係到後續報表怎麼出，所以要先了解一下

另外的是處理情形的資訊，在 mysql.event 沒有任何紀錄最後一次狀態的資訊 (所以才說它幾乎是射後不理的系統)，這邊就需要自己紀錄了。

紀錄 Event 執行狀態的 table

根據需求，我在 master Create 了 event_history 資料表

1
2
3
4
5
6
7
8
9
10
11
12
13
14

CREATE TABLE event_history (
    db CHAR(64) NOT NULL DEFAULT '',
    name CHAR(64) NOT NULL DEFAULT '',
    start DATETIME NULL DEFAULT NULL,
    end DATETIME NULL DEFAULT NULL,
    sqlstate CHAR(64) NULL DEFAULT NULL,
    errno CHAR(64) NULL DEFAULT NULL,
    message_text VARCHAR(500) NULL DEFAULT NULL,
    record_time DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
    INDEX idx1 (db, name)
)
COLLATE='utf8_general_ci'
ENGINE=InnoDB
;

攔截錯誤時的訊息

MariaDB 有個 Handler 作為錯誤處理 try-catch 的機制，可以從這邊下手。

Diagnostics 可以在錯誤時拿到相關的資訊，有 sqlstate ，errno ，message_text 可以拿來用。

Prepare Statements

由上面的準備，幾乎是可以完成表裡需要的欄位項目，但是如果要每個 Event都要前面加 Handler 與 Diagnostics 來塞資料，這樣太麻煩也有可能會忘記，所以要做個 Store Procedure 來達成這個需求。

其中需要讓 Store Procedure 執行傳進來的 SQL Statements，有 Prepare Statement 可以用，這樣就差不多了

不過這個 Prepare Statement 有限制使用的語法，而且只能執行一行。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

CREATE PROCEDURE proc_for_event_history(IN idb char(64), IN iname char(64), IN sql TEXT)
    LANGUAGE SQL
    NOT DETERMINISTIC
    CONTAINS SQL
    SQL SECURITY DEFINER
    COMMENT ''
BEGIN
      DECLARE EXIT HANDLER FOR SQLEXCEPTION
      BEGIN
        GET DIAGNOSTICS CONDITION 1 @sqlstate = RETURNED_SQLSTATE,  @errno = MYSQL_ERRNO, @text = MESSAGE_TEXT;
        select now() into @start from dual;
        insert into master.event_history (db, name, start, end, sqlstate, errno, message_text) values (idb, iname, @start, now(), @sqlstate, @errno, @text);
      END;
     
     set @sql := sql;
     prepare stmt from @sql;
    
     select now() into @start from dual;
     set @outs := '';
  execute stmt;
      select sleep(10);
  if instr(@sql, '@outv') <> 0 then
      select concat('OK ', @outv) into @outs;
     else
      select 'OK' into @outs;
     end if;
    insert into master.event_history (`db`, `name`, `start`, `end`, `sqlstate`, `errno`, `message_text`) values (idb, iname, @start, now(), NULL, NULL, @outs); 
END