用 Flashcache 建立高容量與高效能儲存

Flashcache 是 Facebook 的一個開源專案,主要被用於資料庫加速。基本結構為在硬碟(HDD)前面加了一層快取,即採用固態硬碟(SSD)裝置,把熱資料保存於快取中,寫入的過程也是先寫到 SSD,然後由 SSD 同步到傳統硬碟,最後的資料將保存於硬碟中,這樣可以不用擔心 SSD 損壞造成資料遺失問題,同時又可以有大容量、高效能的儲存。

Read More

Share Comments

Pacemaker + Corosync 做服務 HA

Pacemaker 與 Corosync 是 Linux 中現今較常用的高可靠性叢集系統組合。Pacemaker 自身提供了很多常用的應用管理功能,不過若要使用 Pacemaker 來管理自己實作的服務,或是一些特別的東西時,就必須要自己實作管理資源。

Read More

Share Comments

利用 rados-java 存取 Ceph

rados-java 透過 JNA 來綁定 librados (C) 的 API 來提供給 Java 使用,並且實作了 RADOS 與 RBD 的 API,由於透過 JNA 的關析,故不用建構任何的 Header 檔案(.h)。因此我們可以在擁有 JNA 與 librados 的系統上使用本函式庫。

Read More

Share Comments

Alluxio 分散式虛擬儲存系統

Alluxio 是分散式虛擬儲存系統,早期名稱為 Tachyon ,而現在已正式改名 Alluxio,並發佈 1.0 版本

Aluxion 是一個記憶體虛擬分散式儲存系統,具有高效能、高容錯以及高可靠性的特色,它能夠統一資料的存取去串接機算框架和儲存系統的橋梁,像是同時可相容於 Hadoop MapReduce 和 Apache Spark 以及 Apache Flink 的計算框架和 Alibaba OSS、Amazon S3、OpenStack Swift,、GlusterFS 及 Ceph 的儲存系統

Read More

Share Comments

DM-cache 建立混和區塊裝置

DM-cache 是一種利用高速的儲存裝置給低速儲存裝置當作快取的技術,透過此一技術使儲存系統兼容容量與效能之間的平衡。DM-cache 目前是 Linunx 核心的一部份,透過裝置映射(Device Mapper)機制允許管理者建立混合的磁區(Volume)。

Read More

Share Comments

Akka 基本介紹

Akka 是基於 Actor 模型以 Scala 程式語言開發而成的開源工具,被用在建置可擴展、彈性、高度並行、分散式與快速響應的 JVM 應用程式平台。現在許多高度並行(Concurrent) JVM 應用程式被廣泛應用,尤其以巨量資料處理框架為甚,諸如:Spark、Storm等,甚至可以基於 Akka 建置高平行的 Web 框架,更能建置分散式系統。Akka 最主要的目是要解決同步造成的效能問題,以及可能發生的死鎖問題。

Akka 目前擁有以下幾個特點:

  • 高度並行與分散式
  • 可擴展
  • 擁有容錯機制
  • 去中心化,且彈性
  • 基於 Actors 模型
  • 事務性 Actors
  • 支援 JAVA 與 Scala API。
  • 支援叢集

Read More

Share Comments

Apache Flume 快速上手

Apache Flume 是一個分散式日誌收集系統,是由 Cloudera 公司開發的一款高效能、高可靠性和高恢復性的系統。它能從不同來源的大量日誌資料進行高效收集、聚合、移動,最後儲存到一個資料中心儲存系統當中。架構經過重構後,從原來的 Flume OG 到現在的 Flume NG。Flume NG 更像一個輕量化的小套件,簡單使用且容易適應不同方式收集日誌,且支援 Failover 和 Load Balancing

Read More

Share Comments

DRBD 進行跨節點的區塊儲存備份

DRBD(Distributed Replicated Block
Device)是一個分散式區塊裝置備份系統,DRBD 是由 Kernel 模組與相關腳本組成,被用來建置高可靠的叢集服務。實現方式是透過網路來 mirror 整個區塊裝置,一般可作為是網路 RAID 的一類。DRBD 允許使用者在遠端機器上建立一個 Local 區塊裝置的即時 mirror。

Read More

Share Comments

OpenStack 貢獻基本流程

本文章主要記錄自己在貢獻 OpenStack 時,所需要了解的流程。一但完成這些過程後,就可以在 OpenStack 社群上尋找自己喜歡的專案進行貢獻。

Read More

Share Comments

透過官方 Ansible 部署 Kubernetes


本文章已被棄用,請不要參考。
(This post is being deprecated. Don’t refer it.)

Kubernetes 提供了許多雲端平台與作業系統的安裝方式,本篇將使用官方 Ansible Playbook 來部署 Kubernetes 到 CentOS 7 系統上,其中 Kubernetes 將額外部署 Dashboard 與 DNS 等 Add-ons。其他更多平台的部署可以參考 Creating a Kubernetes Cluster

本次安裝版本為:

  • Kubernetes v1.5.2
  • Etcd v3.1.0
  • Flannel v0.5.5
  • Docker v1.12.6

Read More

Share Comments