現在坐高鐵回台北的路上, 做一個簡短的介紹


這一台伺服器是 Intel 今年推出重要的雲端平台 SoC
的 Intel Xeon-D 1540, 8個核心可以跑 16個 thread. 所以是一個非常好的虛擬平台。tdp 只有 45w,所以非常安靜。這個主板最多支援 6個 sata 設備。


它有四個 熱插拔的 3.5 HDD. 目前安裝了 4個 WD 紅標 4tb 在 zfs 模式下做 stripe mirror (RAID 1+0)


目前它還安裝了一個 slc 的 ssd 作為 zfs 的 ZIL (寫入加速)


它還有一個 2.5 sdd mount tray 在側面,但是我使用了一個 m2.sata 80 的 SSD 作為 zfs CACHE (讀取加速)目前 m2.sata ssd 看不到,被我的 Intel x520 跟 DDR4 64gb 擋住了,拍不到。


這個是還未安裝 x520 網卡的圖。


安裝卡的時候要特別小心,因為空間的問題,需要把 hdd 背板先移除才能安裝。


背面圖, 1 gbe x2 Intel i350 支援 sr-iov, 10gbe-T x 2 Intel x557** 不支援 sr-iov, 10 gbe-sfp+ x2 Intel 520 支援 sr-iov. 以及兩個 usb 3.0, 一個 ipmi 網口, 一個 VGA。

這台 nas 是專門服務大量資料傳輸使用,所以可以看到我使用了4個 10 gbe (吞吐量超級大)

目前使用的 OS 是絕大部分人都很陌生的 Proxmox VE 4.0 它是 Debian 8.1 但是卻使用 Ubuntu 15.10 Willy Wolf 的 Kernel 4.2. 它可以使用 ceph 或是 zfs 為它的 檔案格式,相對的更少朋友們在實際 production 的環境使用。

我在這台 nas 大量運行了多個 VM 以及 LXC (container) 它是一台 IP 電話交換機 (elastix 4.0), 路由器/防火牆/VPN (Pfsense 2.2.5), Windows AD fileserver (samba+ldap in LXC), XMPP 伺服器 (Openfire 3.10.3) 以及基本的 LAMP 伺服器 (in LXC). 未來還會運行 Tiptiop GP ERP (5.x 版本)以及 zimbra mail 伺服器。晚一點在丟一些系統的截圖以及簡易的 benchmark.

這台伺服器/nas 成本 10萬台幣有找。

** cpu 1541的版本支援 Intel x557 的 sr-iov
文章關鍵字

EluSiOn wrote:
現在坐高鐵回台北的...(恕刪)


能表達的只剩下流口水了...
有人買了~~呵呵~~
說老實話 XEON SOC 系列是Intel 這三年人最令我驚豔的CPU

我們這裡也有借了兩台~還沒花錢~~因此還沒開始摧殘~~

對這一台的評比就是~
機箱上中規中矩~機箱感覺沒有很威也沒有很Q
我還是比較喜歡SR30169 ~一樣可以做到4Bay hotswap + 2.5" * 2

另外PSU 使用Flex ATX 規格不太喜歡~
SR30169 可以裝ATX 超靜音規格

另外~PCI-E 插槽那邊沒有很優~不過SR30169也沒多好就是了

on Board CPU + ITX 板表現實在棒
很想搞一台MicroBlade 來替換掉那些礙眼的DL380 g8/g7

Supermicro 這系列板子真的不錯,我也有用類似的配置自組:

http://tonysanv.blogspot.com/2015/11/freenas.html

自組總價約六萬五上下,升到與原 po 同規格差不多是十萬。

EluSiOn wrote:
現在坐高鐵回台北的...


RAM是用單條64GB還是32GB的?
有點好奇這塊板子有沒有支援單條64GB
兩條 64GB........ 15151515
目前運行的 LXC and VM... elastix PBX 的部分目前在測試中

Oneplus 8 Pro• Thinkpad T480s• PVE6+OMV4+NextCloud
EluSiOn wrote:
目前運行的 LXC ...(恕刪)


您好,我想跟您請教下系統架構上
是使用Proxmox VE 4.0做底層後去分割VM設定用途??
能夠稍微介紹一下讓小弟能夠瞭解作法?

事實上沒啥機會接觸這樣的硬體等級,純粹好奇而已
Proxmox VE 4.0這套系統目前也沒什麼機會接觸@@
Proxmox VE 4.0是原生ZFS還是以OPEN ZFS的方式?
效果好嗎
雖然知道他是款虛擬化軟體,但太多虛擬軟體,就懶得學了
這款軟體有所謂的直通嗎?很好奇
我最近升級到 Proxmox VE 4.1 (跟 4.0) 差別不大

A. 它的 OS 是 Debian 8.2 (Jessie), 所以它的 package 幾乎都是要透過 debian 的 apt 來安裝
B. 它的 Kernel 是 4.2 Ubuntu 15.10 (Willy Wolf), 這部分應該是為了可以擁有最新硬體驅動支援的選擇
C. 它的 Hypervisor 是 kvm 搭配 qemu 的硬體加速
D. 它的 container 是使用 LXC
E. 它的 管理界面是 網頁版本, 非常方便強大. 可以讓你在網頁就 ssh/x11 到 host/vm/lxc.
F. 它的 SDN 是 openvswitch (需要使用 pve 的版本, 不能使用 debian 版本)
G. 它的 file system 有 ext4/xfs 以及必要特殊的 ZFS.
H. 它的 distributed file system 有 glusterfs 以及 ceph 這兩種.
I. 它支援 live migration, 也就是 VM1 可以從 HostA 移轉到 HostB, 而在使用 VM1 的人完全感覺不出來 (很多人會想用 VMWare vSphere Esxi 6.0 其實就是為了這一項功能)

Proxmox VS VMWare Vsphere esxi 6.0
甲. PVE 不只是 VM 管理器, 也是 Container 管理器, 同時它可以建立 VM/Container 的 Cluster 達到沒有 Downtime 有 VMWare vCenter 的功能, 但是 vmware 目前不支援 container
乙. PVE 因為有 zfs, glusterfs 以及 ceph 的支援, 它也完全取代掉 VMWare 的 vSan.
丙. 上述這些功能 ubuntu 或是 debian 都可以一樣一樣的安裝, 但是沒有整合管理界面, 當所有管理都是分散式時, 管理員很容易犯錯, PVE & vSphere Web Client 在這點都非常棒, 完美整合了所有資訊.
丁. PVE 有自建本地備份以及異地差異備份功能 (透過 zfs) 所以它連 VMWare 下面的第三方付費備份插件 veeam 都內建了.
戊. PVE 可以 AIO All in One, 但是 VMWare 的 vSAN 就不能 All in One, 它的 vm 開機碟一定要是 VMDK 或一個iscsi 上的一個 RAW Disk, 同時 vmfs 限制很多.

使用 proxmox 原因

1. 現在的伺服器 cpu 強大, 它可以執行很多功能, 所以讓它跑 vm/lxc, 目的是榨乾這台伺服器所有的運算以及儲存功能.
2. 切割成 VM/LXC 的原因是, 很多時候, 功能 A 會使用到 package 甲 版本 1.2, 但是功能 B 卻需要 package 甲 版本2.0, 那麼這個時候就會有衝突. 所以使用 VM/LXC 就可以切割, 避免衝突
3. 當功能 A 修改後, 有的時候需要重新開機, 但是同一台伺服器情況下, 還有 功能 B, C, D 在服務. 結果為了 A, 所有的服務都要下線, 影響到所有人. 如果是使用 VM/LXC, 那麼只會讓功能A 下線, 但是 B, C, D 都不會被影響.
4. Container 真的太輕量化, 以及建制超級快速(不需要安裝, 只需要找到 template) 跟 VM 比較起來. 同時 Container 開機速度真的比 VM 快上 4倍 你可以去看我錄製的 youtube 比較 VM 開機. LXC 開機

我覺得應該會有很多使用 VMWare 的人會出來捍衛吧... 我有被罵的心理準備了
Oneplus 8 Pro• Thinkpad T480s• PVE6+OMV4+NextCloud
關閉廣告
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!