2019 LINE Dev Day 議程心得 Part1

前言

今年很榮幸被 LINE 以 Influencer 形式邀請到日本參加 LINE Dev Day,這也是人生第一次踏入那長年陪伴我長大的影片的國家 - 日本。原本在這期間會參與 KubeCon NA 的活動,但因為一些變故,因此最後沒能去成,於是就來到了 LINE Dev Day,這次參與 LINE Dev Day 最大目的當然就是想要一探究竟 LINE 的基礎建設,過去在 OpenStack 與 Cloud Native 相關活動中,了解到 LINE 的 IaaS 是以 OpenStack、Ceph 等開源專案建置而成,並且提供一套自研 Kubernetes as a Service,提供給不同團隊開發與部署服務使用,而且規模無法想像的大,其維護團隊 Verda Team 更是這些專案社區的程式碼貢獻者,因此能夠來到日本現場真的讓人很興奮。

心得

在這次 LINE Dev Day 中,一開場就是由 LINE CTO - Euivin Park 開場 Keynote,過程中說明目前 LINE 專注的幾個重點技術項目,分別為 AI、資料平台與基礎設施,以及資安與隱私,其中 AI 部分更是重頭戲,在過程中展示了許多成果,並且這些都被應用在 LINE 的各種應用與服務上,以增加更多優勢。

另外 LINE 也展示了對於 AI 的展望,從下圖會發現,他們真的搞了很多項目,除了 Face Sign 外,還有語音辨識與分析、手寫辨識與分析、資料分析、自然語言處理等等。

其實不難發現 LINE 的 AI 有許多成果,像是這次活動報到就是採用 Face Sign 形式進行,參加者只要在活動開始之前,上傳自己的照片後,就可以在當天以臉部辨識方式來完成報到,據我自己經驗來說,真的非常準確… 因為我上傳時沒戴眼鏡,但是到現場有戴眼鏡還是能識別出來,這讓我蠻訝異的。

當 AI 部分講完時,就來到了我參與本次活動最想了解部分 - Data Platform & Infrastructure。這部分一開場就由 Verda Team 的 Yoshihiro san 說明 LINE 每天面臨的資料量及執行的 Spark/Hive 程序量等等,並指出當前的關鍵挑戰部分。

而因為這些問題,LINE 團隊採用了Self-service Data Platform平台,來讓內部資料分析團隊能自助建立使用,以提升分析跨服務的複雜性,並有效的運用。

另外在基礎建設(雲端系統)部分,Verda Team 在全球維護著 4 萬台以上的實體機器,用於支撐每天 50 億的訊息量,以及 1Tbps 的流量。而支撐這些服務的平台,就是 LINE 團隊透過各種開源技術搭建而成的私有雲,該私有雲涵蓋了 OpenStack、Ceph、Kubernetes 等等技術,其中不乏有許多 CNCF 組織的專案被採用在各種服務內,像是 gRPC、Prometheus 等等,另外 LINE 在網路技術上,採用 SRv6 來達到 Multi-Tenant Network,以解決許多分散的基礎建設網路、缺乏靈活性問題。最後有趣的是 Yoshihiro 說 LINE 目前機器推疊起來,有 2200 公尺高,相等於 3.5 座東京晴空塔的高度。

而 LINE 的 Verda Team 建構的私有雲平台,採用新的技術是希望提升開發流程與產品交付的效率,以因應目前許多服務快速發展的趨勢。

當基礎建設結束後,就進入到 LINE CTO 提到的第三大重點 - 安全與隱私(Security and Privacy),LINE 這幾年對於使用者資料與隱私的使用上,一直致力於合法運用,並完全確保不侵犯到使用者隱私。另外有趣的是 LINE 資安團隊導入機器學習後,有效的降低使用者帳戶被盜用的狀況,甚至在今年九月達到沒有任何在被盜用了,可以想像 LINE 團隊在這方面的積極程度。

另外在資安方面,LINE 也將自己的資安漏洞回報機制轉到 HackerOne 上,以讓全球駭客能夠來修復與回報,既而加強服務的安全性。最後 LINE Dev Day 除了上述三大重點外,其議程還涵蓋了許多技術內容,如區塊鏈技術、網路銀行、自研發系統(DB, TSDB) 等等。

結語

從這次活動中,可以感受到 LINE 在基礎建設(雲端系統)採用開源專案已經非常成熟,從虛擬化、網路架構與儲存方案都少不了開源專案身影,其中又導入很多 Cloud Native 技術,如 Kubernetes、Knative 等等,且 LINE 團隊也是開源社區的貢獻者,可以發現他們為開源專案上游修復了許多 Patch,除了更完善自家私有雲平台外,也能與社區緊密接合,以快速反應當前遇到問題。

雖然本篇只提到 Keynote 部分,但是從概觀來看,就能感受到 LINE 對於自家技術的要求。

Reference

Share Comments