云计算服务器功能说明

“数据库与大数据及云计算实训实验室”(以下简称云实验室)是西安优盛信息技术有限公司针对高校的实际需求而研发的一个综合性的教学与实训及科研平台。该实验室基于最新的云计算和虚拟化技术搭建,采用行业领先的云管理和虚拟化软件系统,可以为计算机应用、软件工程、数学和统计、信息工程等相关专业的学生提供一个与企业无缝对接的实训与实践的平台,使学生在校期间就能够提前接触并获得大型企业的主流技术和技能要求,为学生的择业和就业提供强有力的平台支撑,同时也可以为广大师生的科研活动提供一个高性能的、可伸缩的实验环境。

1
服务器机群对全部的计算机资源进行了池化,具备强大的计算处理能力。
2
客户应用所需CPU、内存磁盘等资源可按需配置,体现云计算的优势。
3
计算能力和资源均集中在服务器,使客户端可以极大节省机房建设投入。
4
​ 系统规模可线性扩充,批量支持多个专业和班级学生的实验与实训要求。
5
基于虚拟机模板的实验环境部署,极大减少了机房管理员的数量和负担。
6
不同课程的实验环境可通过模板快速进行部署,极大提高了教学效率。
7
实验软件和内容均来自企业真实项目,将最新技术和企业项目搬进校园。
8
实验内容涵盖行业最热点的技术方向,学生所学技能和企业无缝对接。
9
各类教学模板与企业生产系统保持同步,定期免费进行维护与升级。
10
持续提供数据库、大数据云计算的师资培训,服务院系学科建设。


标准配置的云实验室主机采用四台DELL R720高性能服务器及一台DELL SCv2020 FC高性能存储阵列共同组成,虚拟化及云管理采用成熟的OpenStack技术,以此为基础,通过将创建的虚拟机以云发布的形式提供给客户端使用。四台服务器通过虚拟化的方式,可以为多达150个客户端同时提供高性能的实验用虚拟机。OpenStack虚拟化及云计算平台已经广泛地在金融、电信、物流、制造业等众多大中型企业中长期稳定并可靠地运行,OpenStack可以最大化利用CPU、内存及存储等计算机资源,以实现节约资源、降低运维成本的目的,充分体现了云计算的优势。

标准配置方案的四台R720服务器,每台服务器配置2颗E5-2650 V2处理器,该型号处理器单片包含8个内核,16个线程,GFLOPs达到166.4,单台服务器合计能提供16内核32线程、GFLOPs为332.8的计算性能。四台机群整体GFLOPs可达到1331.2,能够很好满足数据库、大数据、机器学习、虚拟化和云计算以及其它技术方向实训实验的教学及科研的需要。

内存方面,每台服务器配置128G内存,除去EXSi虚拟化系统保留8G外,可以提供120G给用户虚拟机使用,单台服务器能同时创建和运行20台4G或者40台2G的客户机系统。机群四台服务器除去云计算服务等开销外,总共能提供80台4G或者160台2G的客户机系统。  

对于数据的存储,考虑到实验室的高并发程度,为消除I/O热点,保证性能,系统采用 DELL SCv2020 FC高性能存储阵列,存储阵列和服务器主机通过光纤交换机连接。SCv2020 FC存储配置有8块SSD 600G固态硬盘外加16块1T 10k高速SAS硬盘,整体容量达到20T,能很好满足大数据教学对海量数据的存储要求。在数据冗余方面,SCv2020 FC存储支持 RAID 5、6、RAID 10 和RAID 10 DM(双镜像)技术,能确保数据的安全。

数据的传输效率方面,系统在服务器和存储之间采用高性能的Brocade 300光纤交换机,该交换机可提供高达8.5 Gbit/ sec全双工的带宽,可以很好地满足实训项目用虚拟机的高并发性及数据库、大数据、机器学习项目对大数据量I/O性能的严格要求。

对于系统数据的安全,除了每台服务器和存储通过RAID10提供冗余外,OpenStack数据中心虚拟化软件还提供系统元数据与用户数据的可靠备份,可以做到数据的绝对安全。 


“数据库与大数据及云计算实训实验室”采用行业领先的设计理念,通过使用虚拟化和云计算技术,以较低的成本,提供了最大程度的资源利用率。本系统可以为计算机应用、软件工程、数学与统计、信息技术等相关专业学生的实验和实训课程提供一个综合性的平台。通过模板可以快速部署不同教学要求的虚拟机系统,实验室能为各类计算机理论和编程 课程、Linux操作系统课程、Oracle和MySQL数据库实验课程、Hadoop和Spark大数据实验课程、ML机器学习课程、并行计算课程、虚拟化和云计算课程、物联网课程等众多的专业提供高效可靠的实验环境。

云计算服务器课程模板

云实验室包含有完整的数据库和大数据及虚拟化与云计算实训教学的模板和教材,通过快速部署,标准配置实验室可以同时满足不同专业多达60-120人次并发实验实训的要求。

云实验室所支持的实训方案包括:Linux操作系统实训方案、Oracle和MySQL关系型数据库实训方案、Hadoop和Spark大数据实训方案、VMware和OpenStack虚拟化和云计算实训方案、Kafka和Storm流式数据处理实训方案、Spark MLib机器学习实训方案、其他技术方向实训方案。

Linux操作系统实训方案
关系型数据库实训方案
Hadoop和Spark大数据实训方案
虚拟化和云计算实训方案
Kafka和Storm流式数据处理实训方案
Spark MLib机器学习实训方案
其它实验实训方案

Linux操作系统实训方案

Linux操作系统对于整个开源领域和云计算平台的重要性不言而喻,云实验室Linux实训方案采用业界领先的Redhat企业级Linux最新版本,涵盖了Linux的日常管理、虚拟化等方面的内容。云实验室方案支持的Linux模板包括:

1) RHCSA实验模板(管理一、管理二)

2) RHCE实验模板(管理三)

3) Linux系统开发实验模板


关系型数据库实训方案

数据库实训方案涵盖了Oracle和MySQL数据库的全部中高级技术内容,包括日常运维、RAC高可用集群、Data Guard和GoldenGate容灾、性能优化等。实验模板安装了Oracle Database 11gR2  Enterprise Edition数据库软件,实验项目在技术层面和企业保持一致。云实验室方案支持的数据库模板包括:

1) Oracle数据库OCP实验学习环境模板

2) Oracle数据库RAC高可用集群学习环境模板

3) Oracle数据库Data Guard容灾系统学习环境模板

4) Oracle数据库GoldenGate容灾系统学习环境模板

5) Oracle数据库性能优化的实验学习环境模板

6) MySQL数据库系统管理学习环境模板

7) MySQL数据库开发/高级存储过程学习环境模板

8) MySQL数据库集群学习环境模板

9) MySQL数据库性能优化学习环境模板


Hadoop和Spark大数据实训方案

大数据实训方案分为Hadoop平台、Spark平台、Python和Scala大数据开发语言、机器学习数学基础等内容。其中Hadoop以Apache Hadoop2.0生态系统搭建,包含有HDFS, YARN, HBase, Hive, Pig, Sqoop, Zopkeeper等内容。Spark内存计算平台包含有Spark SQL、Spark Streaming、Spark MLib、Spark Graph等内容。大数据开发语言包括了主流的Python和Scala。机器学习数学基础是面向非数学专业学生设定的,包括了概率与统计推断、矩阵、凸优化等内容。Hadoop和Spark大数据实训方案是在校学生快速与企业大数据技能要求接轨的最佳实验平台。云实验室上述大数据平台的教学模板包括:

1) Hadoop2.0大数据实验环境学习模板,包含HDFS, YARN, Zookeeper, Sqoop等

2) MapReduce离线计算框架学习环境模板

3) YARN资源管理框架学习环境模板

4) HBase NoSQL数据库实验学习环境模板

5) Hive数据仓库实验学习环境模板

6) Spark内存计算框架基础实验学习环境模板

7) Python语言学习环境模板

8) Scala语言学习环境模板

9) R语言学习环境模板

10) 机器学习数学基础学习实验模板


虚拟化和云计算实训方案

虚拟化和云计算实训方案分为VMware和OpenStack两个产品方向,其中VMware方案采用业界市场占有率最高的VMware公司产品,实训方案涵盖有VMware虚拟化环境的搭建和运维的全部过程。基于开源的OpenStack方案包含有Nova和Swift两大模块,支持KVM, VirtualBox, Xen等主流的虚拟化产品。云实验室支持的虚拟化和云计算的模板包括:

1) VMware数据中心虚拟化实验模板

2) OpenStack云计算管理平台实验模板(KVM)


Kafka和Storm流式数据处理实训方案

Kafka和Storm流式处理实训是大数据处理与分析的综合实训项目,该项目来自西安优盛自主开发的“中国电信精细化营销大数据处理平台”的部分核心模块。该实训项目是一个综合性的实时数据处理和分析平台,涉及到的技术包括:Oracle数据库、Hadoop平台、Hive数据仓库、HBase NoSQL数据库、GoldenGate容灾系统、Kafka消息系统、Storm实时分析系统、电信业务、Python语言、数据分析算法(极大似然估计、贝叶斯估计、K均值、AP聚类、协同过滤等),是在校学生在技术及业务层面融入企业级大数据生产项目的综合型实践平台,实现了应届大学毕业生在大数据分析技能与企业要求之间的无缝对接。云实验室支持的Kafka和Storm流式处理实训的模板包括:

1) Kafka消息系统学习环境模板

2) Storm实时处理系统学习环境模板

3) 电信企业级大数据生产项目学习环境模板


Spark MLib机器学习实训方案

Spark MLib机器学习实训方案搭建在开源Apache Spark 2.0平台之上,通过理论与算法学习,使得学生能够在企业级生产平台上从事机器学习算法的改进以及业务处理所需的编程模块的实现等相关工作。Spark MLib机器学习库具有易于使用、算法的高效与高品质以及易于部署的特点,正在被越来越多的企业使用作为机器学习的平台。云实验室支持的Spark MLib机器学习实训方案的模板包括:

1) Spark MLib基础环境构建实验模板

2) 机器学习算法实验模板,支持的算法练习包括:

    a) 分类:逻辑回归,朴素贝叶斯等

    b) 回归:广义线性回归,生存回归等

    c) 决策树,随机森林和梯度提升的树

    d) 建议:交替最小二乘(ALS)

    e) 聚类:K-means,高斯混合(GMMs)等

    f) 主题建模:潜在Dirichlet分配(LDA)

    g) 频繁项目集,关联规则和顺序模式挖掘

3) Spark MLib机器学习库生产项目实践环境模板(中国电信项目)


其它实验实训方案

除了上述的Linux操作系统实训方案、Oracle和MySQL关系型数据库实训方案、Hadoop和Spark大数据实训方案、VMware和OpenStack虚拟化和云计算实训方案、Kafka和Storm流式数据处理实训方案、Spark MLib机器学习实训方案之外、云实验室还支持C/C++、Java软件开发以及并行计算实训内容。具体实验模板如下:


1) C/C++、数据结构、编译原理基础课程学习环境模板

2) Java软件开发实训环境模板

 


主要客户

西安文理学院

西安文理学院是2003年经教育部批准,由西安市政府主办、省市共建、面向全国招生的一所全日制普通高等院校 。学校设有45个本科专业,拥有一批以省级重点学科、省级重点实验室、市级重点实验室、市级工程实验室为代表的重要学科平台。

延安大学西安创新学院

延安大学西安创新学院是由延安大学申办,教育部于2004年5月批准成立的一所全日制普通本科独立学院。学院坐落在古都西安南郊大学城,东北紧邻航天城,南眺终南山。理工系是延安大学西安创新学院设立最早的系部之一。设有8个专业教研室和教学管理组织,拥有19个专业实验室和6个多媒体教室,建立了校内外各类专业见习、专业实习、专业实训、就业培训等实践教学基地20个。