EN 加入我们

免费下载

请填写以下信息获取免费下载资源

  • 公司名称

    *
  • 姓名

    *
  • 职务

    *
  • 电子邮箱

    *
  • 手机

    *
  • 验证码

    获取验证码
  • 公司名称

    *
  • 姓名

    *
  • 职务

    *
  • 电子邮箱

    *
  • 手机

    *
  • 验证码

    获取验证码

留言反馈

请填写以下信息反馈问题或建议

  • 公司名称

    *
  • 姓名

    *
  • 职务

  • 电子邮箱

    *
  • 手机

    *
  • 反馈内容

  • 验证码

    获取验证码

阿波罗百嘉云上大数据分析项目

方案背景

阿波罗百嘉面向众多用户提供个性化服务,因此需要通过大数据技术对海量客户数据进行筛选。由于美国HumanLongevitylnc.全面使用亚马逊云科技做完其云供应商,为此,阿波罗百嘉与华讯网络合作在亚马逊云科技中国区构建LandingZone以保持和美国HLI在亚马逊云科技上无缝对接。同时借助亚马逊云科技的EMR大数据工具来实现更精准更高效的服务。EMR可以与阿波罗百嘉的技术栈一致,便于对接各项应用,且能达到成本优化、安全性提升、运维和开发效率改进的效果。尤其是借助亚马逊云科技的生态,阿波罗百嘉基础上获得更先进、丰富、深厚的数据利用能力。

阿波罗百嘉作为HLI全球高端医疗科技资源的入口,积累了海量的客户数据。为了提供创新的个性化服务,阿波罗百嘉需要在构建云上基础架构的同时构建大数据分析平台的为这些服务提供数据平台,并在此基础上实现用户画像、行为分析等目的。

 

阿波罗百嘉当前的系统部署存在以下缺陷:

*  数据存储和处理的安全性有待提升。

*  缺乏易用的账单分析和成本优化工具。

*  运维复杂度高,亟需借助更全面的运维工具提升运维效率和质量。

*  架构先进性有待提高,从而实现数据分析软件的容器化和微服务化需求,提升各类上层应用的交付敏捷性。

*  亚马逊云科技中国区没有codepipeline,无法沿用HLI的CI/CD实现方式。

上述缺陷目前已经对阿波罗百嘉的业务发展产生了限制,亟待在大数据环境下得以解决。

亚马逊云科技作为HLI长期的公有云提供方,为HLI提供可靠、先进的云服务,一直受到HLI的信赖。随着亚马逊云科技在中国区有越来越全面的服务落地,已经形成了规模性的技术生态,做为HLI的中国权利,阿波罗百嘉目前也正在将各项原先自管的以及托管在其它云上的应用逐步向亚马逊云科技迁移,或直接在亚马逊云科技上构建云原生应用,以求与HLI全球的技术栈保持一致,并借助亚马逊云科技的领先技术和服务保障,获得更高的收益和提升潜力。

华讯网络作为亚马逊云科技高级咨询、安全以及MSP认证合作伙伴,在本次项目前的一年多时间里,已为阿波罗百嘉提供了包括亚马逊云科技领域在内的IT咨询规划及定制化MSP服务,涵盖了从基础网络到公有云、开源中间件、安全、容器、开发技术栈等广泛的技术领域。参与了十余个实际业务项目上线的评审、架构设计、实施以及开发工作,为十余个运维优化需求提供了解决方案和开发实现。

 

通过这些实际项目的参与,华讯网络已深入了解阿波罗百嘉的IT运维体系和深层需求,在技术经验实力、服务能力和项目管理能力等方面,华讯网络的表现均取得了阿波罗百嘉的信任,这些都保障了此次阿波罗百嘉选择华讯网络合作Landing Zone以及大数据项目的顺利成功。


方案描述

作为亚马逊云科技的良好实践,以及和HLI原本的技术栈的顺利衔接,阿波罗百嘉的亚马逊云科技方案以HLI美国区为蓝本,大数据以EMR和S3为核心进行打造,并按照客户所需的功能、性能、安全、监控、运维需求进行设计和实施。项目从2021年4月份开始,历时4个月完成。

图片展示了阿波罗百嘉项目的架构,批处理系统中用于基因分析的数据以及医疗系统的RDS中的部分数据将通过S3作为EMR的数据源,由EMR负责处理,处理过程由EMR上运行的MapReduce针对批量数据进行分析。数据分析后在用户系统的RDS以及医疗系统的RDS里以结构化数据的形式进行展现,并通过API在统计报表里进行展现。

为保障和提高大数据运维效力,方案中采用Amazon CloudWatch、Amazon CloudTrail,Amazon SNS,协助监控,并部署由华讯网络基于splunk开发的MSP服务。此外,为迎合HLI已经成熟的的IaC技术积累,本方案可支持Terraform。

本方案采用Amazon EMR的目的在于:
* EMR可混合使用各类实例,并具有灵活的扩展性,可按需扩展或收缩集群,达到节省成本的目的。
* EMR本身包含了众多Hadoop生态下的最新版本的程序(Hive、Spark、Presto等),同时与众多的亚马逊云科技原生服务集成,不仅能快速的提供丰富、高效的数据分析处理能力,也保障了集群的联网、存储、安全和运维质量。
* EMR可实现计算与存储分离,充分发挥出S3存储的可靠性、安全性和成本优势。
* EMR能够监控集群中的节点,并自动终止和替换出现故障的实例。
* EMR及其相关的亚马逊云科技服务在全球各亚马逊云科技区域有一致的技术栈。

工具与服务

方案采用的亚马逊云科技组件和服务,包含 EC2、EMR、S3、ELB、Athena、RDS(MySql)、batch、API Gateway、CloudWatch、CloudTrail、SNS、KMS、IAM

方案采用的第三方工具,包含 Flume、Airflow、Kubernetes、Terraform、华讯MSP服务工具(基于splunk开发)

客户收益

接入HLI的用户数据;符合中国网络信息安全法律法规对于用户数据的安全要求。

实现与HLI系统的对接;数据分析组件及功能与原环境保持兼容。

数据存储处理能够满足商业时效要求;简化运维复杂度并提升运维效率和质量;同等处理效率的情况下,采用亚马逊云科技数据湖方案相比原数据湖,节省成本超过20%。

符合HLI的企业安全合规要求;既符合亚马逊云科技安全实践,同时融合HLI过往的技术经验。

立即获得帮助

让我们针对您的需求,为您打造专属解决方案

  • 公众号

  • 服务号

  • 视频号

我们随时准备为您提供帮助

  • 咨询热线

    400-820-5-820