年终大促 | 倾力呈现 eBay 2019 BigData TechDay 精彩内容

还记得小编前几天向大家预告的

2019 ebay BigData TechDay吗？

11月23日下午，

近300位大数据领域技术咖齐聚ebay，

在这场智慧与启迪的科技盛宴上，

热忱与职责汇集，

大数据与时代齐飞！

到底有什么精彩“干货”？

快跟上小编的脚步去看看吧~

11月23日下午，2019 ebay BigData TechDay以分享为主题，在上海德国中心落地。本次会议聚焦支付风险管理、增强分析、实时数据、Spark优化等热门话题，聚集行业大咖、技术大拿，围绕技术前沿、数据趋势和热点问题进行交流分享。

Shan, Sync

ebay支付和风险管理部门高级经理

随着支付体验的重要性不断提升，支付环节中增强风险管理也势在必行。Sync提出构建数据驱动型风险管理系统的简要概念，并指出作为需要高吞吐量的Risk变量流传输平台需要哪些信息，以ATO模型的具体示例，展示了ebay如何基于AI模型进行风险管理，控制损失。

▲ 点击可查看大图

Peng, Hongjian

Zo u , Hector

Xu , Zhaohui

ebay实时数据平台高级工程师

万物互联，数据一触即发，那如何让流处理技术方便地应用到数据处理中呢？据三位讲师介绍， Rheos-SQL是eBay基于Flink SQL的近实时数据处理产品，用户可以使用NC SQL来构建高性能、低成本的有状态的流计算和分析应用程序。

▲ 点击可查看大图

Fa n , Wenchen

Databricks 开源组技术主管

Apache Spark PMC member

天下武功唯快不破，大数据处理也一直在朝这个方向发展，Wenchen向大家介绍如何将Structed Streaming 和 Delta Lake 放在一起，利用 Structed Streaming 的 DataFrame API、很好地处理迟到的数据以及可以和很多实时流数据源进行 Join；利用 Delta Lake 的 ACID 事务、事务日志以及相关文件管理，来构建数据仓库。

▲ 点击可查看大图

Ruan , Yiming

Elastic资深架构师

作为ElasticSearch资深架构师，Yiming从Elasticsearch集群在ebay的实际应用需求出发，与大家探讨如何构建ElasticSearch的全生命周期集群实践，为原生的ES添加安全插件和索引管理功能，并详细介绍了基于ElasticSearch的时序型数据实现异常检测，为Elasticsearch集群管理，插上更高效的翅膀。

▲ 点击可查看大图

Zhang, Edward

数据解决方案和服务部门高级经理

ebay增强分析产品负责人

数据分析下一个10年会是怎样？面对业务的多变与不确定性，数据分析又将如何演进？Edward指出，在Gartner最新的数据分析趋势中，增强分析遥遥领先。在ebay，借助于增强分析，每个人都可以使用自然语言指标搜索来发现数据，定制并接收移动指标警报，构建Web-based分析报告以及创建Domain产品相关的仪表板。

▲ 点击可查看大图

Wang , Ken

ebay数据平台部门首席架构师

大规模批处理数据，Spark已经作为事实上的标准，然而对于交互式分析来说，优化还远远不够。Ken在演讲中介绍道，Carmel-基于SparkSQL的优化SQL-on-Hadoop引擎，弥补了ebay开源Hadoop平台交互式查询空白。它提供了与SparkSQL相同的SQL支持和可扩展的规模，但具有亚秒级的查询启动延迟和快速的分析体验，并进行了大量优化。