设计应用

基于Flink框架的TopN堆排序优化算法

作者：关沫,魏碧晴
发布日期：2020-12-15
来源：2020年信息技术与网络安全第2期

0     引言

随着计算机技术和信息科技的快速发展，全球的数据量急剧增长，2015年全球的数据总量达到8.61 ZB，预估2020年全球的数据总量会超过40 ZB。通过移动互联网、社交媒体等服务模式，大数据产业已渗透到人们生活的各个方面，并且数据价值的时效性越来越重要，集群必须以毫秒级的延迟从大规模的数据中提炼有价值的信息。

TopN问题就是从许多的数值选出前N个最大或者最小的数值有序排好，最常见的应用于微博热搜榜、歌曲人气榜、投票选举等。由此可见利用大数据技术和计算机技术能轻松解决传统排序问题。如微博热搜榜，需要实时更新点击量并按其从大到小的顺序排列。而使用流计算框架Flink来解决TopN问题可以满足其实时性和低延迟的要求。




本文详细内容请下载：http://www.chinaaet.com/resource/share/2000003154





作者信息：

关沫,魏碧晴

(沈阳工业大学 信息科学与工程学院，辽宁 沈阳 110870)


此内容为AET网站原创，未经授权禁止转载。
大数据 TopN Flink 吞吐量

Copyright © 2005-2024 华北计算机系统工程研究所版权所有 京ICP备10017138号-2