设计应用

基于Flink框架的TopN堆排序优化算法

作者:关沫,魏碧晴
发布日期:2020-12-15
来源:2020年信息技术与网络安全第2期

0     引言

随着计算机技术和信息科技的快速发展,全球的数据量急剧增长,2015年全球的数据总量达到8.61 ZB,预估2020年全球的数据总量会超过40 ZB。通过移动互联网、社交媒体等服务模式,大数据产业已渗透到人们生活的各个方面,并且数据价值的时效性越来越重要,集群必须以毫秒级的延迟从大规模的数据中提炼有价值的信息。

TopN问题就是从许多的数值选出前N个最大或者最小的数值有序排好,最常见的应用于微博热搜榜、歌曲人气榜、投票选举等。由此可见利用大数据技术和计算机技术能轻松解决传统排序问题。如微博热搜榜,需要实时更新点击量并按其从大到小的顺序排列。而使用流计算框架Flink来解决TopN问题可以满足其实时性和低延迟的要求。




本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003154





作者信息:

关沫,魏碧晴

(沈阳工业大学 信息科学与工程学院,辽宁 沈阳 110870)


此内容为AET网站原创,未经授权禁止转载。
大数据 TopN Flink 吞吐量