您现在正在浏览:首页 > 论文 > 计算机 > 毕业设计-海量交通信息的分布式处理研究—分布式调度算法设计与实现

免费下载毕业设计-海量交通信息的分布式处理研究—分布式调度算法设计与实现

  • 资源类别:论文
  • 资源分类:计算机
  • 适用专业:计算机科学与技术
  • 适用年级:大学
  • 上传用户:cckitty
  • 文件格式:word+java+pdf+ppt
  • 文件大小:44.22MB
  • 上传时间:2013-10-21 0:57:05
  • 下载次数:0
  • 浏览次数:40

安全检测:瑞星:安全 诺顿:安全 卡巴:安全

资料简介

毕业设计-海量交通信息的分布式处理研究—分布式调度算法设计与实现,共47页,20108字,附算法实现代码、测试数据、答辩PPT、任务书、开题报告、相关资料等
主要内容
在Linux平台上运行分布式调度软件
要求完成但并不限于如下功能:
1、与现有算法的对比分析(优缺点),包括对比算法的描述(要求现有先进算法)、试验环境(模拟实验室集群计算机)、所使用的试验数据来源(标准数据库)、分析结果;
2、算法的详细描述,及算法分析;
3、新算法的设计及算法的程序实现;
4、算法的优缺点分析及未来拓展空间;
5、能够独立搭建一个分布式机群系统并能有一定的使用和维护能力(3――5个节点的分布式系统)

摘 要
本论文主要研究的是分布式作业调度的算法,所研究的算法主要适用于大规模分布离散的交通类信息的处理。在Hadoop开源框架下,我们现有算法存在的某些不足,提出了一种基于计算能能力的改进算法。该算法的主要设计思想是:通过继承经典的计算能力算法多队列作业调度模型所具有的稳定性、扩展性、并行性好的优势,在此基础上,我加入了自己提出的作业调度的策略,包括先进先出+短作业策略,紧急抢断策略,作业队列匹配策略和延时调度策略等。我们通过编程和实验成功实现了多种算法在同一环境下的不同性能测试数据,并通过图表的形式展现在论文中,而且实验数据表明,我们所研究的改进算法不仅对于大规模离散分布的交通数据,也可以广泛适用于其他非交通类的计算型数据。

本文主要研究工作和贡献如下:
通过广泛的文献阅读与实际调研,本文首先对 Hadoop 平台的产生的相关背景、平台架构和核心组成部分进行了研究;然后对 Hadoop 平台下的作业调度技术进行了深入的探讨,在详细分析三种现有的作业调度算法-FIFO 算法、公平调度算法(FairScheduler)和计算能力调度算法(Capacity scheduler)的产生背景、算法思想、设计思路和具体实现以及不足之处的基础上,提出了我们的基于计算能力的改进算法,并对该算法如何弥补现有算法的不足、要达到的目标、算法流程、主要组成、设计和实现等进行了详细的介绍;最后对我们的算法进行编程实现和实际验证,实验结果表明我们的算法成功地实现了预期的目标,解决了现有算法的某些不足,并且在性能测试中表现出色。
关键词:Hadoop优化;作业调度算法;分布式计算模型;云计算

目 录
摘 要 2
Abstract 3
目 录 4
第一章 绪 论 6
1.1 引言 6
1.2 课题背景及研究意义 7
1.2.1 课题背景 7
1.2.2 研究意义 7
1.3 发展现状 7
1.4 论文的组织结构 8
第二章 Hadoop平台的研究 9
2.1 云计算介绍 9
2.1.1 云计算的基本概念 9
2.1.2 云计算的特点 9
2.2 Hadoop处理机制和特点 10
2.2.1 什么是Hadoop ? 10
2.2.2 Hadoop特点 10
2.3 Hadoop平台结构与特点 10
2.3.1 结构组成: 10
2.3.2 MapReduce编程模型 11
2.3.3 HDFS文件系统 12
2.3.4 HDFS文件系统特点 13
2.3.5 其他组成部分 14
2.4 本章小结 14
第三章 算法理论设计 16
3.1 Hadoop调度算法概述 16
3.2 Hadoop调度算法的种类 17
3.2.1 FiFO算法 17
3.2.2 公平调度算法 18
3.2.3 公平调度算法环境配置 19
3.2.3 计算机能力调度算法 21
3.2.4 其他调度算法 24
3.3 计算能力调度器与公平调度器对比 24
3.3.1 相同点 24
3.3.2 不同点 24
3.4 本章小结 25
第四章 基于计算能力的改进算法 26
4.1 算法提出背景 26
4.2 基于改进型计算能力算法的设计思想 26
4.2.1 先进先出+短作业优先原则 26
4.2.2 紧急抢断原则 27
4.2.3 队列类型与作业类型匹配原则 28
4.2.4 延时调度原则 29
4.3 基于计算能力的改进算法的具体设计与实现 29
4.3.1 涉及到的变量 29
4.3.2 程序设计类结构 31
4.3.3 环境搭建与配置 32
4.4 Hadoop的优化 33
4.4.1 从应用程序角度进行优化 33
4.4.2 Hadoop 系统参数优化研究 33
4.4.3 Linux 文件系统参数调整 33
4.4.4 Hadoop 通用参数调整 34
4.4.5 Hadoop 作业调优参数 34
4.5 本章小结 35
第五章 实验以及结论分析 36
5.1 实验环境 36
5.2 评估方法 36
5.3 实测数据与比较 37
5.3.1 不同数据规模在不同调度算法下的IO密集型作业执行时间 37
5.3.2 不同数据规模不同调度算法在计算密集型作业下的执行情况 40
5.3.3 优先级对作业运行时间的影响 41
5.4 总结 43
第六章 课题展望与设想 44
致 谢 45
参考文献 46

论文的组织结构
论文的研究工作主要包含以下几个方面:
1、 概述Hadoop发展背景、课题研究意义以及现阶段发展状况。
2、 介绍Hadoop平台、原理以及其各自特点。
3、 介绍了 Hadoop 平台的作业调度模型、分析当前存在的三种的作业调度算
法产生背景、算法思想、设计思路和具体实现以及复合型改进算法。
4、 搭建Hadoop分布式数据处理平台,编程实现并进行数据测试和比较。
5、 总结并得出结论,并对改进算法优劣势进行评估。

资料文件预览
共13文件夹,100个文件,文件总大小:51.42MB,压缩后大小:44.22MB
  • 毕业设计-海量交通信息的分布式处理研究—分布式调度算法设计与实现
    • 海量交通信息的分布式处理研究—分布式调度算法设计与实现
      • hadoop安装
        • 需要安装的软件
        • Office 2007以上版本的Microsoft Word文档12.04下hadoop-1.0.1配置.docx  [17.74KB]
        • Adobe Acrobat可导出文档格式文件2012年专业实习总结(附Hadoop安装步骤).pdf  [961.96KB]
        • Office 2007以上版本的Microsoft Word文档Linux安装配置Hadoop_1.1.1【图】.docx  [333.70KB]
      • hadoop算法数据测试
        • linux下的hadoop平台Sort测试图片
          • PNG图像文件2013-04-08 20_06_16的屏幕截图.png  [396.94KB]
          • PNG图像文件2013-04-08 20_07_47的屏幕截图.png  [394.70KB]
          • PNG图像文件2013-04-08 20_08_05的屏幕截图.png  [408.48KB]
          • PNG图像文件2013-04-08 20_11_34的屏幕截图.png  [389.80KB]
          • PNG图像文件2013-04-08 20_15_54的屏幕截图.png  [394.80KB]
          • PNG图像文件2013-04-08 20_59_30的屏幕截图.png  [405.82KB]
          • PNG图像文件2013-04-08 20_59_39的屏幕截图.png  [407.50KB]
          • PNG图像文件2013-04-08 21_08_43的屏幕截图.png  [382.28KB]
          • PNG图像文件2013-04-08 21_10_55的屏幕截图.png  [382.05KB]
          • PNG图像文件2013-04-08 21_50_10的屏幕截图.png  [729.08KB]
        • master
          • 文本文档master上资源变化情况.txt  [1.09KB]
          • txt~master上资源变化情况.txt~  [0.00B]
          • Office 2007以上版本的Microsoft Word文档sort测试截图.docx  [2.45MB]
          • Microsoft Word文档user.hadoop.input.doc  [25.50KB]
          • 文本文档wordcount and Sort测试.txt  [21.43KB]
          • txt~wordcount and Sort测试.txt~  [27.36KB]
        • slavers
          • 文本文档slavers上资源使用情况.txt  [4.32KB]
          • txt~slavers上资源使用情况.txt~  [0.00B]
        • Microsoft Excel工作表改进算法hadoop实测数据.xls  [23.65KB]
      • 算法实现代码
        • class文件
          • Java类文件ECapacitySchedulerConf.class  [8.22KB]
          • Java类文件ECapacitySchedulerQueue$1.class  [1.52KB]
          • Java类文件ECapacitySchedulerQueue$SlotsUsage.class  [4.79KB]
          • Java类文件ECapacitySchedulerQueue$UserInfo.class  [3.12KB]
          • Java类文件ECapacitySchedulerQueue.class  [23.58KB]
          • Java类文件ECapacitySchedulerServlet.class  [5.37KB]
          • Java类文件ECapacityTaskScheduler$1.class  [264.00B]
          • Java类文件ECapacityTaskScheduler$Clock.class  [569.00B]
          • Java类文件ECapacityTaskScheduler$MapSchedulingMgr.class  [4.47KB]
          • Java类文件ECapacityTaskScheduler$ReduceSchedulingMgr.class  [4.14KB]
          • Java类文件ECapacityTaskScheduler$SchedulingDisplayInfo.class  [905.00B]
          • Java类文件ECapacityTaskScheduler$TaskLookupResult$LookUpStatus.class  [1.61KB]
          • Java类文件ECapacityTaskScheduler$TaskLookupResult.class  [2.24KB]
          • Java类文件ECapacityTaskScheduler$TaskSchedulingMgr$MapQueueComparator.class  [1.15KB]
          • Java类文件ECapacityTaskScheduler$TaskSchedulingMgr$QueueComparator.class  [1.89KB]
          • Java类文件ECapacityTaskScheduler$TaskSchedulingMgr$ReduceQueueComparator.class  [1.17KB]
          • Java类文件ECapacityTaskScheduler$TaskSchedulingMgr.class  [11.45KB]
          • Java类文件ECapacityTaskScheduler.class  [20.83KB]
          • Java类文件EJobInitializationPoller$JobInitializationThread.class  [5.97KB]
          • Java类文件EJobInitializationPoller.class  [11.15KB]
          • Java类文件EJobQueuesManager.class  [6.52KB]
          • Java类文件EMemoryMatcher.class  [4.91KB]
        • java文件
          • Java源文件ECapacitySchedulerConf.java  [9.25KB]
          • Java源文件ECapacityTaskScheduler.java  [35.81KB]
          • Java源文件EJobInitializationPoller.java  [16.87KB]
          • Java源文件EJobQueuesManager.java  [6.86KB]
          • Java源文件EMemoryMatcher.java  [6.13KB]
        • Java档案文件ECapacityScheduler.jar  [77.27KB]
      • 论文写作涉及到的相关参考文献
        • Adobe Acrobat可导出文档格式文件2012年专业实习总结.pdf  [961.96KB]
        • Adobe Acrobat可导出文档格式文件Adapting scientific computing problems to clouds using MapReduce.pdf  [672.70KB]
        • Adobe Acrobat可导出文档格式文件An Improved AprioriAlgorithmBasedOntheBooleanMatrixandHadoop.pdf  [288.44KB]
        • Adobe Acrobat可导出文档格式文件An improvemnt ofchoosingmapjoincandidatesin Hive.pdf  [298.80KB]
        • Adobe Acrobat可导出文档格式文件DesignofHadoopbasedFrameworkforAnalyticofLargeSyncophasorDatesets.pdf  [412.19KB]
        • Adobe Acrobat可导出文档格式文件G-Hadoop MapReduce.pdf  [1.70MB]
        • Adobe Acrobat可导出文档格式文件GB T 3469-1983 文献类型与文献载体代码.pdf  [146.34KB]
        • Adobe Acrobat可导出文档格式文件GB-07714-2005.pdf  [666.70KB]
        • Adobe Acrobat可导出文档格式文件Hadoop下基于统计最优的资源调度算法.pdf  [455.04KB]
        • Adobe Acrobat可导出文档格式文件Hadoop中任务调度算法的改进.pdf  [868.99KB]
        • Adobe Acrobat可导出文档格式文件hadoop公平份额调度算法源码分析与研究.pdf  [172.97KB]
        • Adobe Acrobat可导出文档格式文件Hadoop平台下改进的LATE调度算法.pdf  [240.21KB]
        • cajHadoop平台下的作业调度算法研究与改进.caj  [2.43MB]
        • Adobe Acrobat可导出文档格式文件hadoop搭建与测试.pdf  [388.90KB]
        • Adobe Acrobat可导出文档格式文件Hadoop源代码分析.pdf  [5.99MB]
        • Adobe Acrobat可导出文档格式文件Hadoop集群作业的调度算法.pdf  [609.46KB]
        • Adobe Acrobat可导出文档格式文件Hadoop集群公平调度算法的改进与实现.pdf  [1.43MB]
        • Adobe Acrobat可导出文档格式文件Hadoop集群参数的自动调优(对hadoop的改进).pdf  [1.65MB]
        • Adobe Acrobat可导出文档格式文件Hadoop集群和单机数据处理的耗时对比实验.pdf  [428.95KB]
        • Adobe Acrobat可导出文档格式文件Hadoop集群性能优化技术研究.pdf  [213.66KB]
        • Adobe Acrobat可导出文档格式文件MapReduce in MPI for Large-scale graph algorithms.pdf  [2.44MB]
        • Adobe Acrobat可导出文档格式文件MapReduce simulator in enabling Cloud Computing.pdf  [708.19KB]
        • Adobe Acrobat可导出文档格式文件MapReduce with communication overlap.pdf  [1.68MB]
        • cajMapReduce模型在Hadoop平台下实现作业调度算法的研究和改进.caj  [1.49MB]
        • Adobe Acrobat可导出文档格式文件On the performane ofhighdimensionaldataclusteringandclassificationalgorithms.pdf  [481.38KB]
        • Adobe Acrobat可导出文档格式文件UsingPerformanceMeasurementstoImproveMapReduceAlgorithms.pdf  [1.50MB]
        • Adobe Acrobat可导出文档格式文件《中国图书馆图书分类法》(第四版)类目简表.pdf  [234.04KB]
        • Adobe Acrobat可导出文档格式文件一种异构环境下的Hadoop调度算法.pdf  [1007.60KB]
        • Adobe Acrobat可导出文档格式文件分布式环境下多任务调度的分析与求解.pdf  [334.21KB]
        • Adobe Acrobat可导出文档格式文件分布式环境下的任务调度探讨.pdf  [253.62KB]
        • Adobe Acrobat可导出文档格式文件分布式系统hadoop任务调度问题分析.pdf  [163.33KB]
        • Adobe Acrobat可导出文档格式文件分布式节点任务调度以及负载均衡的研究.pdf  [2.22MB]
        • Adobe Acrobat可导出文档格式文件基于Hadoop集群的加权循环算法的研究.pdf  [346.32KB]
        • Adobe Acrobat可导出文档格式文件基于学习方式对Hadoop作业调度的改进研究.pdf  [456.92KB]
        • Adobe Acrobat可导出文档格式文件多资源公平调度器在Hadoop中的实现.pdf  [2.05MB]
        • Adobe Acrobat可导出文档格式文件美国开发海量数据处理系统.pdf  [237.69KB]
        • Adobe Acrobat可导出文档格式文件适于海量数据的三维地层建模方法.pdf  [597.36KB]
        • Adobe Acrobat可导出文档格式文件面向大规模数据的快速并行聚类划分算法研究.pdf  [489.51KB]
        • Adobe Acrobat可导出文档格式文件面向物联网的海量数据处理研究.pdf  [347.53KB]
        • Adobe Acrobat可导出文档格式文件面向高性能计算机的海量数据处理平台实现与评测.pdf  [1.31MB]
      • 论文手册
        • Adobe Acrobat可导出文档格式文件中期检查表.pdf  [3.33KB]
        • Adobe Acrobat可导出文档格式文件开题报告.pdf  [4.80KB]
        • Adobe Acrobat可导出文档格式文件答辩记录单.pdf  [2.45KB]
        • Adobe Acrobat可导出文档格式文件进度报告.pdf  [5.69KB]
        • Adobe Acrobat可导出文档格式文件1213237401_任务书.pdf  [2.90KB]
        • Adobe Acrobat可导出文档格式文件promise.pdf  [53.53KB]
        • Adobe Acrobat可导出文档格式文件答辩审查.pdf  [1.59KB]
        • Microsoft Word文档论文铜版纸封皮.doc  [429.00KB]
      • Microsoft Word文档2013毕业论文.doc  [2.31MB]
      • Microsoft Powerpoint演示文稿-毕设答辩.ppt  [2.25MB]
下载地址
资料评论
注意事项
下载FAQ:
Q: 为什么我下载的文件打不开?
A: 本站所有资源如无特殊说明,解压密码都是www.xuehai.net,如果无法解压,请下载最新的WinRAR软件。
Q: 我的学海币不多了,如何获取学海币?
A: 上传优质资源可以获取学海币,详细见学海币规则
Q: 为什么我下载不了,但学海币却被扣了?
A: 由于下载人数众多,下载服务器做了并发的限制。请稍后再试,48小时内多次下载不会重复扣学海币。
下载本文件意味着您已经同意遵守以下协议
1. 文件的所有权益归上传用户所有。
2. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
3. 学海网仅提供交流平台,并不能对任何下载内容负责。
4. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
5. 本站不保证提供的下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
返回顶部