博客
关于我
flink快速入门及采坑记录
阅读量:128 次
发布时间:2019-02-26

本文共 1100 字,大约阅读时间需要 3 分钟。

apache flink作为第四代mapreduce计算框架,近年来受到了广泛的关注。本文将介绍如何快速入门,并记录一个内存错误的解决过程。

1. 安装JDK

确保你的操作系统已经安装了JDK(Java Development Kit)。以下是常见操作系统的安装命令示例:

sudo apt-get install -y java Development Kit

下载最新版本的Flink,并解压到合适的文件夹中:

wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.3.2/flink-1.3.2-bin-hadoop27-scala_2.11.tgztar -xzf flink-1.3.2-bin-hadoop27-scala_2.11.tgz

3. 运行报错,修改参数运行正常

在虚拟机中运行时,可能会遇到内存不足的问题。以下是常见解决方法:

bin/start-local.sh

启动后发现没有java进程,查看日志输出:

tail -f flink-1.3.2/log/flink-root-jobmanager-0-buejee.log

日志中可能会显示以下错误信息:

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000aaaa0000, 1431699456, 0) failed; error='Cannot allocate memory' (errno=12)

这表明JVM内存分配失败。查看jvm参数设置,发现默认的堆内存大小为2G,可能超过虚拟机的最大内存容量。建议修改Flink配置文件:

vim conf/flink-conf.yml

在文件中找到以下参数并调整:

jobmanager.heap.mb: 512taskmanager.heap.mb: 512

保存并应用配置修改后,重新启动Flink。

4. 故障排除

启动后,访问Flink管理界面:

http://IP地址:8081

如果系统没有安装netcat工具,可以通过以下命令安装:

sudo apt-get install netcat

5. 运行任务

运行完成后,可以通过以下命令查看任务状态:

flink tasklist

6. 查看任务结果

使用以下命令查看任务输出:

flink list -p task程序ID

通过以上步骤,您可以顺利完成Flink的安装配置,并解决常见的内存错误问题。

转载地址:http://uqhy.baihongyu.com/

你可能感兴趣的文章
python判断字符串包含中文_Python 判断字符串是否包含中文
查看>>
python删除第一行_Python 乱码指北:一行删掉根目录
查看>>
Python删除列表元素的三种方法
查看>>
python初步学习-python数据类型-集合(set)
查看>>
python列表生成字典_Python中将字典转换为列表的方法
查看>>
python列表对应元素合并为列表及判断一个列表是几维
查看>>
python+flask计算机毕业设计骨科门诊患者档案管理系统(程序+开题+论文)
查看>>
python+flask计算机毕业设计高校体测管理系统的设计与实现(程序+开题+论文)
查看>>
python+flask计算机毕业设计高校体育赛事系统(程序+开题+论文)
查看>>
python+flask计算机毕业设计高校危化品管理系统(程序+开题+论文)
查看>>
python+flask计算机毕业设计高校校园线上跳蚤市场的系统设计(程序+开题+论文)
查看>>
python+flask计算机毕业设计高校疫情防控管理平台(程序+开题+论文)
查看>>
Python+Jenkins+Allure Report接口自动化测试持续集成
查看>>
python+locust电商全流程性能测试
查看>>
Python函数运行的可执行文件的终端输出如何以一般方式静音?
查看>>
Python+Pytest+Allure+Git+Jenkins接口自动化框架
查看>>
python+pytest接口自动化 —— 参数关联
查看>>
python+pytest接口自动化 —— 参数关联
查看>>
Python+pytest接口自动化 —— 接口测试基础
查看>>
python+pytest接口自动化 —— 自动化用例编写思路 (使用pytest编写一个测试脚本)
查看>>