![实战大数据(Hadoop+Spark+Flink):从平台构建到交互式数据分析(离线/实时)](https://wfqqreader-1252317822.image.myqcloud.com/cover/37/40681037/b_40681037.jpg)
2.1 搭建IDEA开发环境
每一个IT开发人员都需要一个合适的开发工具,IDEA开发工具是大数据开发人员的首选。由于大家习惯在Windows上开发代码,所以这里也选择在Windows操作系统上安装IDEA,接下来一起安装部署IDEA并构建Maven项目。
2.1.1 JDK的安装与配置
由于Java代码的开发需要Java相关开发工具及Java运行环境,所以首先需要安装JDK并配置JDK环境变量。
1.JDK的安装
如果JDK已经安装成功,这里可以直接跳过JDK的安装过程。
注意:搭建运行环境时使用的是64位Windows系统,所以需要对应下载安装64位的JDK。如果使用的是32位Windows系统,那么就需要下载安装32位的JDK。
JDK的下载(本书配套资料/第2章/2.1/安装包)、安装这里就不再赘述,下面介绍如何配置JDK环境变量。
2.配置JDK环境变量
1)在环境变量中配置JAVA_HOME(即JDK安装目录)和Path路径(即JDK安装目录下的bin目录),具体步骤如下。
在“计算机”图标上单击鼠标右键(以下简称右击),选择“属性”选项,在弹出的对话框中单击“高级”选项卡→“环境变量”按钮,如图2-1所示。
在“环境变量”对话框中选择JAVA_HOME用户变量(如果没有此用户变量,就单击“新建”按钮,在弹出的“新建用户变量”对话框中的“变量名”框中,输入JAVA_HOME创建该用户变量),然后单击“编辑”按钮,在弹出的“编辑用户变量”对话框中,修改“变量值”和自己JDK的安装路径保持一致,如图2-2所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/20_01.jpg?sign=1738882290-zyyx1MIPreUp5MByxiwiAdJNDzAaTIoX-0-ccae3ccf23659be8111d2ab22c89a958)
图2-1 系统属性
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/20_02.jpg?sign=1738882290-jdRHxeuQkPty8hV8zQNC99MLoqAy36B2-0-dfe527f823c55c4755ccf78069e1f311)
图2-2 用户变量
修改Path系统变量,在变量值中添加JDK安装目录的bin路径,如图2-3所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/20_03.jpg?sign=1738882290-Ol0FjMchHqyxEFlF7YufSJ38EoTK97aa-0-486b6a5d6c42b0dd847b1e2f8f2bf94d)
图2-3 系统变量
2)验证JDK是否安装成功。
执行完上述操作后,使用java-version命令查看Java版本,如果出现如图2-4所示的结果说明JDK配置成功。如果无法查看到Java版本,则要再次检查一下Java环境变量的配置,一定要保证Java环境变量配置正确。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/21_01.jpg?sign=1738882290-GR0UyJi2fWNVc1ReCIIv0b3AkLKEogmR-0-ffa7ff25351f89a7393b77c96fcff110)
图2-4 查看Java版本
2.1.2 Maven的安装与配置
Maven是专门用于构建和管理Java相关项目的工具。
使用Maven管理项目主要有两点好处:第一点好处,使用Maven管理的Java项目都有着相同的项目结构;第二点好处,使用Maven便于统一维护jar包,Maven风格的项目把所有的jar包都放在了本地“仓库”,当项目需要用到哪个jar包,只需要配置jar包的名称和版本号,这样就实现了jar包的共享,避免每个项目都维护自己的jar包带来的麻烦。为了便于项目管理,在Windows系统中需要先安装Maven工具。
1.Maven下载
首先需要到Maven官网(地址为https://archive.apache.org/dist/maven/maven-3/)下载对应版本的安装文件apache-maven-3.3.3-bin.zip,如图2-5所示。也可通过本书配套资源包直接下载获取(本书配套资料/第2章/2.1/安装包)
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/21_02.jpg?sign=1738882290-jonQbxqbf9Ev7nd3tzj9JRiCBWMQqlmq-0-80b21114a34379fc2375a503c5f3094e)
图2-5 Maven安装包
2.Maven安装
Maven的安装非常简单,将下载好的Maven安装包直接解压即可,解压后的Maven目录结构如图2-6所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/21_03.jpg?sign=1738882290-Ot7KbIV3vXW7enERPhPabxpkuQi66qG7-0-e90c05b3eebc59c1e4b0568b0da27114)
图2-6 Maven目录结构
3.配置Maven环境变量
1)在环境变量中配置MAVEN_HOME(即Maven安装目录)和Path路径(即Maven安装目录下的bin路径),具体步骤如下。
在“计算机”图标上右击,选择“属性”,在弹出的对话框中单击“高级”选项卡→“环境变量”按钮;在“环境变量”对话框中选择MAVEN_HOME用户变量(如果没有此用户变量,就单击“新建”按钮,在弹出的“新建用户变量”对话框的“变量名”框中,输入MAVEN_HOME创建该用户变量),然后单击“编辑”按钮,在弹出的“编辑用户变量”对话框中,修改“变量值”和自己Maven的安装路径保持一致,如图2-7所示。
修改Path系统变量,在变量值中添加Maven安装目录的bin路径,如图2-8所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/22_01.jpg?sign=1738882290-9d9hKz5ab9yawq7a4HDSUXwnfAulaWAb-0-78c17704d7bca80987b052870379c72b)
图2-7 添加Maven用户变量
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/22_02.jpg?sign=1738882290-H42OZEOAzg8qBGohNbzdDqhm8EJkCrJH-0-4311302211f720ddbaf83b1039ea495d)
图2-8 添加系统变量
2)验证Maven是否安装成功
执行完上述操作后,使用mvn-v命令查看Maven版本,如果出现如图2-9所示的结果,说明Maven配置成功。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/22_03.jpg?sign=1738882290-yzaMMvajEzMmTMMgPrP8fPUbYlF0TIJr-0-b53af10cf0793635577848d17694a51b)
图2-9 查看Maven版本
2.1.3 IDEA的安装与配置
IDEA全称IntelliJ IDEA,是进行Java编程语言开发的集成环境,在业界被公认为最好的Java开发工具。IDEA官网提供了Windows、macOS、Linux不同系统的安装方式。普通的JVM和Android开发可以选择Community版本,Web和企业级开发可以选择Ultimate版本。由于大家习惯选择在Windows上开发代码且需要对数据进行可视化,所以下面选择在Windows操作系统上安装Ultimate版本的IDEA。
1.IDEA下载
首先需要到IDEA官网(地址为http://www.jetbrains.com/)下载对应版本的安装文件,如图2-10所示。也可通过本书配套资源包下载(第2章/2.1/安装包)。
2.IDEA安装
IDEA安装文件下载到本地之后,双击运行IDEA可执行文件即可进入IDEA安装界面,如图2-11所示,然后可以单击Next按钮进入下一步。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_01.jpg?sign=1738882290-HoQC6xHHypmj9TH03UujlYWK88b5wnW7-0-b3f468f934858ebbef65e0cacb5e04d7)
图2-10 IDEA安装文件
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_02.jpg?sign=1738882290-TeRig8EeFEiJU2Rk5gEwqvgpGjF069IC-0-e3f743c93464e1b37338f9dbc45944e8)
图2-11 IDEA安装界面
选择IDEA安装路径,如图2-12所示,该路径可以选择自己期望的安装位置,接着单击Next按钮进入下一步。
选择IDEA安装选项,如图2-13所示,IDEA安装的相关选项是可选选项,单击Next按钮进入下一步。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_03.jpg?sign=1738882290-Yw5huK0rZvKhiTUhqOrXvMqaXsBYAmtG-0-27d0da7ebaca829a40709ebb267888ca)
图2-12 IDEA安装路径
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_04.jpg?sign=1738882290-avvJRlBdsGFB3zjgpFUCbLpAwXPMJDpz-0-37dedacc752e42e534a78db67e27ee74)
图2-13 IDEA安装选项
选择开始菜单文件夹,如图2-14所示,IDEA快捷键默认在JetBrains文件目录下,然后单击Install按钮开始安装IDEA。
IDEA进入安装状态,如图2-15所示,IDEA安装过程大概需要几分钟的时间。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_01.jpg?sign=1738882290-CYGfPcTdygx8avKZA514FTbvpBdHgcl2-0-e13cc5c9a0c81a3e195514e930d712e6)
图2-14 选择IDEA开始菜单文件夹
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_02.jpg?sign=1738882290-5KSX8uCVYO9ljGGErqZjQD6r4mV4S99m-0-dd2e28a9a68809a5384f3e7192af442a)
图2-15 IDEA安装状态
IDEA最终安装成功界面如图2-16所示,单击Finish按钮即可完成整个IDEA工具的安装。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_03.jpg?sign=1738882290-GOyv9wCU09KHxBbjQw5iZmu64TWfplqB-0-e36ae0d8b15b83635552726619c0748e)
图2-16 IDEA安装成功界面
3.为IDEA配置SDK
前面已经独立安装好JDK,接下来配置IDEA三种不同范围的SDK。首先打开IDEA欢迎界面,如图2-17所示。
单击IDEA欢迎界面右下角的Configure,在下拉菜单中选择Structure for New Projects选项,弹出项目结构界面,如图2-18所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_04.jpg?sign=1738882290-X7hMm1StoK4SgytW2cQNuWOIPBi3Mq1A-0-d70f7a0dfa2444aa129867599be849d5)
图2-17 IDEA欢迎界面
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_05.jpg?sign=1738882290-I637A7heWwu89EWpQyUBRi6ns9oeLlCu-0-624c1c002c3c1262f9798c53cbee97ce)
图2-18 项目结构
(1)配置全局SDK
选择项目结构左侧的SDKs选项,按照图2-19标识的先后顺序配置全局SDK。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/25_01.jpg?sign=1738882290-3HsIFgnnr9GHOpgFcPKQXldpiYMLBNF9-0-c3e504adad1fa3a264ee82d812c881a8)
图2-19 全局SDK配置
(2)配置项目SDK
选择项目结构左侧的Project选项,按照图2-20标识的先后顺序配置项目SDK。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/25_02.jpg?sign=1738882290-LfMeL49UbA48drdta8xRUNt6agQy1HUO-0-ea4bd8ca5f2947ba1b4630d90114409b)
图2-20 项目SDK配置
(3)配置项目模块SDK
项目具体模块在当前界面中是看不到的,需要通过IDEA创建新项目之后,选择File→Project Structure→Modules才能配置,具体配置步骤如图2-21所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/25_03.jpg?sign=1738882290-it4ZN9xb1wf193BOp929bA7yLJlXW8pJ-0-334a1fc391e95ac516a1592b774e2741)
图2-21 配置项目模块SDK
4.配置Maven
接下来为IDEA配置独立安装的Maven,单击IDEA欢迎界面右下角的Configure,在下拉菜单中选择Settings选项,弹出配置界面,如图2-22所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_01.jpg?sign=1738882290-mBalJDKmP1FCVXUtJkTNO4dZJv412TM1-0-1f6e0cdf053ed8d7db9b46fd32c51b12)
图2-22 Settings配置界面
选择Settings配置界面左侧的Maven选项,按照图2-23标识的先后顺序配置Maven安装路径。
2.1.4 使用IDEA构建Maven项目
前面的工作一切就绪,接下来使用IDEA开发工具构建Maven项目。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_02.jpg?sign=1738882290-kgKKMiXdKNZNHZbPhRKWU1GBhXoUJMpC-0-aa483d9eda51cf003826a474ee2b8f91)
图2-23 配置Maven安装路径
1)打开IDEA欢迎界面,选择Create New Project选项创建新项目,如图2-24所示。
2)在弹出的界面中左侧选择Maven,右侧选择Project SDK,下面勾选Create from archetype,并选择maven-archetype-quickstart骨架创建Maven项目,具体操作如图2-25所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_03.jpg?sign=1738882290-ckoBkjvKWoQRRNcEnla3sxmzgxLQlUJl-0-d28b64f2d2da28392090e10c4421962c)
图2-24 创建新项目
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_04.jpg?sign=1738882290-kByY8rwbuQl0p8hlIdPJPUuv4T7hLDyO-0-f10af1aa06ef7d88175264e3a4764093)
图2-25 选择Maven骨架
3)单击Next按钮进入下一步,在弹出的界面中填写项目的GroupId和ArtifactId,具体操作如图2-26所示。GroupId是项目组织唯一的标识符,实际对应Java包的结构。ArtifactId是项目唯一的标识符,实际对应项目的名称。
4)单击Next按钮进入下一步,配置Maven安装目录,选择独立安装好的Maven路径即可,具体操作如图2-27所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_01.jpg?sign=1738882290-fAlU61g1RKNYzYcIeXYMuLxbyoLXo5tI-0-898e252ac8ab348b1ac57bac311d9502)
图2-26 配置GroupId和ArtifactId
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_02.jpg?sign=1738882290-3ORcUN5kwKTqPfgzUA6KdZxEDzp0l5cn-0-8f2ec8bf06ce11b76826daa2c9396f6a)
图2-27 配置Maven路径
5)单击Next按钮进入下一步,修改项目名称和路径,具体操作如图2-28所示。
6)单击Finish按钮即可完成项目的创建。打开项目之后,可以看到项目界面如图2-29所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_03.jpg?sign=1738882290-wvuSV8ioTpho8WkprwhbBgFs7SZh7tZQ-0-bf7dfb090ff92df28c502eec06a31a6e)
图2-28 修改项目名称和路径
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_04.jpg?sign=1738882290-ApoqdmnbEPJubg0wU6H4ygAoNGmAt0cO-0-e24aebd2fa2af0a7358affb26d367b8a)
图2-29 Maven项目界面
7)在创建好的learninghadoop项目中,选中自带的Java类App,右击程序,在弹出的快捷菜单中选择run运行App程序,输出“Hello World!”如图2-30所示,说明Maven项目创建成功。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_05.jpg?sign=1738882290-58oiSPSR7riPrrxDpIqoJFC3JUi1ewjF-0-3b34452bf45a7749d1123695bafbf0da)
图2-30 App程序运行结果