• 大数据技术基础实验二：Linux基础——常用基本命令与文件操作

    大数据技术基础实验二：Linux基础——常用基本命令与文件操作

    文章目录

    一、前言

    上一期博客我们完成了虚拟机的连接以及SSH免密登录，熟悉了一下Linux，现在我们来专门学习一下Linux的一些常用基本命令与文件操作，方便我们后续进行其他的实验操作。

    这些命令你不用专门去花时间去死记硬背，那样记不牢，多进行Linux的操作慢慢的就记住了，切记实操很重要，学校大数据云平台提供了探索环境的练习方式，大家可以多去玩玩就可以了。

    另外，网上也有很多有关Linux大全的网站，忘记怎么操作的时候还可以上网查一下，加深印象。

    好啦，废话不多说，我们开始今天的学习！

    二、Linux常用基本命令

    1、查看所有环境变量

    我们输入命令：env就可以查看我们虚拟机里面所有的环境变量，可以看见安装了那些环境：

    [root@master ~]# env
SPARK_HOME=/usr/cstor/spark
HOSTNAME=master
HADOOP_CMD=/usr/cstor/hadoop/bin/hadoop
TERM=xterm
SHELL=/bin/bash
HADOOP_HOME=/usr/cstor/hadoop
HISTSIZE=1000
SSH_CLIENT=10.30.24.6 61251 22
SSH_TTY=/dev/pts/0
JRE_HOME=/usr/local/jdk1.7.0_79/jre
USER=root
JAVA_LIBRARY_PATH=/opt/cloudera/parcels/CDH-4.3.0-1.cdh4.3.0.p0.22/lib/hadoop/lib/native
LD_LIBRARY_PATH=/usr/lib64/R/library/rJava/jri
...
RServe_HOME=/usr/lib64/R/library/RServe
HIVE_HOME=/usr/cstor/hive
PWD=/root
JAVA_HOME=/usr/local/jdk1.7.0_79
LANG=en_US.UTF-8
TZ=Asia/Shanghai
RHIVE_DATA=/usr/lib64/R/rhive/data
ZOOKEEPER_HOME=/usr/cstor/zookeeper
HADOOP_OPTS=-Djava.library.path=/usr/cstor/hadoop/lib
HADOOP_STREAMING=/usr/cstor/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.1.jar
HISTCONTROL=ignoredups
SHLVL=1
HOME=/root
LOGNAME=root
CLASSPATH=.:/usr/lib64/R/library/rJava/jri
SSH_CONNECTION=10.30.24.6 61251 10.30.160.8 22
LESSOPEN=||/usr/bin/lesspipe.sh %s
R_HOME=/usr/lib64/R
SCALA_HOME=/usr/cstor/scala
_=/usr/bin/env

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35

    2、验证cd和pwd命令

    cd命令是打开某个路径的命令，也就是打开某个文件夹，并跳转到该文件夹下，它在Windows系统中作用一样：

    cd path

    • 1

    其中path有绝对路径和相对路径之分，绝对路径强调从/起，一直到所在路径，而相对路径则是相对于当前路径来说的。

    例如打开home下的uesername下的etc文件夹：

    cd /home/username/etc 绝对路径
cd etc 相对路径

    • 1
    • 2

    另外在Linux系统中 . 代表当前目录， … 代表上级目录，如果要返回上级目录就可以使用命令：cd …。

    pwd命令是查看当前目录，并返回工作目录名字，是绝对路径名：

    [root@master ~]# pwd
/root

    • 1
    • 2

    在这里插入图片描述

    3、验证ls命令

    ls意思为list，用于列举指定目录下的文件名称以及属性。

    语法格式：ls [参数] [文件]

    命令说明
    ls ×××列出文件
    ls 目录名 ×××列出目录名下的可见文件
    ls -l 目录名 ×××列出目录名下的课件文件详细信息
    ls -hl 目录名 ×××列出详细信息并以可读大小显示文件大小
    ls -al 目录名 ×××列出所有文件（包括隐藏文件）的详细信息

    值得注意的是，Linux中以 . 开头的文件或者文件夹都是隐藏文件或者隐藏文件夹。

    [root@master ~]# ls .		仅列出当前目录可见文件
anaconda-ks.cfg  dataset  notebooks
[root@master ~]# ls -l .
total 4
-rw------- 1 root root 3302 Jun  1  2018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  3  2018 dataset
drwxr-xr-x 3 root root   24 Sep  9 18:23 notebooks
[root@master ~]# ls -hl .		列出详细信息并以可读大小显示文件大小
total 4.0K
-rw------- 1 root root 3.3K Jun  1  2018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  3  2018 dataset
drwxr-xr-x 3 root root   24 Sep  9 18:23 notebooks
[root@master ~]# ls -al .		列出所有文件（包括隐藏文件）的详细信息
total 24
dr-xr-x---  6 root root  172 Sep  9 18:23 .
drwxr-xr-x 16 root root  251 Sep  9 18:23 ..
-rw-------  1 root root 3302 Jun  1  2018 anaconda-ks.cfg
-rw-r--r--  1 root root   18 Dec 29  2013 .bash_logout
-rw-r--r--  1 root root 1307 Sep  9 18:23 .bash_profile
-rw-r--r--  1 root root  176 Dec 29  2013 .bashrc
drwx------  3 root root   17 Jul  3  2018 .cache
-rw-r--r--  1 root root  100 Dec 29  2013 .cshrc
drwxr-xr-x  2 root root   41 Jul  3  2018 dataset
drwxr-xr-x  3 root root   24 Sep  9 18:23 notebooks
drwxr-----  3 root root   19 Jul  3  2018 .pki
-rw-r--r--  1 root root  129 Dec 29  2013 .tcshrc
[root@master ~]# 

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27

    在这里插入图片描述

    4、验证mkdir命令

    mkdir命令用于新建文件夹。

    语法格式：mkdir [参数] 目录

    常用参数：

    参数说明
    -p递归创建多级目录
    -m建立目录的同时设置目录的权限
    -z设置安全上下文
    -v显示目录的创建过程
    [root@master ~]# mkdir folder
[root@master ~]# ls -l
total 4
-rw------- 1 root root 3302 Jun  1  2018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  3  2018 dataset
drwxr-xr-x 2 root root    6 Sep  9 21:44 folder
drwxr-xr-x 3 root root   24 Sep  9 18:23 notebooks
[root@master ~]# ls -l folder/
total 0
[root@master ~]# mkdir -p folder/subfolder
[root@master ~]# ls -l folder/
total 0
drwxr-xr-x 2 root root 6 Sep  9 21:45 subfolder
[root@master ~]# 

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    在这里插入图片描述

    5、验证cp、mv和rm命令

    cp意思为copy，用于将一个或多个文件或目录复制到指定位置。

    语法格式：cp [参数] 源文件 目标文件

    常用参数：

    参数说明
    -f若目标文件已存在，则会直接覆盖原文件
    -i若目标文件已存在，则会询问是否覆盖
    -p保留源文件或目录的所有属性
    -r递归复制文件和目录

    mv意思为move，用于对文件进行剪切和重命名。

    语法格式：mv [参数] 源文件 目标文件

    常用参数：

    常用参数说明
    -i若存在同名文件，则向用户询问是否覆盖
    -f覆盖已有文件时，不进行任何提示
    -b当文件存在时，覆盖前为其创建一个备份
    -u当源文件比目标文件新，或者目标文件不存在时，才执行移动此操作

    rm意思为remove，用于删除文件或目录，一次可以删除多个文件，或递归删除目录及其内的所有子文件。rm命令要谨慎的使用。

    语法格式：rm [参数] 文件

    常用参数：

    参数说明
    -f强制删除（不二次询问）
    -i删除前会询问用户是否操作
    -r/R递归删除
    -v显示指令的详细执行过程
    [root@master ~]# cd /home/
[root@master home]# ls -l
total 0
[root@master home]# cp /root/dataset/area.csv /home/
[root@master home]# ls -l
total 272
-rw-r--r-- 1 root root 277422 Sep  9 22:00 area.csv
[root@master home]# cp /root/dataset/* /home/
cp: overwrite ‘/home/area.csv’? y
[root@master home]# cp -r /root/folder/ /home/
[root@master home]# ls -l
total 2164
-rw-r--r-- 1 root root  277422 Sep  9 22:00 area.csv
drwxr-xr-x 3 root root      23 Sep  9 22:01 folder
-rw-r--r-- 1 root root 1933320 Sep  9 22:00 weather.csv
[root@master home]# mv area.csv area-bak.csv
[root@master home]# ls -l
total 2164
-rw-r--r-- 1 root root  277422 Sep  9 22:00 area-bak.csv
drwxr-xr-x 3 root root      23 Sep  9 22:01 folder
-rw-r--r-- 1 root root 1933320 Sep  9 22:00 weather.csv
[root@master home]# mv folder newfolder
[root@master home]# ls -l
total 2164
-rw-r--r-- 1 root root  277422 Sep  9 22:00 area-bak.csv
drwxr-xr-x 3 root root      23 Sep  9 22:01 newfolder
-rw-r--r-- 1 root root 1933320 Sep  9 22:00 weather.csv
[root@master home]# rm weather.csv
rm: remove regular file ‘weather.csv’? y
[root@master home]# ls -l
total 272
-rw-r--r-- 1 root root 277422 Sep  9 22:00 area-bak.csv
drwxr-xr-x 3 root root     23 Sep  9 22:01 newfolder
[root@master home]# rm -f area-bak.csv
[root@master home]# ls -l
total 0
drwxr-xr-x 3 root root 23 Sep  9 22:01 newfolder
[root@master home]# rm -rf newfolder/subfolder/
[root@master home]# ls -l newfolder/
total 0
[root@master home]# touch a.txt b.txt c.txt		touch命令创建空文件
[root@master home]# ls -l
total 0
-rw-r--r-- 1 root root 0 Sep  9 22:09 a.txt
-rw-r--r-- 1 root root 0 Sep  9 22:09 b.txt
-rw-r--r-- 1 root root 0 Sep  9 22:09 c.txt
drwxr-xr-x 2 root root 6 Sep  9 22:08 newfolder
[root@master home]# rm -rf *
[root@master home]# ls -l
total 0
[root@master home]# 

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51

    在这里插入图片描述

    三、Linux文件操作

    1、验证touch命令

    touch命令的功能是用于创建空文件与修改时间戳。如果文件不存在，则会创建出一个空内容的文本文件；如果文件已经存在，则会对文件的访问时间和修改时间进行修改操作，管理员可以完成此项工作，而普通用户只能管理主机的文件。

    语法格式：touch [参数] 文件

    参数说明
    -a改变档案的读取时间记录
    -m改变档案的修改时间记录
    -r使用参考档的时间记录，与 --file 的效果一样
    -c不创建新文件
    -d设定时间与日期，可以使用各种不同的格式
    -t设定档案的时间记录，格式与 date 命令相同
    [root@master ~]# ls -l
total 4
-rw------- 1 root root 3302 Jun  1  2018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  3  2018 dataset
drwxr-xr-x 3 root root   24 Sep  9 22:13 notebooks
[root@master ~]# touch yunchuang.txt
[root@master ~]# ls -l
total 4
-rw------- 1 root root 3302 Jun  1  2018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  3  2018 dataset
drwxr-xr-x 3 root root   24 Sep  9 22:13 notebooks
-rw-r--r-- 1 root root    0 Sep  9 22:20 yunchuang.txt
[root@master ~]# touch yunchuang.txt
[root@master ~]# ls -l
total 4
-rw------- 1 root root 3302 Jun  1  2018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  3  2018 dataset
drwxr-xr-x 3 root root   24 Sep  9 22:13 notebooks
-rw-r--r-- 1 root root    0 Sep  9 22:20 yunchuang.txt
[root@master ~]# 

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20

    在这里插入图片描述

    2、验证cat命令

    cat意思为concatenate，用于

    查看文件内容，cat命令适用于查看内容较少的、纯文本的文件。

    语法格式：cat [参数] 文件

    常用参数：

    参数说明
    -n显示行数（空行也编号）
    -s显示行数（多个空行算一个编号）
    -b显示行数（空行不编号）
    -E每行结束处显示$符号
    -T将TAB字符显示为 ^I符号
    –help显示帮助信息
    –version显示版本信息
    [root@master ~]# cat anaconda-ks.cfg
#version=DEVEL
# Install OS instead of upgrade
install
# Use network installation
url --url="http://mirrors.kernel.org/centos/7/os/x86_64/"
repo --name="CentOS" --baseurl=http://mirror.centos.org/centos/7/os/x86_64/ --cost=100
repo --name="Updates" --baseurl=http://mirror.centos.org/centos/7/updates/x86_64/ --cost=100
cmdline
# Firewall configuration
firewall --disabled
firstboot --disable
# Keyboard layouts
# old format: keyboard us
# new format:
keyboard --vckeymap=us --xlayouts='us'
# System language
lang en_US.UTF-8

# Network information
network  --bootproto=dhcp --device=link --activate
# Shutdown after installation
shutdown
# Root password
rootpw --iscrypted --lock locked
# SELinux configuration
selinux --enforcing
# System services
services --disabled="chronyd"
# Do not configure the X Window System
skipx
# System timezone
timezone UTC --isUtc --nontp
# System bootloader configuration
bootloader --disabled
# Clear the Master Boot Record
zerombr
# Partition clearing information
clearpart --all --initlabel
# Disk partitioning information
part / --fstype="ext4" --size=3000

%pre
touch /tmp/NOSAVE_LOGS
touch /tmp/NOSAVE_INPUT_KS
%end

%post
# Post configure tasks for Docker

# remove stuff we don't need that anaconda insists on
# kernel needs to be removed by rpm, because of grubby
rpm -e kernel

yum -y remove bind-libs bind-libs-lite dhclient dhcp-common dhcp-libs \
  dracut-network e2fsprogs e2fsprogs-libs ebtables ethtool file \
  firewalld freetype gettext gettext-libs groff-base grub2 grub2-tools \
  grubby initscripts iproute iptables kexec-tools libcroco libgomp \
  libmnl libnetfilter_conntrack libnfnetlink libselinux-python lzo \
  libunistring os-prober python-decorator python-slip python-slip-dbus \
  snappy sysvinit-tools which linux-firmware GeoIP firewalld-filesystem

yum clean all

#clean up unused directories
rm -rf /boot
rm -rf /etc/firewalld

# Lock roots account, keep roots account password-less.
passwd -l root

#LANG="en_US"
#echo "%_install_lang $LANG" > /etc/rpm/macros.image-language-conf

awk '(NF==0&&!done){print "override_install_langs=en_US.utf8\ntsflags=nodocs";done=1}{print}' \
    < /etc/yum.conf > /etc/yum.conf.new
mv /etc/yum.conf.new /etc/yum.conf
echo 'container' > /etc/yum/vars/infra


##Setup locale properly
# Commenting out, as this seems to no longer be needed
#rm -f /usr/lib/locale/locale-archive
#localedef -v -c -i en_US -f UTF-8 en_US.UTF-8

## Remove some things we don't need
rm -rf /var/cache/yum/x86_64
rm -f /tmp/ks-script*
rm -rf /var/log/anaconda
rm -rf /tmp/ks-script*
rm -rf /etc/sysconfig/network-scripts/ifcfg-*
# do we really need a hardware database in a container?
rm -rf /etc/udev/hwdb.bin
rm -rf /usr/lib/udev/hwdb.d/*

## Systemd fixes
# no machine-id by default.
:> /etc/machine-id
# Fix /run/lock breakage since it's not tmpfs in docker
umount /run
systemd-tmpfiles --create --boot
# Make sure login works
rm /var/run/nologin


#Generate installtime file record
/bin/date +%Y%m%d_%H%M > /etc/BUILDTIME


%end

%packages --excludedocs --nocore --instLangs=en
bash
bind-utils
centos-release
iproute
iputils
less
passwd
rootfiles
systemd
tar
vim-minimal
yum
yum-plugin-ovl
yum-utils
-*firmware
-GeoIP
-bind-license
-firewalld-filesystem
-freetype
-gettext*
-kernel*
-libteam
-os-prober
-teamd

%end

[root@master ~]# 

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    • 72
    • 73
    • 74
    • 75
    • 76
    • 77
    • 78
    • 79
    • 80
    • 81
    • 82
    • 83
    • 84
    • 85
    • 86
    • 87
    • 88
    • 89
    • 90
    • 91
    • 92
    • 93
    • 94
    • 95
    • 96
    • 97
    • 98
    • 99
    • 100
    • 101
    • 102
    • 103
    • 104
    • 105
    • 106
    • 107
    • 108
    • 109
    • 110
    • 111
    • 112
    • 113
    • 114
    • 115
    • 116
    • 117
    • 118
    • 119
    • 120
    • 121
    • 122
    • 123
    • 124
    • 125
    • 126
    • 127
    • 128
    • 129
    • 130
    • 131
    • 132
    • 133
    • 134
    • 135
    • 136
    • 137
    • 138
    • 139
    • 140

    在这里插入图片描述

    3、验证more命令

    more命令用于分页显示文本文件内容，如果文本文件中的内容较多较长，使用cat命令读取后则很难看清，这时使用more命令进行分页查看就更加合适了，可以把文本内容一页一页的显示在终端界面上，用户每按一次回车即向下一行，每按一次空格即向下一页，直至看完为止。

    语法格式：more [参数] 文件

    常用参数：

    参数说明
    -num指定每屏显示的行数
    -f计算实际的行数，而非自动换行的行数
    -p先清除屏幕再显示文本文件的剩余内容
    -c与-p相似，不滚屏，先显示内容再清除旧内容
    -s多个空行压缩成一行显示
    -u禁止下划线

    验证cat命令时，由于anaconda-ks.cfg文件内容过多，屏幕自动刷到了文件底端，导致前面的文件无法正常展示，因此，键入如下命令来验证more和cat的区别。

    [root@master ~]# more anaconda-ks.cfg
#version=DEVEL
# Install OS instead of upgrade
install
# Use network installation
url --url="http://mirrors.kernel.org/centos/7/os/x86_64/"
repo --name="CentOS" --baseurl=http://mirror.centos.org/centos/7/os/x86_64/ --cost=
100
repo --name="Updates" --baseurl=http://mirror.centos.org/centos/7/updates/x86_64/ -
-cost=100
cmdline
# Firewall configuration
firewall --disabled
firstboot --disable
# Keyboard layouts
# old format: keyboard us
# new format:
keyboard --vckeymap=us --xlayouts='us'
# System language
lang en_US.UTF-8

# Network information
network  --bootproto=dhcp --device=link --activate
# Shutdown after installation
shutdown
--More--(19％)

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26

    在这里插入图片描述

    四、最后我想说

    本次的实验就到此为止，本次实验的目的就是熟悉Linux常用基本命令的，后续实验也会经常使用这些简单的命令进行组合，熟能生巧，多用用就记住了。

    后续我也会继续更新我的大数据学习过程的，和大家一起慢慢去了解并学习有关大数据的一些知识。

    最后，创作不易，期待得到你们的支持，谢谢！

  • 相关阅读:
    贪心算法 —— 字典序删除字符
    【JVM技术专题】攻克你的技术盲点之Java的常量池们「 原理篇」
    LeetCode --- 1417. Reformat The String 解题报告
    设计模式日常学习(七)
    【测开求职】面试题：Redis 吐血整理
    css怎样进行预处理
    代码随想录 Day27 贪心02中 LeetCode T55跳跃游戏
    ASEMI整流桥26MT160参数，26MT160三相，26MT160插件
    2022网络搭建国赛题中的一道路由与交接题目解析
    C++模拟与高精度——帮贡排序
  • 原文地址：https://blog.csdn.net/qq_52417436/article/details/126790354