常用记录总结

1. 查看hadoop 某个文件目录

hadoop fs -ls "/project/data/new_energy/gps1"
1

2.查看hadoop下某个文件内容

hadoop fs -cat "/project/data/new_energy/gps1"/input/a.txt
1

3.导出某个工程所用到的所有的jar包

dependency:copy-dependencies -DoutputDirectory=E:\lib
1

4.查看当前已经加载的设备驱动程序的主设备号

cat /proc/devices
1

5.curl post请求

curl -H "Content-Type:application/json" -XPOST http://localhost:8080/test/v1/login -d '{"loginName": "15123855412","password": "123456"}'
1

• 带多个 header

curl -H "Content-Type:application/json" -H "Authorization:RRM1RNsWqZEMvjshuTGypjcplA" -XPOST https://www.test.com/test/v/conn/test -d '{"type":1001,"id":"0cc009a5b"}'
1

6.python 后台启动脚本, 并打印日志

nohup python3 -u text.py > text.log 2>&1 &
1

• -u 是立刻打印日志

7.java项目防止 xss 攻击

• 直接引入以下 jar 包即可

<dependency>
    <groupId>net.dreamlugroupId>
    <artifactId>mica-coreartifactId>
    <version>2.0.9-GAversion>
dependency>

<dependency>
    <groupId>net.dreamlugroupId>
    <artifactId>mica-xssartifactId>
    <version>2.0.9-GAversion>
    <exclusions>
        <exclusion>
            <artifactId>jsoupartifactId>
            <groupId>org.jsoupgroupId>
        exclusion>
    exclusions>
dependency>

<dependency>
    <groupId>org.jsoupgroupId>
    <artifactId>jsoupartifactId>
    <version>1.14.2version>
dependency>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

8.python打包 exe 可执行文件

• 安装打包第三方工具

pip install pyinstaller
# 豆瓣源
pip install -i https://pypi.douban.com/simple/ pyinstaller
# 清华源
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyinstaller
1
2
3
4
5

# 打包exe
pyinstaller -F test.py 

# 不带控制台的打包
pyinstaller -F -w test.py 

# 打包指定exe图标打包(左上角)
pyinstaller -F -i abc.ico test.py

# 打包指定exe图标打包(图标)
pyinstaller --onefile --icon=iso.ico runserver.py
1
2
3
4
5
6
7
8
9
10
11

9.linux上 springboot项目接收 header 为 null

原因: 可能header中带下划线 “", 经过 nginx 转发后, 会过滤掉该 header, 将下划线 "” 改为 "-"即可

10.windows 获取文件的 md5 值

certutil -hashfile "test.pdf" MD5
1

11.获取 windows 程序的所有进程

import psutil

for proc in psutil.process_iter():
    print(proc)
1
2
3
4

12.windows 杀死某个进程

import os
import signal

pid=10086
os.kill(pid, signal.SIGTERM)
1
2
3
4
5

13.Base64 加解密

import base64

# 要编码的二进制数据
binary_data = b'abc'

# 编码为Base64
encoded_data = base64.b64encode(binary_data)
print("Base64编码后的数据:", encoded_data)

# 解码Base64
decoded_data = base64.b64decode(encoded_data).decode('utf-8')
print("Base64解码后的数据:", decoded_data)


# 要编码的中文文本
chinese_text = "你好，世界！"

# 将Unicode字符串编码为UTF-8二进制数据
binary_data = chinese_text.encode('utf-8')

# 编码为Base64
encoded_data = base64.b64encode(binary_data)
print("Base64编码后的数据:", encoded_data)

# 解码Base64
decoded_data = base64.b64decode(encoded_data)

# 将解码后的二进制数据转换为Unicode字符串
decoded_text = decoded_data.decode('utf-8')
print("Base64解码后的文本:", decoded_text)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

14. cmd 命令导出 Windows 所有环境变量

set > D:/environment_variables.txt
1

15.Windows python pip安装第三方包更改下载源

在C盘用户目录下, 当前用户文件夹下创建文件夹命名为 pip

在 pip 文件夹下创建文件 pip.ini, 写入

[global]
index-url=https://mirrors.aliyun.com/pypi/simple/
trusted-host=mirrors.aliyun.com
1
2
3

以上为阿里源, 还可以配置其它源

# 阿里源
[global]
index-url=https://mirrors.aliyun.com/pypi/simple/
trusted-host=mirrors.aliyun.com
# 豆瓣源
[global]
index-url=http://pypi.douban.com/simple/
trusted-host=pypi.douban.com

# 清华大学源
[global]
index-url=https://pypi.tuna.tsinghua.edu.cn/simple/
trusted-host=pypi.tuna.tsinghua.edu.cn

# 中国科技大学源
[global]
index-url=https://pypi.mirrors.ustc.edu.cn/simple/
trusted-host=pypi.mirrors.ustc.edu.cn
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

此配置不仅对本地 python 环境有效, 对 conda 之下的虚拟环境仍然有效