使用 Python 获取文件正确的编码
Python 的 open() 函数默认用 locale.getencoding() 来确定编码，
正常默认返回 UTF-8。
但有的文件可能是 latin1 之类的编码，就会寄掉。
根据这个问题下面的回答，目前确定文件编码的方法：
- 先用 magic 确定文件是否为二进制
- 不直接使用 magic 的结果，因为可能有误报 （即返回是 UTF-8，但真正读取的时候还是会报错）
- 如果不是二进制，再用 bs4 的 UnicodeDammit 来获取正确编码
import magic from bs4 import UnicodeDammit def get_file_encoding_magic(file_path): # https://stackoverflow.com/a/16203777/11938767 with open(file_path, 'rb') as f: blob = f.read() m = magic.open(magic.MAGIC_MIME_ENCODING) m.load() encoding = m.buffer(blob) # "utf-8" "us-ascii" etc return encoding def get_file_encoding_bs4(file_path): # https://stackoverflow.com/a/60858982/11938767 with open(file_path, 'rb') as file: blob = file.read() suggestion = UnicodeDammit(blob) return suggestion.original_encoding def get_file_encoding(file_path): # 先用 magic 判断文件是否为二进制 coarse_encoding = get_file_encoding_magic(file_path) if coarse_encoding == 'binary': return 'binary' # 对于非二进制，用 bs4 获取编码。因为 magic 会有误报 return get_file_encoding_bs4(file_path)
以及写了一个脚本， 用来列出当前目录下所有非 UTF-8 / ASCII 编码的文件。