Error UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte の原因と直し方【Dockerで検証済み】

cat > /tmp/reproduce_unicode.py << 'EOF'
# UTF-16 LE BOM (0xFF 0xFE) で始まるバイト列をUTF-8として読もうとする
with open('/tmp/test_utf16.txt', 'wb') as f:
    f.write(b'\xff\xfe' + 'こんにちは'.encode('utf-16-le'))

# UTF-8として開こうとするとエラーになる
with open('/tmp/test_utf16.txt', 'r', encoding='utf-8') as f:
    content = f.read()
    print(content)
EOF
python /tmp/reproduce_unicode.py

cat > /tmp/fix_unicode.py << 'EOF'
import chardet

# まず実際のエンコーディングを検出する
with open('/tmp/test_utf16.txt', 'rb') as f:
    raw = f.read()

detected = chardet.detect(raw)
print(f'検出されたエンコーディング: {detected}')
encoding = detected['encoding']

# 検出したエンコーディングで正しく読み込む
with open('/tmp/test_utf16.txt', 'r', encoding=encoding) as f:
    content = f.read()
    print(f'読み込み成功: {content}')

# 必要であればUTF-8として保存し直す
with open('/tmp/test_utf16_fixed.txt', 'w', encoding='utf-8') as f:
    f.write(content)
print('UTF-8ファイルとして保存完了')
EOF
pip install chardet -q
python /tmp/fix_unicode.py

python -c "
import chardet
with open('/tmp/test_utf16_fixed.txt', 'rb') as f:
    raw = f.read()
detected = chardet.detect(raw)
print('エンコーディング:', detected)
with open('/tmp/test_utf16_fixed.txt', 'r', encoding='utf-8') as f:
    content = f.read()
print('内容:', content)
assert 'こんにちは' in content, 'テキスト不一致'
print('検証成功')
"