판다스 ModuleNotFoundError: No module named 'pandas.core.arrays.arrow.dtype' 에러 해결

df = pd.read_parquet('file.parquet')

 

판다스 2.1.0 버전에서 object 컬럼이 포함된 parquet 파일을 읽어오면 아래 에러가 남.

ModuleNotFoundError: No module named 'pandas.core.arrays.arrow.dtype'

2.1.0 버전은 pyarrow dependency 가 있음 (https://pandas.pydata.org/docs/whatsnew/v2.1.0.html#backwards-incompatible-api-changes)

추측하기엔 서로 다른 dtype이 같은 컬럼 내에 존재하는 것을 허용하지 않는 pyarrow 에서, object 타입의 컬럼이 포함된 파일을 dataFrame으로 읽어와서 난 에러 같음 하하

 

이럴 때는 임시방편으로 pandas를 2.1.0 이하 버전으로 내려주고 작업하면 해결가능

주피터 노트북에

!pip install pandas==2.0.3

해서 다운그레이드 해주고, 실행하니 잘 된다.

비개발 직군이라는 이유로 등한시했던 가상 환경의 필요성이 갈수록 크게 느껴진다.ㅠㅠㅠ