전체 글58 다시 열기 다시 열기 닫아 두려고 했는데, 1년전의 불쌍한 나들이 적어도 혼자가 아님을 느끼길 바라는 마음에서. 고인의 명복을 빈다. 2023. 12. 27. vsCode로 마크다운 pptx, pdf 만들기 - 준비물 VS Code 1) Marp For VS Code 다운로드 https://marketplace.visualstudio.com/items?itemName=marp-team.marp-vscode Marp for VS Code - Visual Studio Marketplace Extension for Visual Studio Code - Create slide deck written in Marp Markdown on VS Code marketplace.visualstudio.com 2) VS Code 켜고 새 파일 생성 File > NewFile... 누르거나 Ctrl+Alt+Windows+N 으로 새파일 생성하고 Marp Markdown으로 생성 3) 슬라이드 미리보기 생성 오른쪽 상단 Open.. 2023. 11. 8. hanspell JSONDecodeError 해결방법 출처: https://github.com/ssut/py-hanspell/issues/31 JSONDecodeError: Expecting value; line1 column 1(char0) 오류 · Issue #31 · ssut/py-hanspell 안녕하세요. 기존에 hanspell을 사용하여 프로젝트를 하고 있는 컴퓨터공학과 학생입니다. 다름이 아니라, 며칠 전까지만 해도 오류 없이 잘 실행되던 코드가 제목과 같이 오류가 생성되어 이렇게 github.com 0. hanspell 파일 위치 찾는 명령어 cmd(시작>찾기>실행에서 cmd 검색 혹은 탐색기 창에 바로 cmd 검색) -> pip show hanspell 1. contants.py 의 base_url 다음과 같이 변경 base_url = ht.. 2023. 10. 17. 판다스 ModuleNotFoundError: No module named 'pandas.core.arrays.arrow.dtype' 에러 해결 df = pd.read_parquet('file.parquet') 판다스 2.1.0 버전에서 object 컬럼이 포함된 parquet 파일을 읽어오면 아래 에러가 남. ModuleNotFoundError: No module named 'pandas.core.arrays.arrow.dtype' 2.1.0 버전은 pyarrow dependency 가 있음 (https://pandas.pydata.org/docs/whatsnew/v2.1.0.html#backwards-incompatible-api-changes) 추측하기엔 서로 다른 dtype이 같은 컬럼 내에 존재하는 것을 허용하지 않는 pyarrow 에서, object 타입의 컬럼이 포함된 파일을 dataFrame으로 읽어와서 난 에러 같음 하하 이럴 때.. 2023. 9. 5. jupyter forbidden 에러 노답 해결법 이중 삼중 python 설치로 각종 설정이 꼬이면서 모든 커널이 forbidden 으로 뜨는 에러 jupyter 라이브러리를 통으로 밀고 다시 설치하기로 함 참고 사이트:https://012vision.tistory.com/entry/Anaconda-%EC%84%A4%EC%B9%98-%EB%A7%81%ED%81%AC pip uninstall jupyter pip uninstall jupyter pip uninstall jupyter_core pip uninstall jupyter-client pip uninstall jupyter-console pip uninstall jupyterlab_pygments pip uninstall notebook pip uninstall qtconsole pip unins.. 2023. 9. 4. 파케이, 컬럼 기반/ 행 기반 데이터 포맷 parquet(파케이)- parquet: 하둡에서 컬럼 방식으로 저장하는 포멧컬럼 방식: 메모리 내에 데이터 저장시, 열을 순차 블록에 저장하는 방식컬럼 별로 인코딩을 사용할 수 있으며, 비슷한 값끼리 모아 저장하므로 압축률이 높아 파일 크기가 작다컬럼 단위로 I/O가 발생하므로 aggregation 쿼리 수행 시 처리 속도가 빠르다python을 사용해 열 경우 pyarrow라는 엔진을 사용해 읽고, snappy라는 엔진을 사용해 압축한다※ 주의! pandas dataframe으로 읽어온 데이터 프레임은 서로 다른 형식의 데이터가 한 컬럼안에 존재하는 경우 object라는 타입으로 저장하는데, object 타입으로 저장된 컬럼이 존재하는 pandas dataframe을 to_parquet 명령어로 par.. 2023. 8. 9. [Tool] Tad 뷰어 소개 Tad 뷰어 https://www.tadviewer.com/ csv, duckdb, parquet 확장자 파일 리딩을 지원하는 뷰어 엑셀처럼 텍스트 내 포함, 일치, >, < 를 통한 간단한 filter 기능을 제공하며 파일을 읽어올때 전체 데이터를 다 로드하지 않고, 액션이 발생할때 일부만 로드하여 매우 빠르게 작동함. 로데이터를 간단하게 열어봐야만 할 때 유용한 툴 2023. 8. 9. 2023 정보처리기사 1회 실기 합격 후기 60점 턱걸이 합격입니당 하핫 수제비 카페에 올라온 예상 답안지로 가채점 대충 해봤을 때는 70점은 나오겠다 했는데, 몇 개 더 틀렸나 봐요. 한문제만 더 나갔으면 나락 갈 뻔했네요 천만다행 그래도 어차피 60점만 넘으면 되는 시험이니 일주일 단기간 준비한 것치곤 최고 효율로 합격했다고 생각합니다 쨌든 자축은 뒤로하고, 직장 다니면서 일주일 벼락치기 공부 팁 공유드리려고 합니다. 1. 프로필 1) 직장인 2) 비전공자와 전공자 사이(산업공학전공), SQLD, ADsP 있고, 업무상 SQL, Python 쓴 경험 많음 => Python, SQL 코딩 문제 거의 공부하지 않음 + DB 개념 생소하지 않음 => 완전 노베는 아니에요 3) 필기시험 본 지 거의 2년 다 되어감 2. 공부 방법 1) 공부시간 퇴근.. 2023. 8. 9. Z-Score, Modified-Z-Score Z-Score, Modified Z-Score Z-score: (개별 데이터 - 데이터 셋 내 평균) / 표준편차 표준점수, 개별 데이터가 평균으로부터 표준편차의 몇 배만큼 떨어져 있는지에 대한 값, 개별 데이터의 데이터셋 내 위치를 보여주는 분포. Modifed Z-score : 0.67458 * (개별 데이터 - 데이터 셋 내 중앙값)/중앙값 절대편차 데이터셋이 너무 작거나, 너무 커 평균값을 사용하기 어려운 경우 적용하는 수정된 Z-Score. 표준점수와 달리 중앙값(MAD; Median Absolute Deviation; median(x-xbar))를 이용하는 것이 특징 2023. 8. 1. 주피터 노트북 메모리 표시 모듈 추가 노트북 내 전체 메모리 사용량 표시 설치 !pip install jupyter-resource-usage 함수 메모리 사용량 표시 설치 !pip install memory_profiler !pip install line_profilerimport import line_profiler profile = line_profiler.LineProfiler() #메모리 체크하고싶은 함수 위에 @profile 2023. 7. 31. 이전 1 2 3 4 ··· 6 다음
