전체 글58 UserWarning: Ignoring URL since it exceeds Excel's limit of 65,530 URLS per worksheet 판다스에서 to_excel 활용하여 엑셀 파일 변경 시, 아래와 같은 경고 문구가 뜰 때가 있음 UserWarning: Ignoring URL since it exceeds Excel's limit of 65,530 URLS per worksheet. 사용자경고: 워크시트 당 65,530 URL 제한을 초과한 경우 무시합니다. 엑셀 저장시 URL 텍스트의 경우 하이퍼링크 형태의 URL로 자동 변환되는데, 엑셀의 한 워크시트 내에 포함될 수 있는 URL 개수의 최대 개수는 65,530. 따라서 이 한도를 넘어간 URL의 경우 Null 처리 됨. 이럴 때는 writer 객체 할당후, 엔진을 xlsxwriter로 변경한 뒤에 engine_kwargs에 strings_to_urls = False 옵션 줘서 UR.. 2023. 7. 26. polars - pandas 보다 8배 빠른 라이브러리가 있다? 출처: https://towardsdatascience.com/pandas-vs-polars-a-syntax-and-speed-comparison-5aa54e27497e Pandas vs. Polars: A Syntax and Speed Comparison Understanding the major differences between the Python libraries Pandas and Polars for Data Science towardsdatascience.com 170만 행을 가진 텍스트 데이터를 읽어올 일이 생겼는데 평소처럼 pd.read_XXX 를 진행했더니 하나 읽는 데만 한 세월. 옆자리 대리님께서(그저 빛) polars 라는 라이브러리가 있는데, 데이터 읽어오는 속도가 pandas의 .. 2023. 3. 10. 20221122_사랑을 하려고 태어났나보다 9월에 나의 오랜 친구이자 짧은 연애상대였던 분과 헤어질 때 "나는 너 덕분에 내가 연애를 좋아한다는 걸 깨달았어." 같은 말을 했다. 사실 말보단 오기였다. "내가 생각을 많이 해봤는데," 부터 시작해서 "너는 나한테 맞는 옷이 아니다.", "나는 너와의 추억에 후회가 전혀 없다." 까지, 정말 나를 좋아하지 않는게 분명한 그 사람에게 너 또한 나에게 아무것도 아니었다는 걸 증명하고 싶어 안달 난 상태에서 꺼낸 말이었는데... 최근 정말 좋은 사람을 만나 연애를 시작하면서 느낀점은, 저게 대충 던진 것 치고는 나라는 사람을 꽤 잘 정의하는 말이라는 것. 나는 정말 연애를 좋아한다... 연애하는 나는 굉장히 분주하다. 애인이 없을 때의 나도 분주한데, 애인이 있을 때는 평소의 2배, 3배 분주하다. 잠을.. 2022. 11. 22. 모델 정리 [PORORO 감성 분석 모델](https://kakaobrain.github.io/pororo/text_cls/sentiment.html) - 뉴스 - 영화 리뷰 - 쇼핑 [Google Natural Language API](https://cloud.google.com/natural-language) - 객체명 인식 - 감성 분석 - 구문 분석 - 카테고리 분석 - [가격책정](https://cloud.google.com/natural-language/pricing) - 5,000 건 까지 무료 2022. 11. 9. 20220908_차였다 내가 너를 좋아하지 않는 것 같다. 너와 나는 맞물리는 톱니바퀴가 아니다. 너는 나한테 어울리는 옷이 아니다. 널 바꾸고 싶지도 않고, 나를 바꾸고 싶지도 않고 내가 바꿔달라고 해서 바뀐 너를 본다 한들 행복할 것 같지 않다. 뭐 온갖 비유를 가져다 대도, 결국은 넌 내 취향이 아니야 라는 말이지 뭐. 올해 벌써 두 번째 이별이다. 하나는 작별, 하나는 이별. 섣불렀다고 생각한다. 괜찮다고 생각했던 사람이었고, 술을 마셨고, 선을 넘었다. 우리 서로 자기가 한 행동에 책임을 지려고 했던 것 같다. 이건 충동이 아니라 사랑이라고 우기면서. 호감 있던 친구를 잃는 것이 두려운 마음에, 계속 합리화하며 도망쳤던 것 같다. 사실 충동뿐이었다는 것을 인정하는 것이 더 용기있는 있는 행동이었는데도 책임지는 것이 용.. 2022. 9. 18. 20220720 2022. 8. 2. CSV 파일 열때 UnicodeDecodeError 인코딩 조건 바꿔도 안될때 급한 불 끄기 요약: 원본 참조 문제 때문일 수 있으니 참조 끊고 데이터 올려보기. raw_data 폴더에 들어가 있는 csv 파일 중 file 로 시작하는 데이터의 목록을 가져와 한 번에 읽어와서 뭉치려고 했다. 그런데 에러... import os import pandas as pd rdl = os.listdir('./raw_data/') rdl = [e for e in rdl if e.startswith('file')==True] rd=pd.DataFrame() for l in rdl: temp = pd.read_csv('raw_data/'+l,encoding='cp949') rd = pd.concat([rd,temp]) UnicodeDecodeError: 'cp949' codec can't decode byte .. 2022. 8. 2. Wilson score 신뢰구간을 활용한 감성 rate 조정 Transfer Learning in NLP KcBERT를 활용한 Transfer Learning 학습 일지 이번 석사 졸업 논문에 댓글을 논쟁적인 측면에서 분석하는 모델을 싣고자 했는데, 태스크가 새로운 것이다 보니 충분한 양의 데이터를 확보하기도 힘들 wooodong.tistory.com Wilson score in Python - example How to calculate page popularity using the Wilson Score www.mikulskibartosz.name How Not To Sort By Average Rating Users are rating items on your website. How do you know what the highest-rated items a.. 2022. 7. 5. 20220620_투 더 본 우연히 유튜브에서 '투 더 본'이라는 영화의 리뷰를 봤다. 3년 전쯤에 넷플릭스를 뒤적이다 릴리 콜린스가 나온다는 이유로 가볍게 틀었다가, 섭식장애 환자들과 그 가족들이 겪는 여러 문제들에 대한 사실적인 묘사에 적잖이 당황했었던 영화다... 뜻밖의 내용에 놀라면서도 섭식장애, 그 중에도 거식증이 단순히 "과한 다이어트"나 "개인적인 문제"라는 개념으로 접근할 거리는 아니라는 걸 짧게나마 이해해 볼 수 있는 기회였기에 여튼 인상 깊게 보았던 기억이 난다. 올해 초, '그 일'을 겪고 나서 나도 8주 정도 짧게 섭식장애를 겪었다. 입맛이 없는 상태와 말라가는 몸이 뿌듯하고 그렇게 쭉 영원히 말라비틀어지고 싶은 마음이라고 할까. 말라가는 몸이 마치 내가 지금 겪고 있는 죄책감이 여전함을 증명해주는 것 같아 편.. 2022. 6. 20. 20220524 오빠가 또 꿈에 나왔다. 나는 오빠를 안은 채로 꼭 하고싶은 말이 있다고, 우리 헤어지자고 했다. 오빠의 반응이 어땠는지 잘 기억나지 않는다. 오빠가 자기는 아무것도 하지 않는 낮시간이 진짜 힘들었다고, 정말 죽고 싶었다고 했다. 나는 많이 힘들었겠다고 했다. 나는 이쪽 세상에 오면 오빠가 있는데, 저쪽 세상에 가면 없어서 너무 슬프다고 말하며 울었다. 곧 오빠가 사라졌고 잠에서 깼다. 출근길 내내 오빠가 보고싶은데 볼 수 없다는 사실이 속상했고, 내가 무엇보다도 간절히 원하는 것이 제대로 된 이별이며, 그것이 불가능한 일이라는 것을 잘 알아 씁쓸했다. 그리고 지금은 제대로 된 이별을 빼앗아간 오빠가 원망스럽다. 오늘은 좀 힘들다. 울고싶은데 울고싶지 않다. 일하다가 울고싶지 않다. 오빠 제발 그만 좀 .. 2022. 5. 24. 이전 1 2 3 4 5 6 다음
