[ChatGPT] chatGPT활용 파이썬 네이버 주식크롤링 엑셀변환

chatGPT를 활용하여 파이썬으로 코딩을 진행하려 합니다.

 

네이버 주식 웹 사이트를 크롤링하여 국내 인기 주식 종목의 일일 내역을 엑셀로 저장하는 프로그램을 만드는 것이 목적입니다.

 

개발자가 아닌 비개발자도 쉽게 제작이 가능하게 직접적인 코딩을 최소화하여 진행하도록 하겠습니다.

 

- 우선 평소와 비슷하게 추상적인 질문으로 시작하였습니다.

- 챗 지피티는 역시 가능하다는 답변을 주었습니다.

 

파이썬의 BeautifulSoup와 requests를 활용하면 된다고 하네요

여기서 BeautifulSoup 이란 파이썬 라이브러리로 웹 스크래핑이 가능한데 여기서 말하는 스크래핑이 크롤링의 과정이라고 보시면 됩니다.

웹사이트에서 특정 html 태그에 접근하여 해당 데이터를 가져오는 역할을 합니다. 이를 selenium과 함께 사용한다면 자동화 스크래핑도 가능하고 여러 가지 크롤링 프로그램을 제작할 수 있습니다. 이내용은 추 후에 챗지피티를 활용하여 자동화 프로그램을 만들 때 다룰 수 있을 것 같습니다.

 

- 코드를 확인해 보니 원하는 데이터가 아닌 다른 데이터로 정보를 스크래핑해 오는 것을 확인했습니다. 

이유는 질문을 추상적으로 던졌기 때문에 챗지피티가 임의로 정보들을 저장했기 때문입니다.

처음 질문 시에 저장하고 싶은 데이터들을 위와 같은 방식으로 질문했다면 원하는 답을 얻을 수 있었을 겁니다.

- 코드를 받았지만 잘리는 현상이 지속적으로 발생하여서 아무래도 한국어 문제로 인해 토큰제한으로 잘리는 문제가 발생하는 것 같아 영어로 답을 해달라고 해보겠습니다.

- 영어로 답변을 받으니 코드 전체를 받을 수 있었습니다.

 

이를 그대로 파이썬코드로 적용하겠습니다. 필자는 vscode를 사용하였습니다.

 

- import에 문제가 발생했습니다. pandas를 설치하지 않아서 발생하는 오류인데 이런 오류도 챗지피티에게 그대로 질문하여 해결하면 됩니다.

 

- 이런 경우 터미널에서 설치를 진행하면 되는데 필자는 vscode를 사용했으므로 vscode 기준으로 설명하겠습니다.

상단의 view -> Terminal 메뉴를 눌러 터미널을 띄워줍니다.

 

 

- pip install pandas를 입력해 주면 pandas를 설치하게 됩니다. 필자는 pip3를 사용 중이라서 pip3 install을 진행하였습니다. 이 내용도 막히는 부분이 있다면 챗지피티에게 하나씩 물어보면서 환경별로 해결이 가능하니 활용해 보시기 바랍니다.

 

 

- 역시나 또 다른 에러가 발생했고 챗지피티를 통해 해결을 시도했습니다.

 

 

- 완료 후엔 이렇게 엑셀파일이 생성된 걸 확인했습니다. 이번 작업도 30분 내외로 작업이 완료된 것 같네요

 

위에서 보셨다시피 대부분의 에러들은 import 되지 않은 에러가 많이 발생하며 그 에러들은 챗지피티 통해서 명령어를 전달받고 해당 명령어를 터미널에 입력하는 것만으로 쉽게 해결할 수 있습니다.

 

- 엑셀파일을 열어보면 이렇게 표로 정리되어 있습니다. 

 

여기서 좀 더 업그레이드한다면 국내가 아닌 해외 주식의 정보를 크롤링 해올수도 있고 또 표의 명칭도 바꿀 수 있고 이 모든 작업들도 챗지피티를 활용한다면 비교적 어렵지 않게 해결이 가능할 것입니다.

 

이렇게 챗지피티와 파이썬을 활용하여 단 하나의 파이썬 파일만으로 네이버 주식의 정보를 엑셀파일로 만들어봤습니다.

개발지식이 없는 사람도 이런 크롤링이 가능한 세상이 다가왔네요 개발자가 아닌 사람도 개발자도 이 챗지피티를 활용하여 어떤 것을 만들고 업무에 활용하고 효율을 얻어낼지 고민이 필요한 세상이 되었네요 

 

코드를 확인할 수 있는 깃허브 주소입니다.

 

github : https://github.com/DoHyeonJ/gpt-crawl-naverStock

GitHub - DoHyeonJ/gpt-crawl-naverStock

 

 

파이썬 개발환경을 세팅하고 전공자가 아니어도 ChatGPT를 활용하여 웹 애플리케이션 만드는 방법과 노하우 과정들을 전자책에 담았습니다. 아래의 링크에서 확인 가능합니다.

https://kmong.com/self-marketing/460946/ub8spgiLkW

ChatGPT로 시작하는 비전공자도 가능한 파이썬웹개발 | 10000원부터 시작 가능한 총 평점 5점의 전자