프로는 미쳐야 한다.

과제 프로젝트로 웹파싱을 하게 되었습니다~ @ㅁ @!!!
막연히.. "태그 분석으로 끝나겠군~" 내지는 "XML 파싱으로 날새겠다!!!" 로 시작했는데 의외로 많은 웹사이트가 친절하게 자신들이 모은 데이터를 손쉽게 내주더군요. (>ㅁ <)
저 RSS가 제공되지 않았다면... 아직도 정규식과의 싸움이 끝나지 않았을것 같습니다.

개발언어는 C#입니다. 개발환경은 Visual Studio 2008에서 작업했구요.(WPF 때문에 ^^;;) 그 이하 버젼에도 상관 없습니다.

저는 단순하게 웹파싱에 주력했기 때문에 위의 창 화면은 테스트 용으로 제작을 해서인지.. 단.순.합.니.다. 단순해서 보기는 더 좋네요. ^^

제가 주로 한 파싱 목록입니다. 맨 위의 추천게시판은 어느 타 사진 동호회의 사이트의 카테고리 인데요. 저 게시판안의 사진들로 파싱을 했습니다. (그건 엄연히... 불법이미지 펌질에, 海King 이신지라... 모자이크 해둘게요 )

파싱 종류는 크게 OpenAPI 를 이용한 네이버, 다음, Youtube 뿐만 아니라 뉴스 RSS 등을 파싱했어요.
파싱하면서 겪었던 약간의 팁들은 C#방에다가 두겠습니다.

파싱 관련 문의가 있으시면 언제든지 물어봐주세요. ^^
이 프로젝트는 라이브러리 파일로 만들었는데요. 올리고 싶어도... 올리지 못합니다. 양의해주세요. (ㅠㅁ ㅠ)

아래 링크로 가시면 됩니다.
http://mihye.tistory.com/168

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

안녕하세요. 간만의 포스팅 입니다. ^^* 최근에 웹파싱을 하는 작업이 생겼습니다. (@ㅁ @//)
모든 웹을 대상으로 하는 것이라... 여러가지 변수들이 많네요.
웹에서 이미지를 가져오는 여러가지 방법들에 대해서 포스팅 하겠습니다.
 
1. 일반 이미지를 가져오는 경우 (웹의 이미지를 가져오다가 HTTP 403 Error가 발생하는 경우)
웹의 이미지를 bmp파일로 저장까지 합니다.
string repURL = "http://이미지주소.jpg"; string weburl = "http://게시판주소.php"; /// Call Web Request HttpWebRequest req = (HttpWebRequest)WebRequest.Create(weburl); /// Read the content. HttpWebResponse resp = (HttpWebResponse)req.GetResponse(); req = (HttpWebRequest)WebRequest.Create(repURL); req.CookieContainer = new CookieContainer(); /// 쿠키를 동일하게 해줍니다. req.CookieContainer.Add(resp.Cookies); req.Method = "GET"; /// GET방식으로 바꾸어 줍니다. (POST로 할 시 HTTP 403 Error 발생합니다.) /// Read the content. WebResponse res = req.GetResponse(); Image img = Image.FromStream(res.GetResponseStream()); img.Save("special.bmp"); /// 받아온 이미지 저장

2. 일반 웹 소스에서 정규식을 이용하여 이미지 주소 뽑아내기
/// Google - Image Parsing 에 쓰인 정규식 string img_pattern = @"dyn\x2EImg\x28\x22[^\x22]*\x22,\x22[^\x22]*\x22,\x22(?<code>[^\x22]*)\x22,\x22(?<imgurl>[^\x22]*)\x22,\x22(?<width>[^\x22]*)\x22,\x22(?<height>[^\x22]*)\x22,[^\x29]*"; /// Google News - HeadLine Image Parsing 에 쓰인 정규식 string thmbPattern = @"<img src\s*=\s*[""']?\s*(?<thumbNail>[^\s""']*).*/?\s*>";

3. OpenAPI를 이용한 Xml Parsing
(1) RSS Feed (DOM) 를 Parsing하는 구문
string url = @"http://apis.daum.net/search/news?q={0}&result=20&pageno={1}&sort=accu&condition=all&apikey=개인키"; /// 한글을 URL에 encoding 시켜주는 과정 string encoded_query = HttpUtility.UrlEncode("질문", System.Text.Encoding.UTF8); XmlDocument xDoc = new XmlDocument(); string search_text = string.Format(url , encoded_query, "1"); xDoc.Load(search_text); XmlNodeList xmlNodes = xDoc.SelectNodes("rss/channel/item"); CSearchResultInfo result_info = null; foreach (XmlNode xmlNode in xmlNodes) { result_info = new CSearchResultInfo(); ParsedNewsInfo parsed_info; Debug.WriteLine("Daum- News:" + xmlNode["title"].InnerText); parsed_info.news_title = xmlNode["title"].InnerText; parsed_info.category = xmlNode["category"].InnerText; parsed_info.news_text = xmlNode["description"].InnerText; parsed_info.news_img_url = xmlNode["image"].InnerText; parsed_info.news_thumbnail_url = xmlNode["image"].InnerText; parsed_info.news_link = xmlNode["link"].InnerText; }
(2) Atom Feed (SAX) 를 Parsing하는 구문

DOM Xml Parsing 기법과 다릅니다.
string url = "http://gdata.youtube.com/feeds/api/standardfeeds/query"; XmlDocument xDoc = new XmlDocument(); XmlTextReader reader = new XmlTextReader(url ); CSearchResultInfo result_info = null; ParsedMovieInfo parsed_info; while (reader.Read()) { if (reader.NodeType == XmlNodeType.Element) { switch(reader.Name) { case "title": /// 단순 node의 값을 알수있습니다. parsed_info.title = reader.ReadElementString(); Debug.WriteLine("Standard Youtube:" + parsed_info.title); break; case "media:player": /// attribute값을 알아옵니다. (숫자 인덱스도 가능) parsed_info.link = reader["url"]; break; } } }

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.