ㅇㅎ 일단 원하는걸 할 수 있냐면 따지자면, 일단 자바로도 가능한 작업이고, 이런거 해주는 자바 함수가 아마 있을거같은데 혹시 없으면 시간은 좀 느려도 아래처럼 하면 됨.
utf-8 형태로 파일을 열고 한글자 한글자씩 읽으면서
처음 보는 글자면 리스트에 넣고 다음으로 넘기고
이미 리스트에 있는 글자면 글 뒷부분 전체를 보고 해당 글자는 싹다 삭제하는 식으로 반복하면 될 듯?
UTF-8이 다른 언어에서도 대체로 본래 문자가 보존되어서 UTF-8을 기준으로 삼았는데요. UTF-8에서는 권역별로 바이트를 할당하는데, 문제는 동아시아권역에 일본어와 한국어 등이 있어서 코드 입력으로는 중복되는 경우가 많더라고요... 그래서 한국어에서 나오는 모든 문자-가,갸,......,ㄱ,ㄴ,ㄷ,ㄹ,....을 ANSI로 저장한 후에 설정-시간 및 언어--언어-관리 언어 설정-시스템 로캘 변경-일본어로 바꾼뒤 출력되는 일본식뷁어(일본 유니코드는 한글보다 바이트가 더세분돼서 배분되기때문에 한글에서 하나의 문자로 취급하는 것도 여러문자로 쪼개져서 반복되는게 나오는 거 같아요)를 UTF-8로 다시 저장후 시스템 로캘을 한국어로 변경했어요