データサイエンティストの代わりに、アンケート君がうまく分析してくれるか（GPTsやAssistants API編）

import pandas as pd
import random
import faker

# Initialize Faker for generating sample data
fake = faker.Faker()

# Define the number of samples
num_samples = 50

# Function to generate random age
def generate_age():
    return random.randint(18, 70)

# Function to generate random gender
def generate_gender():
    return random.choice(['Male', 'Female', 'Other'])

# Function to generate random nationality
def generate_nationality():
    return fake.country()

# Function to generate random overall satisfaction rating
def generate_overall_satisfaction():
    return random.randint(1, 5)

# Function to generate random ease of use rating
def generate_ease_of_use():
    return random.randint(1, 5)

# Function to generate random comments
def generate_comments():
    comment_options = [
        "非常に使いやすい",
        "機能が豊富で満足",
        "改善の余地あり",
        "時々バグが発生する",
        "インターフェイスが直感的ではない",
        "カスタマーサポートが素晴らしい",
        "より多くの機能を望む",
        "更新による改善を期待",
        "価格に見合った価値がある",
        "アプリの速度が遅い",
        "セキュリティ面で信頼できる",
        "使い方が難しい",
        "初心者にも使いやすい",
        "デザインが素晴らしい",
        "もっとカスタマイズできれば良い",
        "他のアプリより優れている",
        "頻繁な更新がうっとうしい",
        "もう少し安定性がほしい",
        "ユーザーインターフェースが改善された",
        "サポートがもっと迅速に対応してほしい"
    ]
    return random.choice(comment_options)

# Create a DataFrame
data = {
    "Age": [generate_age() for _ in range(num_samples)],
    "Gender": [generate_gender() for _ in range(num_samples)],
    "Nationality": [generate_nationality() for _ in range(num_samples)],
    "Overall Satisfaction": [generate_overall_satisfaction() for _ in range(num_samples)],
    "Ease of Use": [generate_ease_of_use() for _ in range(num_samples)],
    "Comments": [generate_comments() for _ in range(num_samples)]
}

df = pd.DataFrame(data)

# Saving the DataFrame to a CSV file
csv_file_path = "/mnt/data/Customer_Satisfaction_Survey_Sample_Data.csv"
df.to_csv(csv_file_path, index=False)

csv_file_path

# Re-loading the CSV file for Exploratory Data Analysis (EDA)
uploaded_csv_path = '/mnt/data/Customer_Satisfaction_Survey_Sample_Data.csv'
df = pd.read_csv(uploaded_csv_path)

# Performing basic EDA
# 1. General information about the dataset
general_info = df.info()

# 2. Statistical summary of numerical columns
stat_summary = df.describe()

# 3. Checking for missing values
missing_values = df.isnull().sum()

# 4. Frequency distribution of categorical data: Gender and Nationality
gender_distribution = df['Gender'].value_counts()
nationality_distribution = df['Nationality'].value_counts()

# 5. Average satisfaction and ease of use ratings
average_satisfaction = df['Overall Satisfaction'].mean()
average_ease_of_use = df['Ease of Use'].mean()

# Compile the EDA results
eda_results = {
    "General Information": general_info,
    "Statistical Summary": stat_summary,
    "Missing Values": missing_values,
    "Gender Distribution": gender_distribution,
    "Nationality Distribution": nationality_distribution,
    "Average Overall Satisfaction": average_satisfaction,
    "Average Ease of Use": average_ease_of_use
}

eda_results

    # Updating the path to the extracted japanize-matplotlib directory
japanize_matplotlib_path = os.path.join(extraction_path, 'japanize-matplotlib-master')

# Importing japanize-matplotlib from the extracted directory
import sys
sys.path.insert(0, japanize_matplotlib_path)

# Now importing japanize-matplotlib
import japanize_matplotlib

# Redoing the visualizations with Japanese labels

# Age Distribution
plt.figure(figsize=(10, 6))
sns.histplot(df['Age'], bins=10, kde=True)
plt.title('回答者の年齢分布')
plt.xlabel('年齢')
plt.ylabel('頻度')
plt.show()

# Gender Distribution
plt.figure(figsize=(7, 4))
sns.countplot(x='Gender', data=df)
plt.title('回答者の性別分布')
plt.xlabel('性別')
plt.ylabel('人数')
plt.show()

# Overall Satisfaction Distribution
plt.figure(figsize=(7, 4))
sns.countplot(x='Overall Satisfaction', data=df)
plt.title('全体の満足度の評価')
plt.xlabel('評価')
plt.ylabel('人数')
plt.show()

# Ease of Use Distribution
plt.figure(figsize=(7, 4))
sns.countplot(x='Ease of Use', data=df)
plt.title('使いやすさの評価')
plt.xlabel('評価')
plt.ylabel('人数')
plt.show()

# Nationality Distribution - Top 10
top_nationalities = df['Nationality'].value_counts().head(10)
plt.figure(figsize=(10, 6))
sns.barplot(x=top_nationalities.values, y=top_nationalities.index)
plt.title('回答者の国籍分布（トップ10）')
plt.xlabel('人数')
plt.ylabel('国籍')
plt.show()

# Generating a word cloud using the IPA font
ipa_font_path = os.path.join(font_directory_path, 'ipag.ttf')

# Generating a word cloud with the IPA Gothic font
wordcloud_ipa = WordCloud(
    font_path=ipa_font_path, 
    width=800, 
    height=400, 
    background_color='white'
).generate(text)

# Displaying the word cloud using matplotlib
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud_ipa, interpolation='bilinear')
plt.axis('off')
plt.show()

あなたはアンケート分析のデータサイエンティストです。CSVファイルを使って、アンケートを分析してください。
新しいファイルがUploadされたら、そのファイルを使ってください。新しいファイルがない場合、Customer Satisfaction Survey Sample Dataファイルを使ってください。

1. EDAの指示があったら、このアンケートの結果を日本語で可視化してください。
可視化はjapanize-matplotlibを使ってください。
japanize-matplotlib-master.zipファイルはUploadされていますので、/mnt/data/ directoryに解凍してください。
可視化のために、以下のコードを使ってください。
```
import sys
sys.path.append('/mnt/data/japanize-matplotlib-master')

import matplotlib.pyplot as plt
import japanize_matplotlib
```
可視化結果はファイルに保存してください。ファイル名はなんでもいいです。

2. WordCloudの指示があったら、このCSVファイルのコメント（Comments）コラムをwordcloudしてください。フォントはIPAcont00303.zipファイルを使ってください

3. SentimentAnalysisの指示があったら、このCSVファイルのコメント（Comments）コラムに基づいて、感情を分析し、新しい結果ファイルを作ってください。
分析はキーワードベースの簡易的な感情分析を行ってください。まず、ポジティブとネガティブな感情を示す日本語のキーワードのリストを作成してください。次に、これらのキーワードを用いてアンケートのコメントを分析し、感情を判定してください。
また、分析後後、それぞれのPositiveとNegativeの結果を二つずつ見せてください。
最後に、全体の顧客感想の結果をDALL-E Imageを作成してください。

# install openai
!pip install openai --upgrade

# import 
import pandas as pd
import openai
import time
from constants import OPENAI_API_KEY
from openai import OpenAI
client = OpenAI(
  api_key=OPENAI_API_KEY,
)

# Step 1: Upload Files
font_file = client.files.create(
    file=open("IPAfont00303.zip", "rb"),
    purpose='assistants'
)

csv_file = client.files.create(
    file=open("Customer_Satisfaction_Survey_Sample_Data.csv", "rb"),
    purpose='assistants'
)

matplotlib_file = client.files.create(
    file=open("japanize-matplotlib-master.zip", "rb"),
    purpose='assistants'
)

csv_file_id = csv_file.id
matplotlib_file_id = matplotlib_file.id
font_file_id = font_file.id

print(font_file)
print(csv_file)
print(matplotlib_file)

# Step 2: Create an Assistant
assistant = client.beta.assistants.create(
    name="Questionnaire Analyst",
    instructions='''あなたはアンケート分析のデータサイエンティストです. CSVファイルを使って、アンケートを分析してください。
    ''',
    tools=[{"type": "code_interpreter"}],
    model="gpt-3.5-turbo-1106", # gpt-3.5-turbo-1106 and gpt-4-1106-preview
    file_ids=[csv_file.id]
)
print("assistant", assistant)
print("assistant.id:", assistant.id)

# Step 3: Create a Thread
thread = client.beta.threads.create()
print("thread:", thread)
print("thread.id:", thread.id)

# Step 4: Add a Message to a Thread
message = client.beta.threads.messages.create(
    thread_id=thread.id,
    role="user",
    content='''
        このアンケートの結果を日本語で可視化してください。
        可視化はjapanize-matplotlibを使ってください。
        
        japanize-matplotlib-master.zipファイルはUploadされていますので、/mnt/data/ directoryに解凍してください。
        可視化のために、以下のコードを使ってください。
        ```
        import sys
        sys.path.append('/mnt/data/japanize-matplotlib-master')

        import matplotlib.pyplot as plt
        import japanize_matplotlib
        ```
        
        可視化結果はファイルに保存してください。ファイル名はなんでもいいです。
        ''',
    file_ids=[matplotlib_file.id]
)
print(message)

# Step 5: Run the Assistant and Check the Run status
run = client.beta.threads.runs.create(
    thread_id=thread.id,
    assistant_id=assistant.id,
    # instructions="" 
)
completed = False
while not completed:
    # Get status of the run
    run = client.beta.threads.runs.retrieve(
        thread_id=thread.id, 
        run_id=run.id
    )
    print("run.status:", run.status)
    if run.status == 'completed':
        completed = True
    elif run.status == 'failed':
        raise Exception("Run failed")
    elif run.status == 'in_progress' or 'queued':
        time.sleep(5)
    else:
        pass
        

# Step 6: Display the Assistant's Response
messages = client.beta.threads.messages.list(
    thread_id=thread.id
)
messages
for message in messages:
    print("loop")
    # print(message.content[0])
    try:
        print(message.content[0].image_file)
        print(message.content[0].image_file.file_id)
        file_id = message.content[0].image_file.file_id
        cited_file = client.files.retrieve(message.content[0].image_file.file_id)
        print(cited_file)
    except:
        print(message.content[0].text)め

# file download
! curl https://api.openai.com/v1/files/{file_id}/content -H "Authorization: Bearer $OPENAI_API_KEY" > file.png
%matplotlib inline
from IPython.display import Image
Image('file.png')